Competition

Nộp kết quả (Result submission) 

Với mỗi giai đoạn của cuộc thi, thí sinh sẽ được yêu cầu nộp file zip với tên "results.zip" trong đó chứa file "results.csv". File csv không có header và sẽ chứa thông tin cho cả bài toán trích xuất ý định và bài toán trích xuất slot. File csv sẽ có dạng như sau: 

For each phase of this competition, participants will be required to submit a zip file named "results.zip" containing "results.csv" file. The csv file has to contain results for both Intent Detection and Slot Filling. The csv file will be formated as follows: 

• ý định, các slot nối với nhau bởi dấu cách

  intent, slots separated by a comma

• ý định, các slot nối với nhau bởi dấu cách

  intent, slots separated by a comma

• …

Ví dụ: smart.home.check.status, O B-roomroom I-roomroom I-roomroom I-roomroom I-roomroom O O B-devicedevice I-devicedevice I-devicedevice I-devicedevice O B-change-valuesyspercentage I-change-valuesyspercentage I-change-valuesyspercentage

For example: smart.home.check.status, O B-roomroom I-roomroom I-roomroom I-roomroom I-roomroom O O B-devicedevice I-devicedevice I-devicedevice I-devicedevice O B-change-valuesyspercentage I-change-valuesyspercentage I-change-valuesyspercentage

Độ đo đánh giá (Evaluation metrics)

Kết quả được đánh giá bằng sentence accuracy (số câu đúng cả intent lẫn tất cả các slot chia tổng số câu)

Submissions will be evaluated by sentence accuracy (number of sentences that correctly classified both intent and all slots divided by total number of sentences)

Nội quy chung (General rules)

• Ban Tổ Chức cuộc thi sẽ có quyền để hủy, chỉnh sửa hoặc hoãn cuộc thi.

  Right to cancel, modify, or disqualify. The Competition Organizer reserves the right at its sole discretion to terminate, modify, or suspend the competition.

• Bằng cách gửi kết quả cho cuộc thi, bạn đồng thuận việc công khai điểm số của mình tại hội thảo của cuộc thi và trong các kỷ yếu liên quan theo quyết định của Ban tổ chức. Điểm số có thể bao gồm nhưng không giới hạn các đánh giá định lượng được tiến hành tự động và thủ công, các đánh giá định tính, và các chỉ số đo mà ban tổ chức đánh giá là phù hợp. Bạn chấp nhận rằng quyết định cuối cùng liên quan đến việc chọn các chỉ số đo và giá trị điểm số nằm ở người ra đề.

  By submitting results to this competition, you consent to the public release of your scores at the Competition workshop and in the associated proceedings, according to the task organizers' decisions. Scores may include but are not limited to, automatic and manual quantitative judgments, qualitative judgments, and such other metrics as the task organizers see fit. You accept that the ultimate decision of metric choice and score value is that of the task organizers.

• Qua việc tham dự cuộc thi, bạn xác nhận và nhận thức rằng bạn đồng ý với các luật lệ được áp dụng, và bạn cũng đồng thời không được xâm phạm bản quyền, sở hữu trí tuệ hoặc bằng sáng chế của các phần mềm bên thứ ba mà bạn sử dụng trong thời gian tổ chức cuộc thi, và cũng không vi phạm các điều luật hoặc điều khoản nào liên quan đến quy định kiểm soát xuất khẩu, bảo mật và bảo vệ dữ liệu.

  By joining the competition, you affirm and acknowledge that you agree to comply with applicable laws and regulations, and you may not infringe upon any copyrights, intellectual property, or patent of another party for the software you develop in the course of the competition, and will not breach of any applicable laws and regulations related to export control and data privacy and protection

• Phần thưởng của cuộc thi sẽ phụ thuộc vào đánh giá và xác minh của Ban Tổ Chức cuộc thi về đủ điều kiện và sự tuân thủ của thí sinh, cũng như sự tuân thủ của bài nộp chiến thắng đối với nội quy của bài nộp.

  Prizes are subject to the Competition Organizer’s review and verification of the entrant’s eligibility and compliance with these rules as well as the compliance of the winning submissions with the submission requirements.

• Những người tham gia sẽ cho phép Ban Tổ Chức của Cuộc Thi quyền được sử dụng bài nộp chiến thắng và mã nguồnm dữ liệu được tạo và sử dụng bởi bài nộp đó với mọi mục đích mà không cần thêm sự xác nhận nào.

  Participants grant to the Competition Organizer the right to use your winning submissions and the source code and data created for and used to generate the submission for any purpose whatsoever and without further approval.

Điều kiện tham dự (Eligibility)

• Mỗi người tham gia phải tạo 1 tài khoản CodaLab để nộp kết quả cho cuộc thi. Mỗi người tham gia chỉ được phép tạo 1 tài khoản.

  Each participant must create a CodaLab account to submit their solution for the competition. Only one account per user is allowed.

• Cuộc thi được tổ chức công khai, tuy nhiên, Ban Tổ Chức của cuộc thi có thể không công nhận người chơi sau khi đã cân nhắc kĩ lưỡng.

  The competition is public, but the Competition Organizer may elect to disallow participation according to its own considerations.

• Ban Tổ Chức của Cuộc Thi có quyền loại bất cứ người dự thi nào, nếu Ban Tổ Chức đủ cơ sở để tin rằng người dự thi đã cố gắng hủy hoại việc điều hành của cuộc thi thông quan gian lận, lừa gạt hoặc bất cứ hành vi thiếu công bằng nào khác.

  The Competition Organizer reserves the right to disqualify any entrant from the competition if, in the Competition Organizer’s sole discretion, it reasonably believes that the entrant has attempted to undermine the legitimate operation of the competition through cheating, deception, or other unfair playing practices.

Đội dự thi (Team)

• Những người dự thi được phép lập thành đội. Tối đa trong 1 đội chỉ được phép có 5 người.

  Participants are allowed to form teams. The maximum of the number of participants on the team is up to 5. 

• Bạn không được phép tham gia trong nhiều hơn 1 đội. Mỗi thành viên trong đội phải hoạt động độc lập ở các tài khoản CodaLab khác nhau.

  You may not participate in more than one team. Each team member must be a single individual operating a separate CodaLab account. 

• Việc ghép các đội dự thi là hợp lệ và được phép thực hiện bởi đội trưởng. Thông báo cho việc ghép đội sẽ không được chấp thuận sau "Team merger deadline".

  Team mergers are allowed and can be performed by the team leader. Team merger requests will not be permitted after the "Team merger deadline".  

• Để thực hiện ghép đội, đội sau khi ghép phải có tổng số lần nộp thấp hơn hoặc bằng với số lượng tối đa của 1 đội cho đến ngày ghép. Số lần nộp tối đa là số lượng bài nộp tối đa trong 1 ngày của mỗi giai đoạn nhân với số ngày đã tổ chức của cuộc thi.

  In order to merge, the combined team must have a total submission count less than or equal to the maximum allowed for a single team as of the merge date. The maximum allowed is the number of submissions per day per phase multiplied by the number of days the competition has been running. 

• Ban tổ chức sẽ không hỗ trợ các đội thi về việc ghép đội.

  The organizers don’t provide any assistance regarding team mergers.

Nộp bài (Submission)

• Số lượng bài dự thi tối đa của mỗi giai đoạn:

  Maximum number of submissions in each phase:

• Giai đoạn 1 - Kiểm tra công khai (Vòng sơ khảo): 10 bài dự thi / ngày / đội

  Phase 1 - Public Test: 10 submissions / day / team

• Giai đoạn 2 - Kiểm tra bí mật (Vòng chung kết): 5 bài dự thi / ngày / đội

  Phase 2 - Private Test: 5 submissions / day / team

• Bài dự thi sẽ không được tính nếu nó một phần hoặc toàn phần không đọc được, không hoàn thiện, bị hủy hoại, biến dạng, giả mạo, lấy được qua cách không chính thống hoặc muộn. Ban Tổ Chức của Cuộc Thi sẽ có toàn quyền quyết định loại bỏ bất cứ người tham dự nào nộp bài dự thi không chấp thuận theo quy tắc.

  Submissions are void if they are in whole or part illegible, incomplete, damaged, altered, counterfeit, obtained through fraudulent means, or late. The Competition Organizer reserves the right, in its sole discretion, to disqualify any entrant who makes a submission that does not adhere to all requirements.

Dữ liệu của cuộc thi (Data)

Qua việc tải và truy cập vào dự liệu được cung cấp bởi Ban Tổ Chức, bạn đồng ý với những điều khoản sau đây:

By downloading or by accessing the data provided by the Competition Organizer in any manner you agree to the following terms:

• Bạn không được phép phân phát dữ liệu trừ khi cho mục đích phi thương mại và nghiên cứu.

  You will not distribute the data except for the purpose of non-commercial and academic-research.

• Bạn không được phép phân phát, sao chép, tái tạo, để lộ, chỉ định, lấy giấy phép, gắn, tổ chức, vận chuyển, bán, trao đổi hoặc bán lại bất cứ phần của dữ liệu được cung cấp bởi Ban Tổ Chức cho bất cứ tổ chức bên thứ ba nào với bất cứ mục đích gì.

  You will not distribute, copy, reproduce, disclose, assign, sublicense, embed, host, transfer, sell, trade, or resell any portion of the data provided by the Competition Organizer to any third party for any purpose.

• Dữ liệu không được phép sử dụng cho việc giám sát, phân tích hoặc nghiên cứu người hoặc nhóm người với bất cứ mục đích phân biệt hoặc phi pháp nào.

  The data must not be used for providing surveillance, analyses or research that isolates a group of individuals or any single individual for any unlawful or discriminatory purpose.

• Bạn đồng ý chịu hoàn toàn trách nhiệm cho cách bạn sử dụng dữ liệu và sẽ phải bảo vệ và bồi thường cho Ban Tổ Chức đối với mọi và bất kỳ khiếu nại nào phát sinh từ cách sử dụng dữ liệu.

  You accept full responsibility for your use of the data and shall defend and indemnify the Competition Organizer, against any and all claims arising from your use of the data.

Ngày 19/4/2022:

- Làm rõ hơn quy định về việc sử dụng dữ liệu train và dev trong phần Overview. Cụ thể, đối với track này, trong tập train và dev có thể chứa nhiễu trong nhãn. Các đội không được sửa nhãn thủ công bằng tay và không được thêm thủ công nhãn mới. Được phép sửa nhãn tự động hoặc loại nhiễu tự động trong tập train và dev. Tuyệt đối không can thiệp hay sử dụng các tập test dưới bất kỳ hình thức nào trong quá trình huấn luyện.

- Cập nhật trong phần Get Data về số lượng mẫu trong các tập train/dev/public test sau lần thay đổi ngày 13/4/2022. Cụ thể, train: 1790 mẫu, dev: 392 mẫu,  public test: 346 mẫu.

Ngày 13/4/2022: BTC cập nhật dữ liệu các tập train/dev/public test sau khi lọc nhiễu và thay đổi một số dữ liệu. Các đội lưu ý tải dữ liệu mới nhất để tham gia cuộc thi.