Competition

Evaluation Metric

Kết quả đánh giá sẽ dựa trên điểm IOU (giai đoạn segmentation) và accuracy (giai đoạn recognition)

The submission is evaluated upon IOU score (segmentation phase) and accuracy (recognition phase)

Total score = IOU_score * 0.3 + Accuracy_score * 0.7

Lưu ý: kết quả trong bộ dữ liệu test public ở giai đoạn 2 không ảnh hưởng đến kết quả cuối cùng. Kết quả tổng sẽ chỉ phụ thuộc vào bộ dữ liêu private test

Note: the results in the public test dataset in phase 2 do not affect the final result. The final result will only depend on the evaluation on the private test set

Nội quy chung (General rules)

• Ban Tổ Chức cuộc thi sẽ có quyền để hủy, chỉnh sửa hoặc hoãn cuộc thi.

  Right to cancel, modify, or disqualify. The Competition Organizer reserves the right at its sole discretion to terminate, modify, or suspend the competition.

• Bằng cách gửi kết quả cho cuộc thi, bạn đồng thuận việc công khai điểm số của mình tại hội thảo của cuộc thi và trong các kỷ yếu liên quan theo quyết định của Ban tổ chức. Điểm số có thể bao gồm nhưng không giới hạn các đánh giá định lượng được tiến hành tự động và thủ công, các đánh giá định tính, và các chỉ số đo mà ban tổ chức đánh giá là phù hợp. Bạn chấp nhận rằng quyết định cuối cùng liên quan đến việc chọn các chỉ số đo và giá trị điểm số nằm ở người ra đề.

  By submitting results to this competition, you consent to the public release of your scores at the Competition workshop and in the associated proceedings, according to the task organizers' decisions. Scores may include but are not limited to, automatic and manual quantitative judgments, qualitative judgments, and such other metrics as the task organizers see fit. You accept that the ultimate decision of metric choice and score value is that of the task organizers.

• Qua việc tham dự cuộc thi, bạn xác nhận và nhận thức rằng bạn đồng ý với các luật lệ được áp dụng, và bạn cũng đồng thời không được xâm phạm bản quyền, sở hữu trí tuệ hoặc bằng sáng chế của các phần mềm bên thứ ba mà bạn sử dụng trong thời gian tổ chức cuộc thi, và cũng không vi phạm các điều luật hoặc điều khoản nào liên quan đến quy định kiểm soát xuất khẩu, bảo mật và bảo vệ dữ liệu.

  By joining the competition, you affirm and acknowledge that you agree to comply with applicable laws and regulations, and you may not infringe upon any copyrights, intellectual property, or patent of another party for the software you develop in the course of the competition, and will not breach of any applicable laws and regulations related to export control and data privacy and protection

• Phần thưởng của cuộc thi sẽ phụ thuộc vào đánh giá và xác minh của Ban Tổ Chức cuộc thi về đủ điều kiện và sự tuân thủ của thí sinh, cũng như sự tuân thủ của bài nộp chiến thắng đối với nội quy của bài nộp.

  Prizes are subject to the Competition Organizer’s review and verification of the entrant’s eligibility and compliance with these rules as well as the compliance of the winning submissions with the submission requirements.

• Những người tham gia sẽ cho phép Ban Tổ Chức của Cuộc Thi quyền được sử dụng bài nộp chiến thắng và mã nguồnm dữ liệu được tạo và sử dụng bởi bài nộp đó với mọi mục đích mà không cần thêm sự xác nhận nào.

  Participants grant to the Competition Organizer the right to use your winning submissions and the source code and data created for and used to generate the submission for any purpose whatsoever and without further approval.

Điều kiện tham dự (Eligibility)

• Mỗi người tham gia phải tạo 1 tài khoản CodaLab để nộp kết quả cho cuộc thi. Mỗi người tham gia chỉ được phép tạo 1 tài khoản.

  Each participant must create a CodaLab account to submit their solution for the competition. Only one account per user is allowed.

• Cuộc thi được tổ chức công khai, tuy nhiên, Ban Tổ Chức của cuộc thi có thể không công nhận người chơi sau khi đã cân nhắc kĩ lưỡng.

  The competition is public, but the Competition Organizer may elect to disallow participation according to its own considerations.

• Ban Tổ Chức của Cuộc Thi có quyền loại bất cứ người dự thi nào, nếu Ban Tổ Chức đủ cơ sở để tin rằng người dự thi đã cố gắng hủy hoại việc điều hành của cuộc thi thông quan gian lận, lừa gạt hoặc bất cứ hành vi thiếu công bằng nào khác.

  The Competition Organizer reserves the right to disqualify any entrant from the competition if, in the Competition Organizer’s sole discretion, it reasonably believes that the entrant has attempted to undermine the legitimate operation of the competition through cheating, deception, or other unfair playing practices.

Đội dự thi (Team)

• Những người dự thi được phép lập thành đội. Tối đa trong 1 đội chỉ được phép có 5 người.

  Participants are allowed to form teams. The maximum of the number of participants on the team is up to 5. 

• Bạn không được phép tham gia trong nhiều hơn 1 đội. Mỗi thành viên trong đội phải hoạt động độc lập ở các tài khoản CodaLab khác nhau.

  You may not participate in more than one team. Each team member must be a single individual operating a separate CodaLab account. 

• Việc ghép các đội dự thi là hợp lệ và được phép thực hiện bởi đội trưởng. Thông báo cho việc ghép đội sẽ không được chấp thuận sau "Team merger deadline".

  Team mergers are allowed and can be performed by the team leader. Team merger requests will not be permitted after the "Team merger deadline".  

• Để thực hiện ghép đội, đội sau khi ghép phải có tổng số lần nộp thấp hơn hoặc bằng với số lượng tối đa của 1 đội cho đến ngày ghép. Số lần nộp tối đa là số lượng bài nộp tối đa trong 1 ngày của mỗi giai đoạn nhân với số ngày đã tổ chức của cuộc thi.

  In order to merge, the combined team must have a total submission count less than or equal to the maximum allowed for a single team as of the merge date. The maximum allowed is the number of submissions per day per phase multiplied by the number of days the competition has been running. 

• Ban tổ chức sẽ không hỗ trợ các đội thi về việc ghép đội.

  The organizers don’t provide any assistance regarding team mergers.

Nộp bài (Submission)

• Số lượng bài dự thi tối đa của mỗi giai đoạn:

  Maximum number of submissions in each phase:

• Giai đoạn 1 - Kiểm tra công khai (Vòng sơ khảo): 10 bài dự thi / ngày / đội

  Phase 1 - Public Test: 10 submissions / day / team

• Giai đoạn 2 - Kiểm tra bí mật (Vòng chung kết): 5 bài dự thi / ngày / đội

  Phase 2 - Private Test: 5 submissions / day / team

• Bài dự thi sẽ không được tính nếu nó một phần hoặc toàn phần không đọc được, không hoàn thiện, bị hủy hoại, biến dạng, giả mạo, lấy được qua cách không chính thống hoặc muộn. Ban Tổ Chức của Cuộc Thi sẽ có toàn quyền quyết định loại bỏ bất cứ người tham dự nào nộp bài dự thi không chấp thuận theo quy tắc.

  Submissions are void if they are in whole or part illegible, incomplete, damaged, altered, counterfeit, obtained through fraudulent means, or late. The Competition Organizer reserves the right, in its sole discretion, to disqualify any entrant who makes a submission that does not adhere to all requirements.

Dữ liệu của cuộc thi (Data)

Qua việc tải và truy cập vào dự liệu được cung cấp bởi Ban Tổ Chức, bạn đồng ý với những điều khoản sau đây:

By downloading or by accessing the data provided by the Competition Organizer in any manner you agree to the following terms:

• Bạn không được phép phân phát dữ liệu trừ khi cho mục đích phi thương mại và nghiên cứu.

  You will not distribute the data except for the purpose of non-commercial and academic-research.

• Bạn không được phép phân phát, sao chép, tái tạo, để lộ, chỉ định, lấy giấy phép, gắn, tổ chức, vận chuyển, bán, trao đổi hoặc bán lại bất cứ phần của dữ liệu được cung cấp bởi Ban Tổ Chức cho bất cứ tổ chức bên thứ ba nào với bất cứ mục đích gì.

  You will not distribute, copy, reproduce, disclose, assign, sublicense, embed, host, transfer, sell, trade, or resell any portion of the data provided by the Competition Organizer to any third party for any purpose.

• Dữ liệu không được phép sử dụng cho việc giám sát, phân tích hoặc nghiên cứu người hoặc nhóm người với bất cứ mục đích phân biệt hoặc phi pháp nào.

  The data must not be used for providing surveillance, analyses or research that isolates a group of individuals or any single individual for any unlawful or discriminatory purpose.

• Bạn đồng ý chịu hoàn toàn trách nhiệm cho cách bạn sử dụng dữ liệu và sẽ phải bảo vệ và bồi thường cho Ban Tổ Chức đối với mọi và bất kỳ khiếu nại nào phát sinh từ cách sử dụng dữ liệu.

  You accept full responsibility for your use of the data and shall defend and indemnify the Competition Organizer, against any and all claims arising from your use of the data.

Đánh giá kết quả (Result Submission)

Mỗi phần đánh giá của các giai đoạn, thí sinh được yêu cầu nạp file zip với tên "results.zip" trong đó chứa file "results.csv". File csv sẽ chứa 2 phần thông tin, phần thứ nhất là kết quả cho bài toán segmentation và phần thứ hai là kết quả của bài toán gesture recognition

Each phase, the participants are required to submit the file zip with name as "results.zip" which contains file "results.csv". The csv file will contain 2 parts of information, the first part is the result of the segmentation problem and the second part is the result of the gesture recognition problem.

Body Segmentation

Thí sinh nạp kết quả theo định dạng dưới đây: (The participants submit file with following format)

• 0,image_name1,encoded_mask1
• 0,image_name2,encoded_mask2
• ...

Mask là một binary nparray với kích thước 256x256x1 trong đó 0-background, 1-mask. Sau đó mask sẽ được encode theo thuật toán rle với link hướng dẫn ở đây

Mask is a binaray nparray with size 256x256x1 where 0-background, 1-mask. After that mask will be encoded based on rle algorithm. The instruction link is here

Gesture Recognition

Thí sinh nạp kết quả theo định dạng dưới đây: (The participants submit file with following format)

• 1,image_name1,gesture1
• 1,image_name2,gesture2
• ...

Lưu ý: gesture phải giống theo tên các class đã được cung cấp

Note: gesture must be same provided classes

Ví dụ cho file "results.csv" (Example of "results.csv")

0,image1,111 0,image2,222 1,image3,gesture1 1,image4,gesture2

Lưu ý: file không chứa dòng trống và phần segmentation phải được đặt trước phần nhận diện

Note: File contains no empty line and segmentation part must be written before recognition part

Ngày 19/4/2022: Cập nhật lưu ý trong Overview - Các đội không được phép sửa nhãn của phần gesture recognition do BTC cung cấp. Đối với body segmentation, các đội không được phép sửa thủ công các nhãn của do BTC cung cấp, cho phép sửa tự động nhãn của tập training data nhưng phải cung cấp thuật toán sửa nhãn cho BTC. Tuyệt đối không được can thiệp hay sử dụng tập test dưới bất kỳ hình thức nào trong quá trình huấn luyện.

Ngày 17/4/2022: Cập nhật lưu ý trong Overview - các đội có thể sử dụng các video gesture trong tập training data được cung cấp như dữ liệu không nhãn để huấn luyện body segmentation. KHÔNG ĐƯỢC PHÉP gán nhãn thêm một cách thủ công (khoanh vùng body bằng tay từng cái) từ những ảnh lấy từ các videos này.

Ngày 16/4/2022:

- Cập nhật training data sau khi loại bỏ các video lỗi

- Cập nhật tập Public test sau khi đặt tên lại các file dữ liệu để tránh việc đoán nhãn dựa theo tên

- Cập nhật quy tắc sử dụng các đặc trưng bổ sung tại mô tả Overview: Với bài toán gesture recognition, các đội được phép kết hợp thông tin body segmentation ở subtask 1 cùng với các đặc trưng khác (trích xuất thủ công hoặc trích xuất từ các mô hình pre-trained công khai đăng ký với BTC) để làm đầu vào cho các mô hình phân loại. Nhưng KHÔNG ĐƯỢC PHÉP sử dụng hay ensemble với bất kỳ mô hình phân loại cử chỉ nào mà không nhận dữ liệu body segmentation làm đầu vào.

Ngày 13/4/2022:

- Fix lỗi trình chấm do sai số làm tròn