SoICT Hackathon 2024 - Traffic Vehicle Detection

Organized by sangdv - Current server time: Nov. 5, 2024, 9:53 p.m. UTC

Previous

Public Test - Warming Up
Oct. 8, 2024, midnight UTC

Current

Public Test - Speed Up
Nov. 4, 2024, midnight UTC

Next

Private Test
Dec. 21, 2024, noon UTC

Giới thiệu chung

Chủ đề: Cuộc thi Traffic Vehicle Detection tập trung vào giải quyết bài toán "nhận diện loại phương tiện giao thông ở Việt Nam ".

Nhiệm vụ: Cuộc thi tập trung duy nhất vào một nhiệm vụ: phát hiện và xác định loại xe qua từ camera giao thông trong điều kiện bình thường hoặc điều kiện khó (ban đêm, mưa, loá đèn...).

Dữ liệu

  • Dữ liệu được cung cấp bởi ban tổ chức gồm 3 tập như sau (Cần đăng ký tài khoản rồi vào mục Participate để tải dữ liệu):
    • Training data: là tập dữ liệu thật có gán nhãn, dùng để huấn luyện mô hình. Tập này gồm 11022 ảnh (gồm 6392 ảnh vào ban ngày, 4630 ảnh vào ban đêm).
    • Public test: Là tập dữ liệu dùng để tuning mô hình, gồm 2060 ảnh (737 ảnh vào ban ngày và 1323 ảnh vào ban đêm)
    • Private test: Là tập dữ liệu không có nhãn. Tập này gồm 3308 ảnh. (Gồm 1352 ảnh ban ngày và 1956 ảnh ban đêm)
  • Đầu vào cho mô hình là các ảnh thô chưa được gán nhãn. Tệp nhãn là các file định dạng .txt. Mỗi dòng của tệp nhãn chứa thông tin là tên ảnh và nhãn của văn bản chứa trong ảnh đó. Định dạng như sau:
    • Tên_Ảnh Nhãn Toạ độ bounding box (định dạng Yolo)
  • Lưu ý: Tên các file có thông tin frame và video để các đội có thể áp dụng các kỹ thuật tracking để cải tiến chất lượng dự đoán.

Tiêu chí đánh giá là chỉ số MAP, là giá trị trung bình của các giá trị AP trên tất cả các lớp.

Quy định

Tiêu chí đánh giá

Kết quả sẽ được đánh giá dựa trên chỉ số MAP (Mean Average Precision). MAP là một chỉ số đánh giá hiệu suất phổ biến trong các hệ thống tìm kiếm thông tin, máy học và truy xuất dữ liệu. MAP đo lường mức độ chính xác của một mô hình trong việc sắp xếp các kết quả tìm kiếm theo thứ tự liên quan đến truy vấn. Giá trị MAP nằm trong khoảng từ 0 đến 1, giá trị càng cao thì mô hình càng tốt.

Trong đó, nhãn được tạo nên với các tiêu chí như sau:

  • Nhãn 0: xe máy
  • Nhãn 1: xe ô tô con
  • Nhãn 2: Xe vận tải du lịch (xe khách)
  • Nhãn 3: Xe vận tải container
  • Các ảnh xe ở xa, có điểm ảnh quá mờ hoặc không thể nhìn bằng mắt thường có thể không được được đánh nhãn
  • Các loại xe bị cải tạo quá 70% so với hình dạng ban đầu (như xe thồ,...) sẽ được đánh nhãn 1
  • Các loại xe điện (xe đạp điện, máy điện, XanhSM, ...) hoặc xe phân khối lớn sẽ được đưa vào nhóm 1

MAP50 được tính theo công thức:

$$MAP=\frac{1}{N} \sum_{i=1}^{N} AP_i$$

Trong đó:

  • N là số lượng truy vấn.
  • APi là giá trị Average Precision của lớp thứ i.

Ví dụ:

Điểm số cuối cùng sau khi các đội thi nộp kết quả lên hệ thống là sẽ được xét theo giá trị MAP50 cao nhất của mô hình

Quy định chung

  • Quyền hủy bỏ, sửa đổi hoặc loại bỏ tư cách tham dự. Ban tổ chức cuộc thi có toàn quyền quyết định chấm dứt, sửa đổi hoặc đình chỉ cuộc thi.

  • Bằng cách gửi kết quả cho cuộc thi, bạn đồng thuận việc công khai điểm số của mình tại hội thảo của cuộc thi và trong các kỷ yếu liên quan theo quyết định của Ban tổ chức. Điểm số có thể bao gồm nhưng không giới hạn các đánh giá định lượng được tiến hành tự động và thủ công, các đánh giá định tính, và các chỉ số đo mà ban tổ chức đánh giá là phù hợp. Bạn chấp nhận rằng quyết định cuối cùng liên quan đến việc chọn các chỉ số đo và giá trị điểm số nằm ở người ra đề.

  • Với việc tham gia cuộc thi, bạn xác nhận và công nhận rằng bạn đồng ý tuân thủ các luật và quy định hiện hành, đồng thời bạn không được vi phạm bất kỳ bản quyền, sở hữu trí tuệ hoặc bằng sáng chế nào của một bên khác đối với phần mềm mà bạn phát triển trong quá trình diễn ra cuộc thi và sẽ không vi phạm bất kỳ luật và quy định hiện hành nào liên quan đến kiểm soát xuất khẩu, quyền riêng tư và bảo vệ dữ liệu.

  • Giải thưởng được trao dựa trên sự xem xét và xác minh của Ban tổ chức cuộc thi về tính đủ điều kiện của người dự thi và tuân thủ các quy tắc này cũng như tuân thủ các yêu cầu dành cho đội thắng cuộc.

  • Người tham gia trao cho Ban tổ chức cuộc thi quyền sử dụng các bài dự thi của bạn cũng như mã nguồn và dữ liệu được tạo và sử dụng để tạo bài dự thi cho bất kỳ mục đích nào và không cần phê duyệt thêm.

Điều kiện tham dự

  • Mỗi người tham gia phải tạo một tài khoản CodaLab để gửi giải pháp cho cuộc thi. Mỗi người chỉ được cấp phép duy nhất một tài khoản.

  • Cuộc thi diễn ra công khai, nhưng Ban tổ chức cuộc thi có thể quyết định bác bỏ quyền tham gia theo những cân nhắc riêng.

  • Ban tổ chức cạnh tranh có quyền loại bất kỳ người tham gia nào khỏi cuộc thi nếu, theo quyết định riêng của Ban tổ chức cuộc thi, chúng tôi tin rằng người tham gia đã cố gắng phá hoại hoạt động hợp pháp của cuộc thi thông qua gian lận, lừa dối hoặc các hành vi tham dự không công bằng khác.

Quản lý đội tham gia

  • Những người tham gia được phép thành lập đội. Số lượng người tham gia trong nhóm tối đa là 5 người.

  • Bạn không thể tham gia vào nhiều hơn một đội. Mỗi thành viên trong nhóm phải là một cá nhân duy nhất sử dụng một tài khoản CodaLab riêng biệt.

  • Việc hợp nhất nhóm được cho phép và có thể được thực hiện bởi trưởng nhóm. Yêu cầu hợp nhất nhóm sẽ không được phép sau "Thời hạn sáp nhập nhóm".

  • Để hợp nhất, nhóm được kết hợp phải có tổng số lần gửi nhỏ hơn hoặc bằng số lượng tối đa được phép cho một nhóm tính đến ngày hợp nhất. Mức tối đa được phép là số lần gửi mỗi ngày cho mỗi giai đoạn nhân với số ngày cuộc thi đã diễn ra.

  • Ban tổ chức không cung cấp bất kỳ hỗ trợ nào liên quan đến việc hợp nhất đội.

Thể lệ nộp bài

  • Số lần gửi tối đa trong mỗi giai đoạn:

    • Giai đoạn 1 - Khởi động:
      • Public Test: 10 bài / ngày / đội
    • Giai đoạn 2 - Về đích:
      • Private Test: 05 bài / ngày / đội
  • Nội dung bài dự thi sẽ bị vô hiệu nếu toàn bộ hoặc một phần không đọc được, không đầy đủ, bị hư hỏng, bị thay đổi, giả mạo, có được thông qua các phương tiện gian lận hoặc trễ hạn. Ban tổ chức cuộc thi có quyền loại bất kỳ người dự thi nào gửi bài không tuân thủ tất cả các yêu cầu.

Dữ liệu

Bằng cách tải xuống hoặc truy cập dữ liệu do Ban tổ chức cuộc thi cung cấp theo bất kỳ cách nào, bạn đồng ý với các điều khoản sau:

  • Thí sinh KHôNG được sử dụng dữ liệu khác ngoài tập dữ liệu được cung cấp bởi cuộc thi. Thí sinh có quyền tăng cường dữ liệu và tạo dữ liệu tổng hợp từ tập dữ liệu ban tổ chức cung cấp.
  • Bạn sẽ không phân phối dữ liệu ngoại trừ mục đích phi thương mại và nghiên cứu học thuật.

  • Bạn sẽ không phân phối, sao chép, tái sản xuất, tiết lộ, chuyển nhượng, cấp phép phụ, nhúng, lưu trữ, chuyển nhượng, bán, giao dịch hoặc bán lại bất kỳ phần nào của dữ liệu do Ban tổ chức cuộc thi cung cấp cho bất kỳ bên thứ ba nào vì bất kỳ mục đích nào.

  • Dữ liệu không được sử dụng để giám sát, phân tích hoặc nghiên cứu nhằm cô lập một nhóm cá nhân hoặc bất kỳ cá nhân đơn lẻ nào vì bất kỳ mục đích bất hợp pháp hoặc phân biệt đối xử nào.

  • Bạn hoàn toàn chịu trách nhiệm về việc sử dụng dữ liệu của mình và sẽ bảo vệ và bồi thường cho Ban tổ chức cuộc thi, chống lại bất kỳ và tất cả các khiếu nại phát sinh từ việc bạn sử dụng dữ liệu.

05/11/2024:

- Cập nhật scoring. Xem trình chấm tại đây: https://drive.google.com/file/d/1zVeEW1lOLOeX31mt6WCN7jTxCzfTu3CX/view?usp=sharing

- Tạo leaderboard mới cho public test (bắt đầu từ 5/11/2024)

22/10/2024:

- Cập nhật scoring

- Cập nhật link cho tập train

21/10/2024:

- Cập nhật mô tả nhãn ban đêm: Trong dataset cung cấp, BTC đã đánh nhãn các ảnh ban đêm từ 4-7, các đội cần quy về các nhãn từ 0-3 theo quy tắc sau: 4 --> 0, 5 --> 1, 6 --> 2, 7 --> 3.

- Cập nhật định dạng của file kết quả cần nộp: Định dạng mỗi dòng của "predict.txt" là tên ảnh và kết quả dự đoán của 1 đối tượng trong ảnh đó thể hiện dưới dạng (class_id, x_center, y_center, width, height, confidence score). Tên ảnh và 6 số thể hiện kết quả dự đoán ngăn cách nhau bởi dấu cách.

16/10/2024:

- Update link dataset bị lỗi; 

- Bổ sung thông tin lưu ý là tên các ảnh có gắn id frame để các đội có thể sử dụng thêm các kỹ thuật tracking.

 

Định dạng của dữ liệu

Kết quả dự đoán của tất cả ảnh đều sẽ được tổng hợp lại thành một file và đặt tên là “predict.txt” để nộp lên hệ thống. File này phải được nén (zip) lại trước khi nộp lên hệ thống.

Định dạng mỗi dòng của "predict.txt" là tên ảnh và kết quả dự đoán của 1 đối tượng trong ảnh đó thể hiện dưới dạng (class_id, x_center, y_center, width, height, confidence score). Tên ảnh và 6 số thể hiện kết quả dự đoán ngăn cách nhau bởi dấu cách. Trong đó class_id có giá trị trong tập {0, 1, 2, 3}. Nếu ko có confidence_score thì trình chấm sẽ mặc định là confidence_score=1.0.

Ví dụ: 

frame1.jpg 0 0.43671875 0.166 0.0390 0.0527 0.75
frame1.jpg 2 0.501171875 0.1958 0.0414 0.069444 0.638
frame1.jpg 3 0.0164 0.19861 0.03281 0.0861 0.95
frame1.jpg 0 0.934375 0.645833 0.0453125 0.16111 0.741
frame1.jpg 1 0.42109 0.798611 0.25 0.21944 0.321
frame2.jpg 3 0.85078 0.86736 0.2984375 0.245833 0.111
frame2.jpg 3 0.434375 0.245833 0.0453125 0.16111 0.541
frame2.jpg 1 0.52109 0.398611 0.254 0.31944 0.421

Public Test - Warming Up

Start: Oct. 8, 2024, midnight

Public Test - Speed Up

Start: Nov. 4, 2024, midnight

Private Test

Start: Dec. 21, 2024, noon

Competition Ends

Dec. 31, 2024, midnight

You must be logged in to participate in competitions.

Sign In
# Username Score
1 Th3Boys 0.8852
2 Doduchuy12 0.8789
3 hoangthuan209 0.8690