Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[공지] 평가 산식 오류 해결 및 리더보드 정상화 안내 #52

Open
vetaerang opened this issue Oct 20, 2021 · 1 comment
Open

Comments

@vetaerang
Copy link
Contributor

안녕하세요.
한국어 음성·자연어 인공지능 경진대회 대화요약 부문 참가자 여러분.

먼저, 10월 19일 발생한 부문 평가 산식 오류과 관련하여 다시 한 번 심심한 사과를 드립니다.
대회 운영에 있어 오류가 재발생하지 않도록 보다 세심한 검토를 약속드리며,
아래와 같이 문제 해결 과정에 대해 공유드립니다.


  1. 문제상황
  • 문제: 제출 수 대비 score가 많이 향상되지 않는 현상 파악
  • 원인: 평가코드(데이터처리 + 평가산식) 중 데이터처리 코드에 테스트셋과 평가셋의 결과들을 대조하기 위한 인덱싱 부재 발견
  1. 조치 내용
    평가코드 중 데이터처리 코드에 대조를 위한 인덱싱 추가 조치

  2. 문제 해결 결과
    10월 20일 14:00시 현재 정상 작동


따라서, 현재 정상적으로 리더보드가 운영되고 있으니 제출을 진행하시면 됩니다.
변경된 제출 포맷은 #48 공지 확인 부탁드립니다.
대회 운영에 있어 궁금한 부분이나 문제해결을 원하시는 경우 github issue를 통해 편히 문의주세요.

추가로, baseline의 main.py에 decode_idx2word() 함수를 추가 및 적용하였습니다.
예측 결과가 token 형태로 나와서 이를 다시 문장 형태로 변환하는 함수입니다.

감사합니다.

@devsungmin
Copy link
Member

@hunminjeongeum-korean-competition-2021/team-2

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

3 participants