[공지] 평가산식 오류 수정에 따른 리더보드 초기화 및 재제출 안내_수정_10.20.14:24

[vetaerang]

안녕하세요. 본 대회를 운영하고 있는 데이콘입니다.

infer 과정에서 제출물과 정답 파일 간에 id 매칭이 제대로 이루어지지 않는 문제점을 발견했습니다.

해당 문제를 해결한 평가산식을 새로 업데이트 하였고, 이에 따라 리더보드가 초기화 되었음을 알려드립니다.

기존 리더보드(2021년 10월 19일 17시30분 기준)는 아래 이미지를 참고해주시기 바랍니다.

기존 리더보드는 참고만 부탁드리며,
번거롭겠지만 참가자분들께서는 수정된 평가산식이 적용된 리더보드에 새로 제출물을 올려주셔야합니다.

기존에 실행하셨던 session과 checkpoint는 남아있지만, 제출 포맷(infer 함수의 return값)이 달라졌기 때문에
main.py를 수정하신 후 새로 학습을 해주셔야 합니다.

기존 제출 포맷 : list(zip(prob, summary)) #ex) [(0, '철수는 밥을 먹었다.'), (0, '짱구는 밥을 먹었다.'), ...]
새로운 제출 포맷 : list(zip(id, summary)) #ex)[('efe21026-0715-5ca4-99fe-46d0ecfba147', '철수는 밥을 먹었다.'), ...]

baseline의 main.py에 수정된 부분(347~353번째 줄) 참고 부탁드립니다.
test_id = test_data['dialogueID']

dialogue-summarization/baseline/main.py

Lines 347 to 353 in 03a7836

	test_id = test_data['dialogueID']
	# DONOTCHANGE: They are reserved for nsml
	# 리턴 결과는 [(id, summary)] 의 형태로 보내야만 리더보드에 올릴 수 있습니다.
	# ex)[(' efe21026-0715-5ca4-99fe-46d0ecfba147', '철수는 밥을 먹었다.'), ...]
	return list(zip(test_id, summary))

대회 진행에 있어서 혼동을 드려 죄송합니다.

[devsungmin]

@hunminjeongeum-korean-competition-2021/team-2