[공지] Pre-trained Tokenizer 사용 관련 공지

[vetaerang]

안녕하세요. 본 대회를 운영하고 있는 데이콘입니다.

본 대화요약 대회에서는 Pre-trained Tokenizer 사용이 가능합니다.
Konlpy, Mecab, HuggingFace Tokenizer 등 오픈되어 있는 Pre-trained Tokenizer뿐만 아니라,
개인적으로 학습시킨 Tokenizer도 사용 가능합니다.
Tokenizer를 학습시키기 위해 외부데이터를 사용하는 것도 허용합니다.

다만, Pre-trained 모델 및 모델 학습 단계에서의 외부데이터 사용은 불가합니다.
기존에 존재하는 모델을 사용하실 때에는 weight를 초기화한 뒤, 아키텍쳐만 가져와서 사용하셔야 합니다.

감사합니다.