[NSML] session already removed

[cosmoquester]

주제

• nsml already removed 오류 지속적인 발생

상황 (자세히 작성해주시면 좋습니다.)

INFO[2021/10/12 19:17:39.743] tests/__init__.py 0 B - done (18/19 94.74%) (32 KiB/32 KiB 97.65%) 
INFO[2021/10/12 19:17:39.744] tests/test_model.py 783 B - start            
INFO[2021/10/12 19:17:39.744] tests/test_model.py 783 B - done (19/19 100.00%) (32 KiB/32 KiB 100.00%) 
......
Building docker image. It may take a while
...Warning: nia2040/dialogue/542 is already removed. It will be removed from nsml soon
[]
Done
Error: nia2040/dialogue/542: launching is failed. Please contact dev team
FATA[2021/10/12 19:17:44.021] Internal server error

nsml run으로 뭔가를 실행하면 실행 코드와 상관없이 위와 같은 오류가 토요일부터 지금까지 지속적으로 발생합니다.
사용하는 이미지는 dacon/nia-pytorch:1.0 입니다.
커맨드를 계속 치다보면 어쩌다 한 번씩 되고 또 계속 안되고 그렇습니다.
그냥 baseline으로 nsml run만 해봐도 에러가 재현됩니다.

내용 (첨부 가능한 이미지 추가해주시면 더 좋습니다.)

기타 문의 사항

[devsungmin]

#27 해당 이슈와 연관된 문제 인것 같습니다.

감사합니다.

[cosmoquester]

#27 해당 이슈와 연관된 문제 인것 같습니다.

감사합니다.

저는 기본제공되는 이미지를 썼는데 해당 이슈인 건가요?

[bluebrush]

네에 모든 이미지에 대해서 update check가 이루어졌으며, 이과정에서 rate limit이 적용되었습니다.

[cosmoquester]

네에 모든 이미지에 대해서 update check가 이루어졌으며, 이과정에서 rate limit이 적용되었습니다.

근데 어째서 #27 에서 완료되었다고하는 nia-tf:1.0 이미지를 사용하는 baseline 코드를 돌려봐도 같은 오류가 계속 발생하는 건가요?

[cosmoquester]

제가 지금 다시 해봐도 1번 정상적으로 실행된 이후에 또 다시 계속 같은 에러가 발생합니다.

[cosmoquester]

$ nsml run -d dialogue                                                                                                                                                                                          
INFO[2021/10/13 15:06:35.198] .nsmlignore check - start                    
INFO[2021/10/13 15:06:35.199] .nsmlignore check - done                     
INFO[2021/10/13 15:06:35.275] file integrity check - start                 
INFO[2021/10/13 15:06:35.275] file integrity check - done                  
INFO[2021/10/13 15:06:35.276] main.py 17 KiB - start                       
INFO[2021/10/13 15:06:35.277] main.py 17 KiB - done (1/2 50.00%) (17 KiB/17 KiB 99.08%) 
INFO[2021/10/13 15:06:35.277] setup.py 162 B - start                       
INFO[2021/10/13 15:06:35.277] setup.py 162 B - done (2/2 100.00%) (17 KiB/17 KiB 100.00%) 
......
Building docker image. It may take a while
...Warning: nia2040/dialogue/547 is already removed. It will be removed from nsml soon
[]
Done
Error: nia2040/dialogue/547: launching is failed. Please contact dev team
FATA[2021/10/13 15:06:39.564] Internal server error

로그 시간을 보시면 아시겠지만 방금 막 실행한 결과입니다.

[cosmoquester]

왠지 모르겠지만 지금은 되네요. 문제가 해결이 된건지 일시적으로 되는건지는 모르겠지만?