[NSML] NSML Internal Server Error

[sohyunwriter]

주제

• NSML 자원 부족 이슈

상황 (자세히 작성해주시면 좋습니다.)

• NSML run이 되지 않습니다.

내용 (첨부 가능한 이미지 추가해주시면 더 좋습니다.)

• NSML 자원 부족 현상이 계속 일어나는 것 같습니다.
• 이와 같은 현상이 다른 깃헙 이슈에서 해결 조치 취한 후에도, 잠시 안정되었다가 다시 또 중단되는 것 같습니다.
• 현재 서버가 계속 불안정해보이는데 조치를 취해주시길 부탁드립니다.

기타 문의 사항

[dan-legit]

저도 같은 이슈 발생중입니다. 지금까지 Session 생성을 한번도 못했습니다. 아직 아무것도 못하고 있습니다.

[bluebrush]

@sohyunwriter 님, 이슈 확인되었습니다.
조치되었는데, 실제 적용이 되는지는 사용자 docekr image 주소의 영향을 받는지 확인 필요합니다.
재실행해서 테스트 부탁드립니다.
docker image 주소를 알려주시면 확인 가능할 것 같습니다.

https://www.docker.com/increase-rate-limits?utm_source=docker&utm_medium=web%20referral&utm_campaign=increase%20rate%20limit&utm_budget=

[hyeinhyun]

저도 같은 현상입니다. docker image 라고 하면, #nsml: dacon/nia-tf:1.0
를 말씀하시는 걸까요?

저희 요약 팀은 custom docker를 이용하지 못하는것으로 알고있습니다.

[bluebrush]

@hyeinhyun 님, 함께 해결되 었을 것으로 보여집니다.

말씀하신 docker image를 할당가능한 장비에 pull 중에 있으니, 참고부탁드립니다.

[hyeinhyun]

@bluebrush 님,
16시 45분 현재도 똑같은 현상이 지속되고있습니다 ㅠㅠ

너무 급하게 여쭤보는것은 아닌가 걱정이되지만, 시간이 짧은 해커톤이기에 양해부탁드립니다ㅠㅠ

[dan-legit]

저도 마찬가지로 안됩니다. 혹시 docker image를 #nsml: dacon/nia-tf:1.0 이거 말고 다른거를 사용하면 문제가 없다든지 그런건 아니겠죠?
도커 이미지 문제가 아니라 컨테이너 혹은 세션 문제인 거 같아서요.

[cosmoquester]

저도 같은 현상이 지속적으로 발생하고 저는 torch로 하는데 나는 걸 보면 base 도커 이미지와는 무관한 것 같습니다.

[hyeinhyun]

@bluebrush 님, 아직도 같은 문제가 해결이 되지 않아 세션을 돌리지 못하고있습니다..ㅠ

[bluebrush]

@hyeinhyun 님, @cosmoquester 님, 조치되었습니다. #27 이슈였습니다.