질문방

[98hyun]

궁금한게 생기면 무엇이든지

[inh2613]

[반도체 박막 두께분석 경진대회 질문]
데이터가 너무 커서 그런 건지 겨우 겨우 업로드 했는데 unzip이 안되네요 ..ㅠㅠㅠㅠ 데이터 로드 어떻게 하셨나요??😭

[unizard]

드라이브 저장공감 충분한가요 2021년 2월 4일 (목) 오후 5:27, JeongInHee <[email protected]>님이 작성:

…

[반도체 박막 두께분석 경진대회 질문] 데이터가 너무 커서 그런 건지 겨우 겨우 업로드 했는데 unzip이 안되네요 ..ㅠㅠㅠㅠ 데이터 로드 어떻게 하셨나요??😭 [image: 제목 없음] <https://user-images.githubusercontent.com/62206617/106864449-38cb1080-670d-11eb-8a7d-558f76a4d94b.png> — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#10 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ACZW2XHYX5MJRAZ4U6FKHWDS5JK6NANCNFSM4W6TXVOA> .

[98hyun]

저는 .zip 파일 그대로 kaggle에 올려서 하고 있습니다. 올리는데 한 20분정도 걸렸나 그래요.
colab은 upzip을 해야하는데 kaggle은 그럴 필요가 없더라구요.

[inh2613]

넵 지금 코랩 디스크는 32기가 정도 사용가능이라 뜨고, 제 구글 드라이브도 10기가 정도 남았습니다

[inh2613]

아하..그러면 일단 kaggle 노트북에서 진행해보겠습니다!

[unizard]

10기가 짜리 데이터의 압축을 풀려면 10기가 이상이 필요하죠. ㅎㅎ 이런부분 한번 확인해보세요. 2021년 2월 4일 (목) 오후 5:38, JeongInHee <[email protected]>님이 작성:

…

넵 지금 코랩 디스크는 32기가 정도 사용가능이라 뜨고, 제 구글 드라이브도 10기가 정도 남았습니다 [image: 1] <https://user-images.githubusercontent.com/62206617/106866007-497c8600-670f-11eb-85e3-432bf1364cc8.png> — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#10 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/ACZW2XHUEBEIP3UIKKYFB2DS5JMIDANCNFSM4W6TXVOA> .

[liv0vil]

저는 구글드라이브에 데이콘에서 받은 zip파일 그대로 업로드해두고,
드라이브 마운트 설정 후 코랩에서 unzip 했는데 문제 없이 잘 동작합니다 참고하세요 !

[inh2613]

제 로컬 컴퓨터에서 압축 해제를 해봤는데 총 1.85GB의 데이터 셋이었습니다
찾아보니까 압축 파일 업로드 과정 자체에서 오류(파일 업로드할 때 시간이 많이 걸리긴 했었거든요.. 20분이상이었습니다)가 있을 수 있다고 하니 말씀해주신 방법으로 진행해 보겠습니다!! 답변 감사합니다 👍

[mungegg]

원자력 발전 1등 코드 공부하신 분 중에 random seed를 이렇게 정한 이유가 뭔지 아시는 분 있을까요?

[98hyun]

seed가 바뀌면 값이 바뀝니다. 그래서 train 잘 될때도 안될때도 있어요. lucky seed를 어떻게 정한지는 모르지만, 점수 향상에 seed 덕을 보려고 여러 seed를 시도해 본게 아닌가 싶습니다.

[mungegg]

stratifiedKfold로 돌리려고 하는데 세션이 자꾸 다운됩니다.
세션 다운되는 이유가 데이터가 커서 그런건지 제가 코드를 잘못 짠건지 잘 모르겠어서 그런데 세션다운되는 이유 중에 코드를 잘못 짜서 그런 경우도 있나요?.......

[98hyun]

세션 다운되는거면 보통 램의 문제때문에 계속 멈추더라구요. 데이터를 좀 했다가 지우고 하면 좋은데 그 모델이 언제 ram에서 데이터를 필요로 하고 필요없어졌는지 잘 몰라서 del 변수; gc.collect() 이런거 하면 된다고 써있긴 했습니다. 저도 이거걸리면 이것저것 해봤는데 해결이 안되더라구요. 시간이 문제면 그나마 다행인데. 다른 모델이나 gpu 쓰면 된다고도 써있고 한데 fasttext는 cpu만 쓴다고 되어있어요. 문서에. 그래서 다른 방법 더 찾아봐야할것 같습니다. 저도 좀 찾아볼게요