Jeonghyeok Park's Homepage
Living like a machine
-
[Pytorch] RuntimeError: received 0 items of ancdata 해결 방법
안녕하세요. 이번 포스팅에서 알려드릴 내용은 Pytorch의 dataloader에서 발생할 수 있는 에러에 대한 해결 방법을 알려드리려합니다. 저는 fairseq-py로 NMT model을 훈련하다가 이 error가 발생해서 구글링했습니다. RuntimeError: received 0 items of ancdata pytorch의 dataloader가 data를 받아오는 과정에서 발생하는 에러인데요. subprocess들이 tensor를 공유하는 과정은 ‘open files’로 진행됩니다. open files의 제한이 있을 경우...
-
[Pytorch] 신경망 모델 훈련 중 특정 레이어 프리징하는 방법 How to freeze a specific layer in a neural model at training-time?
안녕하세요. 이번 포스팅은 신경망 모델 훈련 중에 특정 레이어를 프리징하는 방법에 대해 알려드리고자 합니다. 프리징(Freezing)은 뭘까요? 영어 단어 그 자체의 의미는 “얼리다”이지만 신경망 모델, 딥러닝에서는 모델이나 모듈의 파라미터를 모델 트레이닝 동안 고정하는 것을 의미합니다. 즉, 모델의 train step을 진행해도 프로그래머가 특정한 모델이나 모듈의 파라미터(weight or bias or both)는 변하지...
-
[NLP] 자연어 처리를 위한 리눅스 명령어 grep의 사용법 (in google colab)
안녕하세요. 오늘 소개해드릴 리눅스 명령어는 grep입니다. grep : Global Regular Expression Print Regular Expression 정규 표현식.. 예제로 보면 단순한데 막상 쓰려고 하면 어려운 처음에는 다 외우려고 했으나 그냥 필요할 때마다 찾아보고 있습니다. grep은 디렉토리 내의 파일을 검색하거나 파일 내에서 본인이 찾고 싶은 문자열이나 정규 표현식을 포함하고 있는 line을 찾는...
-
[Tip] 구글 코랩 자동 재연결 방법 (How to prevent Google colab from disconnecting?)
안녕하세요. 요즘 논문 rebuttal 때문에 논문 실험 내용 보충을 위해 Colab으로 6개, 학교 연구실 서버로 2개 총 8개의 GPU를 사용해서 모델을 훈련하는 중이라 정신이 없어서.. 했던 모델 또 훈련하기도 한답니다. 이렇게 정신없는 와중에 google colab 연결이 자는 중에 꺼지기라고 하면 낭패죠.. 잠 잤는데 시간을 낭비한 느낌? 최근에 저도...
-
[NLP] Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves 정리
안녕하세요. 이 포스팅은 최근에 Google research에서 나온 논문에 대한 정리 내용입니다. Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves Google Research, Brain Team 중국어 포스트를 중심으로 해서 원 논문의 내용을 추가했습니다. Abstart 현재는 다양한 tasks을 해결하는 방식이 데이터와 모델에 대한 전문적인...