Jeonghyeok Park's Homepage
Living like a machine
-
[Pytorch] 임베딩을 합치는 4가지 방법 4 Methods to combine embeddings(Representations)
안녕하세요. 4 Methods to combine embeddings(Representations) 임베딩을 합치기 위한 4가지 방법입니다. 저에게 익숙한 자연어 처리의 관점으로 이야기해보겠습니다. 결국에는 matrix를 가지고 병합하는 과정이기에 batch 등 data의 특성을 고려해서 살짝씩 변경해주시면 어떤 task에서든 적용 가능합니다. 먼저 필요성에 대해서 짧게 말하겠습니다. 모델의 성능을 향상시키기 위해서 하는 방법은 대략 3가지 정도있겠네요. (paper를 쓸...
-
[Python] 딕셔너리 수정 중 발생하는 에러 및 해결 방법 RuntimeError: * during iteration
안녕하세요. Python에서 dict (dictionary)를 수정하는 중에 발생할 수 있는 에러를 해결하는 방법에 대해 소개해드리겠습니다. How to solve “RuntimeError: * during iteration” in python? 먼저 어떤 에러가 발생할 수 있는지 여러 dictionary로 재현해보겠습니다. 하고자 하는 task는 딕셔너리의 “key2”인 key를 삭제하는 것입니다. “key1”, “key2”, “key3”를 dict에 넣고 “key2”를 삭제하면 기대되는 아웃풋은...
-
[Pytorch] 신경망 모델 웜 스타팅 Warm-starting from old one after model reconstruction
안녕하세요. 이번 포스팅에서 소개해드릴 내용은 신경망 모델의 warm-starting 방법입니다. Model warm-starting from old one after model reconstruction warm-starting이란 처음부터 시작하지 않는다는 거죠, 완전하게 task에 맞추어 훈련이 되지는 않았지만 모델의 파라미터의 일부가 유의미한 정보(trained)를 가지고 있는 채로 훈련을 시작하는 것을 의미합니다. 일반적으로 기존 모델에 추가할 수 있는 새로운 정보가 있다면,...
-
[Python] 파이썬 함수 getattr, setattr, hasattr, delattr 사용법 및 예시
안녕하세요. 이번 포스팅에서 소개해드릴 것은 python에서 자주 사용하는 getattr, setattr, hasattr, delattr 입니다. object와 attribute에 대한 처리가 필요할 때 사용하실 수 있습니다. 사용 예로는, 딥러닝 모델의 config를 일반적으로 object의 변수로 설정하여 받아오는 경우가 많습니다. Opennmt, fairseq 처럼 큰 오픈 프로젝트의 경우 안에 다양한 딥러닝 모델이 있다보니 config를 변경하여 모델을...
-
[Pytorch] torch.Tensor 와 torch.tensor 의 차이 (Difference between torch.tensor and torch.Tensor)
안녕하세요. 이번 포스팅에서 소개해드릴 내용은 torch.Tensor와 torch.tensor에 관련한 내용입니다. Difference between torch.tensor and torch.Tensor torch.Tensor() will convert your data type to Float (torch.float32). Actually, torch.Tensor and torch.FloatTensor both do same thing. torch.tensor() will convert your data to tensor but you can select data type which is crucial in...