GPT 리뷰

October 20, 2019

Transformer 관련을 찾아보면서 Huggingface의 transformers 레포지토리에 BERT 다음으로 나오는 OpenAI의 GPT를 읽어보기로 헀다. 대신 정리가 너무 오래 걸리는 결과 같은 건 다 제외한다.

Tags: paper
Read More

Pycon KR 2019

September 3, 2019

파이콘 KR 2019에 가보면서 들었던 꽤 좋았던 세션들 목록 + 내용을 간단하게 정리하면서 그 내용을 블로그에도 옮겨놓는다. 회사분들께 공유할 목적으로 적어놓아서 많은 부분이 빠져있고, 엄청 축약되어 있는 것도 있다.

Tags: conference
Read More

Review of "Attention Is All You Need"

July 21, 2019

Transformer를 소개하는 논문으로, CS224n강의의 suggested readings 목록에 있어서 읽어본 논문이다. 한국어 리뷰도 엄청 많을 정도로 유명한 논문이다. 해당 논문을 읽고, 간략한 정리를 해보았다. 논문은 arXiv:1706.03762에 있다.

Tags: paper
Read More