얼마전에 읽어봤었던 논문인데 활용할 필요성이 생겨 리뷰해보았다. Google Research 쪽에서 작성한 논문으로 보이고, 아직 preprint 상태이다. arxiv 링크는 https://arxiv.org/pdf/2010.03802.pdf. 간단하게 진행하는 논문 리뷰에서 할 예정이라 pdf로 작성했다.

최근 모델 학습을 진행하면서 필요 이상으로 메모리를 많이 먹는 느낌이 있어 프로파일링을 해보았다. TensorBoard profile 기능의 memory_profile을 보다보니 SparseCategoricalCrossentropy와 softmax가 굉장히 많은 메모리를 먹고 있었다.

TensorFlow Everywhere Korea(festa, fb) 에서 발표한 “편리한 NLP를 위한 TensorFlow-Text와 RaggedTensor”를 준비하면서 작성한 포스트입니다.

핑퐁팀 블로그에 업로드했던 “TensorFlow Custom Op으로 데이터 변환 최적화하기”글입니다. 제가 홍승환님과 같이 작성한 글이기 때문에 이 블로그에 아카이브합니다.

leetcode를 풀다가 중복제거에 사용할 수 있는 STL 함수가 없을까 찾아보았는데, std::unique가 있었다. 근데 동작이 잘 이해가 안가서 찾아보았다.

Building Machine Learning Pipelines를 최근 읽고 있는데, 해당 책에서 말하는 논문이었고, 읽어보면 좋을 것 같아 읽어보았다. 논문 링크는 여기이다.

핑퐁팀 블로그의 하나의 조직에서 TensorFlow와 PyTorch 동시 활용하기에 올라간 글입니다. 제가 작성한 글이기 때문에 이 블로그에 아카이브합니다.

if(kakao)2020 세션을 들으면서 좋았던 세션들이나 나중에 다시 볼 세션 아카이빙 용도로 정리해보았다. 개인적으로는 세션 영상을 잘 녹화해주어서 정말 감사하지만 발표 자료가 같이 링크되어 있었다면 훨씬 좋지 않았을까 싶다.

핑퐁팀 블로그의 딥러닝 모델 서비스 A-Z 2편 - Knowledge Distillation - 난 선생이고 넌 학생이야에 올라간 글입니다. 제가 작성한 글이기 때문에 이 블로그에 아카이브합니다.

얼마전 PyTorch Team에서 처음으로 개최하는 PyTorch Developer Day에 초대한다는 메일이 와서 확인해보았다.