SentencePiece 기존 모델을 유지하면서 사용할 일이 있어서 해봤다.

2강이고 Multi-Task & Meta-Learning Basics이다.

얼마전 페이스북에서 Multi-task and Meta Learning 이라는 제목을 달고있는 Stanford CS330을 달고 있는 강의를 보아서 들어보기로 했다. 14개 정도의 강의라 배속으로 적당히 빨리 들어봐야겠다.

얼마전 tensorflow/community/pull/346을 보면서 놀란 점이 있다. 바로 tf.nn.sparse_softmax_cross_entropy_with_logits, tf.nn.softmax_cross_entropy_with_logits 연산이 non-deterministic하다는 것인데, 수식상으로 생각해볼때 저 Ops들이 그렇다는 것을 알기 힘들었다. 매우 자주 사용하는 Op들이고,

얼마전에 읽어봤었던 논문인데 활용할 필요성이 생겨 리뷰해보았다. Google Research 쪽에서 작성한 논문으로 보이고, 아직 preprint 상태이다. arxiv 링크는 https://arxiv.org/pdf/2010.03802.pdf. 간단하게 진행하는 논문 리뷰에서 할 예정이라 pdf로 작성했다.

최근 모델 학습을 진행하면서 필요 이상으로 메모리를 많이 먹는 느낌이 있어 프로파일링을 해보았다. TensorBoard profile 기능의 memory_profile을 보다보니 SparseCategoricalCrossentropy와 softmax가 굉장히 많은 메모리를 먹고 있었다.

TensorFlow Everywhere Korea(festa, fb) 에서 발표한 “편리한 NLP를 위한 TensorFlow-Text와 RaggedTensor”를 준비하면서 작성한 포스트입니다.

핑퐁팀 블로그에 업로드했던 “TensorFlow Custom Op으로 데이터 변환 최적화하기”글입니다. 제가 홍승환님과 같이 작성한 글이기 때문에 이 블로그에 아카이브합니다.

leetcode를 풀다가 중복제거에 사용할 수 있는 STL 함수가 없을까 찾아보았는데, std::unique가 있었다. 근데 동작이 잘 이해가 안가서 찾아보았다.

Building Machine Learning Pipelines를 최근 읽고 있는데, 해당 책에서 말하는 논문이었고, 읽어보면 좋을 것 같아 읽어보았다. 논문 링크는 여기이다.