Engineering blog
얼마전에 TensorFlow KR에 DistilKoBERT 기반의 문장 임베딩 모델을 만들어 공유했다. Knowledge Distillation을 활용해서 KorNLI, KorSTS를 학습한 모델이고 TensorFlow Hub에서 바로 사용할 수 있도록 구성해두었다.
GitHub codespaces에서 dev container를 세팅해보았다. Codespaces를 별로 사용해보지 않아서, 우선 블로그 레포지토리를 기준으로 세팅해봤다.
아래처럼 변경해서 쓸 수 있다.
Unity ML Agents라는 것을 보고 3D Balance Ball 예제를 돌려보았다.
ML Community Day 들으면서 신기한 것들만 정리
얼마전에, Geotrend-research/smaller-transformers라는 레포지토리를 우연히 보게 되어서 최근에 관심이 가는 LaBSE(Language-agnostic BERT Sentence Embedding)에 적용해보았다.
제목이 관심이 가서 본 논문(Do Vision Transformers See Like Convolutional Neural Networks?)에서 던진 핵심 질문이다.
TFX를 아직 1.0으로 안올리고 있다가, 컴포넌트가 조금 많이 추가되니 InternalServerError: Failed to create a workflow for (): etcdserver: request is too large 라는 에러가 떠서 관련 버그를 찾아보았다.
TFX를 사용하면서 가끔 빠르게 실험해보고 싶은 것이 생길경우 간단한 스크립트 성으로 코드를 작성하는데, 그때 유용한 팁정도이다.
TensorFlow에서 Mixed Precision Training 할 때, Model.compile을 직접 수정하여 사용하다보면 Loss Scaling이 제대로 되지 않을때가 있다.
얼마전에 GitHub explore reposistories 탭에서 SimCSE라는 레포지토리를 발견해서 논문을 간단하게 보았다. Contrastive Learning 할 때 다른 dropout을 적용한 자신을 positive pair로, 배치 내부의 다른 인스턴스를 negative pair로 사용하는 방법인데, “이게...