Full Stack Deep Learning Lecture 6 MLOps Infrastructure & Tooling

FSDL을 듣고 읽어보며 필요한 부분을 정리한 노트입니다.

1

ML 실무자들은 ML 모델만 개발하지 않는다. 머신러닝 코드를 작성하는 비율은 생각보다 적은 비율이다.

실제 머신러닝 코드 작성 비율

2

MLOps의 툴은 세가지 카테고리로 나누어질 수 있는데, Data, Training/Evaluation, Deployment이다.

MLOps 인프라

3

Jupyter는 좋은 도구이지만, 코드 버전 관리, 테스트 코드 작성, 실행의 투명성 등에 어려움이 있기 때문에 마냥 좋다고 할 수는 없다.

4

컴퓨팅 하드웨어는 기본적으로 GPU, 그 중에서도 NVIDIA가 대부분이다. 하지만 TPU도 충분히 빠르고 적절한 고려사항이 될 수 있다. 권장사항은 아래 정도이다.

  • 토이 프로젝트: 개발은 로컬 머신에서, training, eval은 클라우드나 로컬 머신에서
  • 스타트업: 워크스테이션을 개발에 사용하고, training, eval은 shared server 혹은 클라우드에서
  • 대기업: 굉장히 좋은 워크스테이션을 개발에 사용하고, training, eval을 적절한 에러 핸들링과 함께 클라우드에서

5

6

뒤 과정은 생략.

December 21, 2021
Tags: FSDL