๐ CS330 Lecture 1 Introduction & Overview
์ผ๋ง์ ํ์ด์ค๋ถ์์ Multi-task and Meta Learning ์ด๋ผ๋ ์ ๋ชฉ์ ๋ฌ๊ณ ์๋ Stanford CS330์ ๋ฌ๊ณ ์๋ ๊ฐ์๋ฅผ ๋ณด์์ ๋ค์ด๋ณด๊ธฐ๋ก ํ๋ค. 14๊ฐ ์ ๋์ ๊ฐ์๋ผ ๋ฐฐ์์ผ๋ก ์ ๋นํ ๋นจ๋ฆฌ ๋ค์ด๋ด์ผ๊ฒ ๋ค.
- ๊ฐ์ ์ฌ์ดํธ http://cs330.stanford.edu/
- ๊ฐ์ ๋น๋์ค https://www.youtube.com/playlist?list=PLoROMvodv4rMC6zfYmnD7UG3LVvwaITY5
์๊ฐ์ด ๋ง์ด ํ๋ฌ์(๊ฐ์ ๋น๋์ค๋ 2019๋ ๊ฐ์) ๋ด์ฉ์ด ๋ง์ด ๋ฐ๋๊ฒ ์ง๋ง, ํด๋น ๋ด์ฉ์ ๋ฐํ ์ฌ๋ผ์ด๋๋ก ์ด๋ป๊ฒ ์ฑ์๋ด์ผ๊ฒ ๋ค.
- ํ๋์ environment์์ ํ๋์ task๋ฅผ ๋ฐฐ์ฐ๋๋ฐ ์ฌ๊ธฐ์๋ ๋ง์ supervision๊ณผ guidance๊ฐ ํ์ํ๋ค. ์ด๊ฑด ๊ฐํํ์ต์ด๋ ๋ก๋ณดํฑ์ค, speech recognition๋ฑ๋ฑ ๋ง์ ๋ถ์ผ์ ์ ์ฉ๋๋ ์ด์ผ๊ธฐ
- deep multi-task, meta-learning์ ์ ๊ฒฝ์จ์ผ ํ๋ ์ด์
- ํฌ๊ณ ๋ค์ํ ๋ฐ์ดํฐ๋ฅผ ์ด์ฉํ๊ณ ํฐ ๋ชจ๋ธ์ ์ฌ์ฉํ๋ค๋ฉด ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ด ์ generalizeํ๋ ๊ฒ์ ๊ธฐ์กด์ ์ ์๋ ค์ ธ ์๋ค.
- ํ์ง๋ง large dataset์ ์ด์ฉํ ์ ์๋ค๋ฉด ์ด์ผ๊ธฐ๋ ๋ฌ๋ผ์ง๋ค. (medical imaging์ด๋ robotics, medicine, recommendations ๋ฑ๋ฑ์ ์๊ฐํด๋ณด์) ๊ฐ๊ฐ์ ํ์คํฌ๋ฅผ ํ์ตํ๊ธฐ ํ๋ค์ด์ง๋ค.
- ๋๋ long tail dataset์ ๋ํด์ ํ์ตํ๋ค๊ณ ์๊ฐํด๋ณด์. ์ผ๋ฐ์ ์ธ supervised learning๋ง์ผ๋ก๋ ํ์ตํ๊ธฐ ํ๋ค๋ค.
- ์๋๋ฉด ๋น ๋ฅด๊ฒ ์๋ก์ด ํ์คํฌ์ ๋์ํด์ผ ํ ๋๋? -> ์ฌ๋์ด๋ผ๋ฉด ๊ธฐ์กด์ ์ง์์ ๊ธฐ๋ฐ์ผ๋ก ๋น ๋ฅด๊ฒ ํ์ต์ด ๊ฐ๋ฅํ๋ค.
- ์์ ๊ฐ์ ์ํฉ์์ multi-task learning์ด๋ meta learning์ด ํ์ํ๋ค.
- ํฌ๊ณ ๋ค์ํ ๋ฐ์ดํฐ๋ฅผ ์ด์ฉํ๊ณ ํฐ ๋ชจ๋ธ์ ์ฌ์ฉํ๋ค๋ฉด ๋จธ์ ๋ฌ๋ ๋ชจ๋ธ์ด ์ generalizeํ๋ ๊ฒ์ ๊ธฐ์กด์ ์ ์๋ ค์ ธ ์๋ค.
- ์ฌ๊ธฐ์ multi-task/meta learning์ ์ฌ์ฉํ๊ธฐ ์ํด์๋ ์ฌ๋ฌ ํ์คํฌ๊ฐ ๊ฐ์ structure๋ฅผ ๊ณต์ ํด์ผ ํ๋ค.
- ๋ง์ฝ ๊ด๊ณ๊ฐ ์์ด๋ณด์ด๋๋ผ๋ ํ๊ตญ์ด ๋ฐ์ดํฐ๋ผ๋ฉด ์ต์ํ ํ๊ตญ์ด์ ๋ฃฐ์ ๋ํ ๋ถ๋ถ์ ๊ณต์ ํ๋ค๋ ์ ์ ์๊ฐํด๋ณด๊ณ , ์ธ์ด๋ ๋น์ทํ ๋ชฉ์ ์ ์ํด ๋ง๋ค์ด์ก๋ค๋ ์ ์ ์๊ฐํด๋ณด๋ฉด ์์์ ํ์คํฌ๋ณด๋ค๋ ํจ์ฌ ๊ด๊ณ์์ด ๋ณด์ธ๋ค๊ณ ํ๋ค.
- informalํ๊ฒ ๊ฐ์ ์ฃผ์ ๋ฅผ ์ ์ํด๋ณด๋ฉด
- multitask learning problem: learn all of tasks more quickly or more proficiently than learning them independently.
- meta learning problem: given data/experience on previous tasks, learn a new task more quickly and/or more proficiently.
- ๊ทธ๋ผ domain adaptation๊ณผ ๋ฌด์์ด ๋ค๋ฅผ๊น.
- domain adaptation์ด ๋ฐฐ์ฐ๋ ๊ฒ์ ์๋ก์ด ํ์ต ๋ฐ์ดํฐ๊ฐ ์ด์ ํ์ต ๋ฐ์ดํฐ์์์ out of distribution์ด๋ผ๋ ์ ์ ๋
- ๊ทผ๋ฐ multi task learning์ single task learning์ผ๋ก ๋ณผ ์ ์์ง ์๋์?
- dataset์ ํฉ์งํฉ์ผ๋ก ๋ณด๊ณ loss๋ฅผ ๊ฐ๊ฐ ํ์คํฌ์ loss์ ํฉ์ผ๋ก ๋ณด๋ฉด ๊ทธ๋ ๋ค.
- ๊ทผ๋ฐ ํด๋น ๋ฐฉ๋ฒ์ multi task์ ํ๋์ ๋ฐฉ๋ฒ์ด์ง ์ ๋ถ๊ฐ ์๋๊ณ , ์๋ก ๋ค๋ฅธ ํ์คํฌ๋ผ๋ ์ ๋ณด๋ก ๋ ๋์ ์ฑ๋ฅ์ ์ํด ์๋ํด๋ณผ ์ ์๋ ๊ฒ๋ค์ด ์๋ค.
March 24, 2021
Tags:
cs330