언어 모델을 배우면서 여러 책들이 다루고 있는 모델의 계산, 구현, 응용 과정들과 여러 논문에서 제시한 방법론들을 정리하고자 하였다. 특히, 학습 데이터 관리에 관한 부분은 깊게 다룬 책이 없다.

사람은 모델과 다르다. 텍스트를 보고 다음 단어를 생각해내는 것이 아니라 가지고 있는 생각을 표현하는 것이다.

모델이란 무엇일까? 데이터 처리 방식을 근사하는 함수. 입력과 결과를 통해 과정을 찾아나가는 것.

용어 정리

$\underset{x}{\operatorname{argmax}}~f(x)$ : $f(x)$가 최대가 되도록 하는 $x$