(1강) 인공지능과 자연어 처리

210927

1. 인공지능의 탄생과 자연어처리

피그말리온은 여성을 결점이 있는 존재라 생각했다. 그래서 결점을 제거해서 조각상을 만들었는데 이것이 인간을 대체하는 인공물에 대한 최초의 기록. 이후 아프로디테의 축복으로 조각상이 사람이 되어서 피그말리온과 결혼한다.

1.1 자연어처리 소개

• 대표적인 챗봇 (1966)

1.2 자연어처리의 응용분야

컴퓨터는 텍스트를 바로 인식할 수 없기 때문에 수학적으로 인코딩되어야 한다. 이것이 벡터의 형태.

대부분의 자연어 처리 문제는 분류문제로 치환할 수 있다.

단어를 수학적으로 처리하기 위한 기본적인 방법이 one-hot encoding 방법. 그러나 단어의 의미를 벡터공간에 표현할 수 없었음

그래서 등장한 것이 Word2Vec. 단어가 가지는 의미 자체를 다차원 공간에 벡터화할 수 있다. 그래서 단어간의 유사도측정에 용이하고 관계 파악에도 용이하며 벡터 연산을 통한 추론이 가능하다라는 장점이 있다. 그러나 서울과 서울시를 완전히 다른 단어로 간주하는 subword information ignoring 문제와 Out of vocaburary 문제가 있다.

그래서 등장한 것이 Fasttext. 단어를 n-gram으로 분리한 후 n-gram vector의 평균을 통해 단어 벡터를 획득한다. 오탈자나 OOV 또는 등장 횟수가 적은 학습 단어에 대해 강세를 가진다. 그렇지만 동형어, 다의어 등에 대해서 임베딩 성능이 좋지 못했고 주변 단어를 통해 학습이 이루어지기 때문에 문맥을 고려할 수 없었다.

그래서, 언어모델을 사용하게 된다.

2.1 언어모델

이전 강의 리뷰