Do it! BERT와 GPT로 배우는 자연어 처리

 

요즘에 핫하게 뜨고 있는 Chat GPT의 원리를 담고 있는 트랜스포머 핵심원리와 허깅페이스 패키지 활용법인 BERT와 GPT 자연어 처리에 대한 책입니다.^^

책의 구성

1~2장 : 기본 지식과 개발 환경 소개

3장 : 주요 이론을 살펴 본다.

4장~8장 : 5가지 자연어 처리 과제를 실습하면서 주요 이론을 확실하게 이해한다.

 

세부내용

1장 처음 만나는 자연어 처리 

자연어 처리 기법을 처음 배우는 분들을 위해 용어 설명 및 개발 환경설정 방법등을 자세히 살펴 본다.

2장 문장을 작은 단위로 쪼개기

자연어 처리 하기 위해서는 문장을 작은 단위인 토큰으로 분석을 해야 한다. 여기서는 바이트 페어 인코딩을 중심으로 어휘집합 구축 및 토큰화 과정등을 살펴 본다.

3장 숫자 세계로 떠난 자연어

컴퓨터는 자연어를 이해 할 수가 없다. 자연어의 말뭉치와 문맥을 숫자 체계로 학습한 언어 모델을 활용해서 문서분류,개체명인식 등 각종 태스크를 수행 할 수 있는 방법을 살펴 보고 요즘에 뜨는 자연어 처리 플랫폼인 트랜스포머를 살펴 본다. 또한 트랜스 포머의 기본 뼈대인 BERT와 GPT 모델의 특징등을 살펴 본다.

4장 문서에 꼬리표 달기

네이버 영화 리뷰 말뭉치(NSMC)를 이용하여 문서 분류 모델을 구축해 보고 이 모델을 실전에서 사용할 수 있도록 어떤 문장이 들어 왔을 때 이 문장이 긍정 리뷰인지 부정 리뷰인지를 가려내는 웹페이지를 구축해 본다.

5장 문장 쌍 분류하기

업스테이지에서 공개한 NLI 데이터셋을 이용하여 자연어 추론 모델을 구축해 보고 실전에서 사용할 수 있도록 어떤 문장이 들어 왔을 때 그 것이 참인지 거짓인지 혹은 중립인지를 가려내는 웹페이지를 구축해 본다. 문서 분류와 쌍 분류의 차이는 입력이 문장 하나와 문장 2개의 차이 밖에 없다는 것을 확인 할 수 있다.

6장 단어에 꼬리표 달기

한국해양대학교 자연언어처리연구실에서 공개한 데이터를 사용하여 개체명인식 모델을 구축해 보고 웹서비스를 구축해 본다.

7장 질문에 답하기

LG CNS가 공개한 KorQuAD 1.0 데이터를 활용해 질문에 답변하는 과제를 수행해 보고 실전에서 사용할 수 있는 웹 서비스 구축을 살펴 본다.

8장 문장생성하기

SK텔레콤이 공개한 KoGPT2 모델을 가지고 요즘 핫하게 뜨고 있는 Chat GPT와 같이 문장을 생성하는 방법을 살펴 보고 NSMC 데이터셋을 가지고 KoGPT2 모델을 파인튜닝하는 내용을 다룬다.

 

서평

요즘 Chat GPT 때문에 인터넷이 뜨거운것 같은데요~

이 책은 이러한 Chat GPT의 원리를 파악할 수 있게 해 주는 책입니다.

먼저 주요 이론을 살펴 보고 4장~8장까지 5개의 프로젝트를 진행하면서 이론이 어떤식으로 적용 되는지 같은 방법으로 반복을 하다 보면 처음 이론이 애매하게 헷갈렸던 부분도 반복을 통해서 이해가 되는 구성으로 되어 있습니다.

BERT와 GPT는 자연어 처리 분야에서 큰 인기를 얻고 있는 모델이라서 단어맞추기,빈칸 채우기 등의 원리를 이해하고 5개의 프로젝트를 수행하다 보면 ChatGPT가 어떤 원리로 답변을 하게 되는지 궁금증을 해소 할 수 있을 것 같습니다.

이 책의 실습 코드는 파이토치로 진행 되며 코랩을 가지고 실습을 진행 하므로 환경설정이 용이 하다는 장점이 있습니다.

또한 대부분의 자연어 처리 교재는 대부분 영문을 활용한 자연어 처리 교재 이지만 이 책은 모두 한글을 사용해서 처리 하는 부분이 너무 좋았고~ 마지막에 웹서비스 구축을 통해서 실전에서 사용할 수 있는 방법을 제시해 준 부분도 너무 좋았던 것 같습니다.

따라서 자연어 처리 분야에 대해서 공부를 하고 싶은 분들이라면 이 책으로 시작 해도 좋을 것 같네요.