7-1회차) 자연어 처리를 위한 BERT 모델

1. BERT 모델 Fine-tunning

1) Huggingface

 (1) Huggingface란?

- 목적에 따라서 적절한 다운을 받아야 함.

2) Huggingface Transformer

 (1) Huggingface Transformer란

3) Huggingface와 Transformer

 (1) Huggingface Transformer 설치

 (2) Huggingface Transformer 모델 다운로드

- Huggingface사이트에 접속에서 어떤 모델을 다운 받겠다 결정 함.

- 그 모델의 이름을 기억해서, 다운 받기

- Down Stream TASK : 내가 어떤 것을 할 것이냐?

- 여기서는 BertSequenceClassification을 다운 받을 예정.

 

 (2) Huggingface Transformer 모델 다운로드

 

 (3) 다운로드 모델 구조

- 모델이란

 > 그 모델의 아키텍처 -> 어떤 layer가 추가 되어 있는지?

 > 학습된 파라미터 

 > 이런 것들이 저장되어 있음.

- bert Encoder가 12개의 layer로 구성

- bert는 tansformer의 encoder로만 구성

- 우리가 하고 자 하는게 classification

- 이 전에는 name만 파악

- 이번에는 파라미터도 파악.

 

 (4) 모델 Fine-tunning 수행(Trainable/Non-trainable 설정)

- 파인튜닝에도 여러 전략이 있음

- 전략

 > 다운로드 받은 것을 모두 재학습 여부

 > 일부는 고정하고, 일부 파라미터만 학습

 > classification만 학습

- 이러한 전략 때 필요한 파라미터가 requrired_grade

 > 특정 파라미터를 학습 여부 판단

- False는 다운 받은 거 그대로 사용하겠다.

- 아래로 갈 수록 성능이 좋아 짐.