본문 바로가기

전체 글

 (105)
8-1회차) BERT 모델을 활용한 Text Classification 모델 구현 1. BERT Binary Classification 모델구현 1) 학습 및 평가 데이터 세트 (1) 데이터 세트 준비 - id컬럼은 사용하지 않음. - 8:2로 분리 - train data를 또 분리 7:3 (2) 데이터 세트 클래스 정의 (3) Pre-trained Tokenizer 다운로드 - 한국어 관련 다운 하고 싶으면? ko or kor 검색 (4) 데이터 세트 클래스 객체 생성 2) Pre-trained 모델 다운로드 및 Fine-tunning 설정 (1) Pre-trained 모델 다운로드 (2) Fine-tunning 설정 - 3번 전략 할 예정. 3) 모델 학습 및 평가 (1) Training을 위한 하이퍼 파라미터 설정 (2) Evaluation을 위한 Test 데이터 세트 준비 및 ..
7-2회차) 자연어 처리를 위한 BERT 모델 2. BERT 모델감성분석 1) 학습 및 평가 데이터 세트 (1) 데이터 세트 준비 - strafify : target에는 0,1이 있는데, 한쪽으로 치우치지 않게 해주는 것(0에서 80% 1에서 80%) - train data에서 train과 val 또 나눔. (2) 데이터 세트 클래스 정의 - overriding을 통해 재정의. 2) Pre-trained 모델 다운로드 및 Fine-tunning 설정 (1) Pre-trained Tokenizer 다운로드 - 데이터 보기 전에, 토크나이저를 지정 함. - 우리가 다운 받은 모델과 호환되는 것을 해야 함. - 보통은 모델 다운 받은 곳에 토크나이저를 제공함. - 우리는 bert-base-uncased 사용 (작은 모델을 사용, 대소문자 구분 x) - b..
7-1회차) 자연어 처리를 위한 BERT 모델 1. BERT 모델 Fine-tunning 1) Huggingface (1) Huggingface란? - 목적에 따라서 적절한 다운을 받아야 함. 2) Huggingface Transformer (1) Huggingface Transformer란 3) Huggingface와 Transformer (1) Huggingface Transformer 설치 (2) Huggingface Transformer 모델 다운로드 - Huggingface사이트에 접속에서 어떤 모델을 다운 받겠다 결정 함. - 그 모델의 이름을 기억해서, 다운 받기 - Down Stream TASK : 내가 어떤 것을 할 것이냐? - 여기서는 BertSequenceClassification을 다운 받을 예정. (2) Huggingface ..

티스토리툴바