본문 바로가기

전체 글

 (105)
6-2회차) 자연어 처리를 위한 Transformer 적용 2. Transformer 감성분석적용 1) Transformer 적용 방법 (1) Transformer 전체 구조 - 앞에서 배운 transformer를 통해서, 감성분석을 할 예정. - 감성분석을 하기 위한 위의 단계가 필요함. - 앞서 설명한 부분을 그림 표현 - 텍스트를 워드 임베딩 실시 2) Word Embedding과 Positional Embedding Layer (1) Word Embedding과 Positional Embedding Layer 추가 - word Embedding과 postition embedding 하기 (2) __init__ - 파일토치에 embbeding이라는 함수를 이용 - num_tokens : 토큰의 갯수 - d : Dimension의 크기 - max_seq_le..
6-1회차) 자연어 처리를 위한 Transformer 적용 1. Attention과Transformer 구현 1) Self-Attention과 Transformer (1) Transformer Block 내부 구조 (2) Query, Key, Value 계산 2) Self-Attention 구현 - 각 글자(It's / a / grat / movie) 입력 값에 대해서 곱 연산 시행 - Q,K,V 대한 weight를 각 각 input 값에 곱 연산 시행 - 그 결과를 K,Q,V (1) Query, Key, Value 계산 - WQ/WK/WV를 input 사이즈에 곱함 - transpose를 통해 변환 - contiquous함수를 통해 실제 연산을 실시. - Query와 Key 가 커진다는 의미는 Query와 Key 벡터 공간에서 유사한 위치(가까운 위치)에 있다..
5-2회차) 자연어 처리를 위한 RNN 2. LSTM/GRU 모델활용 1) PyTorch Lightning 개요 (1) PyTorch Lightning 정의 - 기존 파이토치의 복잡한 train, test 코드를 간결한 코드로 제공해 줌. - 파이토치 vs 라이트 비교 (1) PyTorch Lightning 설치 2) PyTorch Lightning 을 이용한 LSTM 구현 (1) LightningModule 클래스 상속 - class RNNModel 이라는 클래스 새롭게 정의 > 우리가 만들고자 하는 RNN 모델 class 사용 - 우리가 RNN 만들 수 있지만, 파이토치의 LightningModule 상속 받아서 사용할 예정 > light가 아니라 일반 파이토치도 가능은 함. (2) init 함수 재정의(Override) - 정의한 cla..

티스토리툴바