전체 글 (105) 썸네일형 리스트형 1-2회차) 인공지능 자연어 전처리 (한글 자연어 전처리) 한글 자연어 전처리 개요 1. 토큰화 - 영문 자연어 전처리와 비슷 - 한글은 형태소, subword 단위로 토큰화 하는 게 성능이 좋다. 2. 불용어 제거 - 한글 경우에는 스스로 환경에 맞는 불용어를 정의하고 제거하는 방식으로 해야 함. 한글 자연어 전처리 적용 1. 정제 - 특수문자 제거 - 영문과 같은 과정 - 정규식을 이용한 특수문자 제거 - 띄어쓰기가 중요한 한글 1) 띄어쓰기가 적용되지 않은 상태로 코퍼스변환 * 정규식을 이용하여 띄어쓰기가 적용되지 않은 상태로 코퍼스 변환 2) 띄어쓰기 적용을 위한 PyKoSpacing 패키지 설치 * PyPi.org에 등록되지않은 상태이므로 git을 이용한 설치 * 실습하려면 구글 colab을 통해 설치. 3) PyKoSpacing을 이용한 띄어쓰기 적용.. 1-1회차) 인공지능 자연어 전처리 (영문 자연어 전처리) 영문 자연어 전처리 개요 1. 정제 - 특수문자 제거 - 대소문자 통일 1) 일반적으로 소문자로 통일 2. 토큰화 - 토큰화에 따라 모델 성능이 차이가 난다. - 불용어 제거 1) 전치사, 관사 등 불필요한 단어를 제거하는 단계 2) you, my, the .. 영문 자연어 전처리 적용 1. 정제 - 제거 대상 특수문자의 종류 - 경우에 따라, 웹사이트에서 제공하는 2byte 특수문자는 여기 없을 수 있음.(주의 필요) - 정규식을 이용한 특수문자 제거(re) 1) \w : 문자, \. : 그 자체, \s : 공백 2) ^ : 제외 3) 문자, .(점), 공백을 제외한 모든 것 길이가 0인 문자로 변환(즉 제거하겠다) 4) \n : 엔터키 눌렀을 때, escape 문자임 5) 이것도 제거함. 2. 토큰화.. 혼자 경주 여행하기(카페, 술집, 맛집 추천) 혼자만의 시간을 갖고 싶어서 경주로 여행을 갔다. 계획 세우는 걸 좋아하지만, 계획 없는 여행의 묘미를 느껴본 적이 있어서 이번에도 그렇게 갔다. 라운드투(Round2) - 여자친구 & 친구와 같이 가기 좋은 펍 조용한 동네에 위치한 라운드투(Round2) 펍이다. 들어가면 외국힙합 노래가 나와서 조금은 텐션이 높은 펍이다. 테이블은 3개 정도로 매우 협소한 공간이며, 남자친구(여자친구)와 같이 오면 좋을 것 같다. 펍 사장님(알바생)이 서비스로 칵테일을 주셨다. 기본 맥주를 시켰는데 정말 맛있었다. 그리고 사장님(알바생)이 친절하다. 따로 말을 걸거나 담소를 나누진 않았지만, 잠깐 잠깐 나오는 서비스가 매우 훌륭하다. 맥주와 함께 먹을 감자튀김을 주문했는데 너무 많이 나와서 깜짝 놀랐다. 가격이 2,5.. 이전 1 ··· 8 9 10 11 12 13 14 ··· 35 다음
