🥾 프로젝트 (28) 썸네일형 리스트형 (230207) 한국어 덤프 문제 풀이-2 1. 자동 기계 학습 - 사용자가 지정한 매트릭에 따라 점수가 매겨지고, 순위가 매겨지는 여러 교육을 반복 실행이 가능함 2. 분류 - whether : ~인지 아닌지 3. 암기 4. Azure ML 문제 - 그래그 앤 드랍의 다른 말이 보기 1번임 - Adding and connecting modules on a visual canvas 5. 회귀 모델 평가 측정 방법 - 결정계수(R2) 와 평균 제곱근 오차(RMSE) 6. 검증 세트 (답 No) - 검증 세트를 사용하여 모든 훈련 데이터가 모델 훈련에 사용되는 지 확인 할 수 없다. 7. Azure ML에서의 2가지 구성 요소 - 데이터세트와 & 모듈 8. 자신감, 신뢰도(confidence) (230206) 한국어 덤프 문제 풀이-1 문제 풀이 (링크) 1. 투명성 (transparency) - 정보 제공이 포커싱 그리고 제공하는 것도 쉬워야 함 (expain) 2. 포괄성(inclusiveness) - 차별, 장애에 관련된 내용은 포괄성 3. 신뢰성 및 안전성(reliability & safety) - 예기치 못한 상황, 돌발 상황 - 그럼에도 일관성 있게 작동해야 함. 4. 객체 감지(object Detection) - 경계 상자, 위치를 표시해줌이 나오면 객체 감지 5. Featurn engineering 6. face 서비스의 얼굴 식별(indenification) vs 얼굴 확인(verification) - 얼굴 식별,감지(indenification) : 조건을 나오면서, 식별, 감지 - 얼굴 확인(verification) .. (230206) Microsoft AI-900 기초 개념 일정 (링크) 합격점수 1. 합격 점수 : 1000점 만점 중 700점 합격 2. 문제 : 약 45개 3. 시험 비용 : 약 11만원 (학교에서 지원) 4. 제출 시, 바로 합격 여부 파악 5. 문제는 객관식, 드레그 앤 드롭, 주관식은 없다 6. 시험문제 & 정답은 모두 한글, 영어가 있지만 영어 추천(한글은 번역이 이상하다) 7. 시간 : 총 45분 8. 한국어 덤프 문제 참고 (링크) / (링크) / (링크) 목차 크게 총 3part : ML(기계 학습), AI(인공 지능), Microsoft Azure 서비스 인공 지능 워크로드 및 고려 사항 설명(20~25%) Azure에서 Machine Learning의 기본 원리 설명(25~30%) Azure에서 Computer Vision 워크로드의 특징 .. 2-2회차) 자연어 처리 형태소 분석 (형태소 분석 사전활용) 신조어 형태소 분석 1. 신조어 형태소 분석 방법 - 용어 사전에 없는 단어 분석 방법은 아래와 같음. - 다음위 1,2을 알아볼 예정 2. KoalaNLP 패키지 활용 - 기존의 존재한 형태소 분석기를 패키징해서, rab함수를 이용해 접근할 수 있다. - 한국어 형태소 및 구문 분석기 모음 1) KoNLPy, ETRI 형태소 분석, OpenAPI, Khaiii, Kiwi 등 - !pip install koalanlp 설치 - KoalaNLP 지원 형태소 분석기 - KoalaNLP 지원 형태소 분석기 사용 (install 했다는 가정이후, 작업 방법) 1) import : 파이썬 사용하기 위한 모듈, 클래스, 함수 import 2) initialize : 다운로드 및 자원 설정 최기화 3) 형태소 분석 .. 2-1회차) 자연어 처리 형태소 분석 (영문, 한글 형태소 분석) 영문 형태소 분석 1. 형태소 분석을 위한 전처리 수행 - 위와 같은 작업을 모두 한 후에, 형태소 작업을 실시 2. nltk 패키지를 이용해 형태소 분석 수행 - pos_tag 함수 이용해 형태소 분석 - set() 함수 : 중복 단어를 제거하기 위해 사용함. 한글 형태소 분석 1. 형태소 분석을 위한 전처리 수행 - 위와 같은 작업을 모두 한 후에, 형태소 작업을 실시 - 한글은 띄어쓰기 처리를 해야 함. 2. KoNLPy 및 패키지 설치 - 위와 같은 작업을 모두 한 후에, 형태소 - 다음과 같이 설치 해야 함. 3. KoNLPy 이용해 한글 형태소 분석 - KoNLPy의 Okt, Kkma, Komoran, Hannanum, Mecab 등의 클래스를 이용하여 객체 생성 - 각 형태소 클래스별 특성 .. 1-2회차) 인공지능 자연어 전처리 (한글 자연어 전처리) 한글 자연어 전처리 개요 1. 토큰화 - 영문 자연어 전처리와 비슷 - 한글은 형태소, subword 단위로 토큰화 하는 게 성능이 좋다. 2. 불용어 제거 - 한글 경우에는 스스로 환경에 맞는 불용어를 정의하고 제거하는 방식으로 해야 함. 한글 자연어 전처리 적용 1. 정제 - 특수문자 제거 - 영문과 같은 과정 - 정규식을 이용한 특수문자 제거 - 띄어쓰기가 중요한 한글 1) 띄어쓰기가 적용되지 않은 상태로 코퍼스변환 * 정규식을 이용하여 띄어쓰기가 적용되지 않은 상태로 코퍼스 변환 2) 띄어쓰기 적용을 위한 PyKoSpacing 패키지 설치 * PyPi.org에 등록되지않은 상태이므로 git을 이용한 설치 * 실습하려면 구글 colab을 통해 설치. 3) PyKoSpacing을 이용한 띄어쓰기 적용.. 1-1회차) 인공지능 자연어 전처리 (영문 자연어 전처리) 영문 자연어 전처리 개요 1. 정제 - 특수문자 제거 - 대소문자 통일 1) 일반적으로 소문자로 통일 2. 토큰화 - 토큰화에 따라 모델 성능이 차이가 난다. - 불용어 제거 1) 전치사, 관사 등 불필요한 단어를 제거하는 단계 2) you, my, the .. 영문 자연어 전처리 적용 1. 정제 - 제거 대상 특수문자의 종류 - 경우에 따라, 웹사이트에서 제공하는 2byte 특수문자는 여기 없을 수 있음.(주의 필요) - 정규식을 이용한 특수문자 제거(re) 1) \w : 문자, \. : 그 자체, \s : 공백 2) ^ : 제외 3) 문자, .(점), 공백을 제외한 모든 것 길이가 0인 문자로 변환(즉 제거하겠다) 4) \n : 엔터키 눌렀을 때, escape 문자임 5) 이것도 제거함. 2. 토큰화.. 1. 크롤링 URL 불러오기(params) url = "https://www.yna.co.kr/search/index" params = { "query":"경제", "from":"20191102", "to":"20201102", "period":"1y" } r = requests.get(url, params=params) url = "https://www.yna.co.kr/search/index" # 위와 동일 url = "https://www.yna.co.kr/search/index?query=경제&from=20191102&to=20201102&period=1y" 1. 규칙성을 파악 후에 params을 사용해 조금 더 쉽게 크롤링을 한다. URL 불러오기(header) url = "https://www.whatis.. 이전 1 2 3 다음
