고고마코드

자연어 처리(NLP)를 학습할 때 필요한 용어들을 기초적인 지식 수준에서 이해하기 쉽게 정리합니다. 예제 코드는 Google Colab 을 기반으로 작성했습니다. 자연어 처리(NLP) 개념 잡기의 다른 포스팅도 참고하세요. 자연어 처리(NLP) 개념 잡기 (1) - 말뭉치, 토큰화 자연어 처리(NLP) 개념 잡기 (3) - 정제, 정규화, 불용어 표제어(Lemmatization) 표제어는 단어의 기본형이다. 보통 사전에 대표로 실린 단어를 뜻한다. 예를 들어 '사과들' 을 뜻하는 단어는 'apples' 이지만 이 단어의 표제어는 본래의 뜻이 '사과'인 'apple' 이다. 또한 'apples' 단어로 어간과 접사를 나누어 보면 어간:..

원인 기존에 GitGub 인증 방식을 [계정/비밀번호] 로 사용이 가능했지만 2021-08-13 부터 계정/비밀번호를 인증 방식을 승인하지 않는다. 토큰을 사용해 인증을 하라는 노트가 있으니 아래 링크를 참고. Token authentication requirements for Git operations | The GitHub Blog 해결 방법 토큰을 발급 받아 비밀번호 대신 토큰을 입력하면 해결된다. 토큰 발급 계정 > Settings > Developer Settings > Personal access tokens 메뉴로 이동 우측 상단의 Generate new token 클릭 새로운 토큰을 발급받는 화면이 나온다. Note에 간단한 메모를 작성한다. 유효기간 설정하는 부분이 있는데 유효기간을 설정..

Android Studio 사용 시 습관적으로 Ctrl+Y 로 Redo 를 시도하게 된다. 기본적으로 Android Studio 에서 Ctrl+Y 는 Delete Line 이므로 라인이 지워지게 된다. 다른 에디터를 자주 사용하다가 Android Studio 사용 시 실수가 잦아서 Ctrl+Y 를 Redo 로 변경한다. File > Setting > Keymap 기존의 Delete Line 에서 Ctrl+Y 액션 제거하기 검색창에 delete 입력 시 Editor Actions 아래에 Delete Line - [Ctrl + Y] 를 확인할 수 있다. 더블클릭 또는 마우스 우측 클릭을 하면 수정할 수 있는 작은 창이 나오는데, Remove Ctrl+Y 를 클릭해 제거한다. 필자는 "Delete Line" ..

자연어 처리(NLP)를 학습할 때 필요한 용어들을 기초적인 지식 수준에서 이해하기 쉽게 정리합니다. 예제 코드는 Google Colab 을 기반으로 작성했습니다. 자연어 처리(NLP) 개념 잡기의 다른 포스팅도 참고하세요. 자연어 처리(NLP) 개념 잡기 (2) - 표제어, 어간 자연어 처리(NLP) 개념 잡기 (3) - 정제, 정규화, 불용어 말뭉치 말뭉치는 원시 텍스트(ASCII나 UTF-8)와 이 텍스트에 연관된 메타데이터를 포함한다. 메타데이터는 식별자, 레이블, 타임스탬프 등 텍스트와 관련된 어떤 부가 정보도 될 수 있다. 즉, 말뭉치는 텍스트를 가공·처리·분석할 수 있는 형태로 모아 놓은 자료의 집합이다. 단순하게 생각하면 우리가 사용하는 텍스트 표본이라고 볼 수 있다. 모두의 말뭉치 (kor..

자연어처리의 기본을 공부하기 위해 '파이토치로 배우는 자연어처리'를 읽고 작성한 리뷰입니다. 지인에게 선물 받은 책으로 작성한 리뷰입니다. 책 소개 파이토치로 배우는 자연어 처리 - 딥러닝을 이용한 자연어 처리 애플리케이션 구축 출판사 : 한빛미디어 지은이 : 델립 라오(Delip Rao), 브라이언 맥머핸(Brian McMahan) 옮긴이 : 박해선 리뷰 이 책의 목표는 자연어 처리와 딥러닝을 처음 접하는 독자에게 두 분야에서 중요한 주제를 맛보도록 하는 것이라고 설명하고 있습니다. 그 목표에 맞게 사전지식이 없고 수학이 어려운 사람들에게 접근하기 쉽게 작성한 책입니다. 첫 번째로 마음에 들었던 부분 중 하나는 수학 공식이 거의 없다는 것입니다. 보통 인공지능 관련 책을 보게 되면 많은 ..

개발환경 : Google Colab 텐서를 만들기 전에 텐서 정보를 계속 확인하기 위해 사전 함수를 만든다. #Tensor 상세 정보 확인 def desc(x): print("타입: {} / 크기: {}".format(x.type(), x.shape)) print("값: {}\n".format(x)) 텐서 만들기 기본 import torch desc(torch.Tensor(2, 2)) ''' 타입: torch.FloatTensor / 크기: torch.Size([2, 2]) 값: tensor([[1.2292e+09, 3.0907e-41], [8.5479e-44, 4.4842e-44]]) ''' 파이썬 리스트로 만들기 import torch a = [[1, 2, ..

Google Colab 을 사용할 때 기본으로는 CPU 환경만 사용할 수 있기에 GPU 환경을 사용하기 위해서는 설정 변경을 해야 한다. Google Colab 에서 GPU 환경 세팅하기 Google Colab 실행 자신의 드라이브에서 Google Colaboratory 을 실행한다. 런타임 유형 변경 상단 목록에서 [런타임 > 런타임 유형 변경] 을 선택 하드웨어 가속기 [None -> GPU] 로 변경 GPU 설정 완료 GPU 환경 테스트 import torch print(torch.cuda.is_available()) ''' CPU 환경일 경우: False GPU 환경일 경우: True '''

자연어처리 공부를 하며 남기는 기록 지도 학습 지도학습이란 샘플에 대응하는 정답을 예측하는 학습 방법 중 하나이다. 훈련 데이터로부터 하나의 함수(예측 모델)가 유추되고, 예측 모델에 대한 평가를 통해 가중치를 최적화하며 정확도를 높인다. 훈련 데이터 정답을 예측하기 위해 샘플이 되는 데이터이다. 일반적인 알고리즘에서는 Input(입력)과 같은 말이며 'x'로 표기한다. 레이블 훈련데이터에 상응하며 예측되는 대상이다. '정답'과 같은 말이며 'y'로 표기한다. 예측 모델 모델은 x를 받아 y를 예측하는 함수이다. 즉, 훈련데이터로 정답을 예측한다. 가중치 훈련 데이터를 잘 예측하기 위해서, 추가적인 제약 조건을 만족시키기 위해서 사용한다. 즉, 정확도를 높이기 ..

환경 : Window 11 64비트, github 사용 git push 까지는 알았다고 가정하고 병합하는 과정에 대한 내용 만약 기초부터 알아야 한다면 아래 링크에서 확인할 수 있다. git 설치가 필요하다면 Git 설치부터 기본 사용법까지 (1) - git 설치에서 확인할 수 있다. git 사용법(github, 명령어)이 궁금하다면 Git 설치부터 기본 사용법까지 (2) - git 사용법(github, 명령어)에서 확인할 수 있다. Git 으로 협업(팀프로젝트)을 하는 방법 팀프로젝트란 팀원들이 모두 함께 작업할 수 있어야 하고 팀원들이 작업한 내용이 모두 반영되어야 하고 반영된 내용이 최신화가 되어야 한다. 팀프로젝트를 할 경우 전체적인 작업 순서는 아래와 같다 master branch git pul..

환경 : Window 11 64비트, github git init ~ git push 까지 기본 사용법 git 설치가 필요하다면 Git 설치부터 기본 사용법까지 (1) - git 설치에서 확인할 수 있다. git 기본 사용법은 이미 알고 있고 협업(팀프로젝트) 하는 방법이 궁금하면 Git 설치부터 기본 사용법까지 (3) - git 으로 협업(팀프로젝트)하기에서 확인할 수 있다. Git 이해하기 git을 사용하기 전 git 용어에 대한 개념이 잡혀있어야 한다. Repository (Local / Remote) 저장소 / 히스토리, 태그, 소스를 브랜치에 따라 버전을 나누어 저장한다. 변경한 모든 히스토리를 확인할 수 있다. 로컬 저장소와 원격 저장소와 반드시 구분지어서 이해해야 한다. Working Tre..