고고마코드

자연어 처리(NLP)를 학습할 때 필요한 용어들을 기초적인 지식 수준에서 이해하기 쉽게 정리합니다. 예제 코드는 Google Colab 을 기반으로 작성했습니다. 자연어 처리(NLP) 개념 잡기의 다른 포스팅도 참고하세요. 자연어 처리(NLP) 개념 잡기 (1) - 말뭉치, 토큰화 자연어 처리(NLP) 개념 잡기 (3) - 정제, 정규화, 불용어 표제어(Lemmatization) 표제어는 단어의 기본형이다. 보통 사전에 대표로 실린 단어를 뜻한다. 예를 들어 '사과들' 을 뜻하는 단어는 'apples' 이지만 이 단어의 표제어는 본래의 뜻이 '사과'인 'apple' 이다. 또한 'apples' 단어로 어간과 접사를 나누어 보면 어간:..

자연어 처리(NLP)를 학습할 때 필요한 용어들을 기초적인 지식 수준에서 이해하기 쉽게 정리합니다. 예제 코드는 Google Colab 을 기반으로 작성했습니다. 자연어 처리(NLP) 개념 잡기의 다른 포스팅도 참고하세요. 자연어 처리(NLP) 개념 잡기 (2) - 표제어, 어간 자연어 처리(NLP) 개념 잡기 (3) - 정제, 정규화, 불용어 말뭉치 말뭉치는 원시 텍스트(ASCII나 UTF-8)와 이 텍스트에 연관된 메타데이터를 포함한다. 메타데이터는 식별자, 레이블, 타임스탬프 등 텍스트와 관련된 어떤 부가 정보도 될 수 있다. 즉, 말뭉치는 텍스트를 가공·처리·분석할 수 있는 형태로 모아 놓은 자료의 집합이다. 단순하게 생각하면 우리가 사용하는 텍스트 표본이라고 볼 수 있다. 모두의 말뭉치 (kor..

개발환경 : Google Colab 텐서를 만들기 전에 텐서 정보를 계속 확인하기 위해 사전 함수를 만든다. #Tensor 상세 정보 확인 def desc(x): print("타입: {} / 크기: {}".format(x.type(), x.shape)) print("값: {}\n".format(x)) 텐서 만들기 기본 import torch desc(torch.Tensor(2, 2)) ''' 타입: torch.FloatTensor / 크기: torch.Size([2, 2]) 값: tensor([[1.2292e+09, 3.0907e-41], [8.5479e-44, 4.4842e-44]]) ''' 파이썬 리스트로 만들기 import torch a = [[1, 2, ..

환경 : Window 11 64비트, github 사용 git push 까지는 알았다고 가정하고 병합하는 과정에 대한 내용 만약 기초부터 알아야 한다면 아래 링크에서 확인할 수 있다. git 설치가 필요하다면 Git 설치부터 기본 사용법까지 (1) - git 설치에서 확인할 수 있다. git 사용법(github, 명령어)이 궁금하다면 Git 설치부터 기본 사용법까지 (2) - git 사용법(github, 명령어)에서 확인할 수 있다. Git 으로 협업(팀프로젝트)을 하는 방법 팀프로젝트란 팀원들이 모두 함께 작업할 수 있어야 하고 팀원들이 작업한 내용이 모두 반영되어야 하고 반영된 내용이 최신화가 되어야 한다. 팀프로젝트를 할 경우 전체적인 작업 순서는 아래와 같다 master branch git pul..

환경 : Window 11 64비트, github git init ~ git push 까지 기본 사용법 git 설치가 필요하다면 Git 설치부터 기본 사용법까지 (1) - git 설치에서 확인할 수 있다. git 기본 사용법은 이미 알고 있고 협업(팀프로젝트) 하는 방법이 궁금하면 Git 설치부터 기본 사용법까지 (3) - git 으로 협업(팀프로젝트)하기에서 확인할 수 있다. Git 이해하기 git을 사용하기 전 git 용어에 대한 개념이 잡혀있어야 한다. Repository (Local / Remote) 저장소 / 히스토리, 태그, 소스를 브랜치에 따라 버전을 나누어 저장한다. 변경한 모든 히스토리를 확인할 수 있다. 로컬 저장소와 원격 저장소와 반드시 구분지어서 이해해야 한다. Working Tre..

설치환경 : Window 11 64비트(Window 10 64비트도 동일하게 진행 가능), github 사용 git init ~ git push 까지 기본 사용법 git 설치 git download 링크(Git - Downloads)로 이동하면 아래 사진과 같이 바로 다운로드 할 수 있는 페이지가 나온다. 우측의 [Download for Windows] 클릭 시 바로 다운로드가 된다. git 설치 라이센스에 관한 내용. 궁금하면 읽어봐도 되고... 자연스럽게 [Next] 클릭 설치할 경로를 지정, 262.5MB 필요하므로 충분한 저장공간으로 지정 후 [Next] 클릭 사용하고자 하는 git에 포함된 컴포넌트를 선택하는 과정 기본적으로 그냥 넘기면 되지만 중요한 것만 설명하자면 [Git Bash Here]..