LLM (2) 썸네일형 리스트형 GPT - 실습 ※ 본 내용은 "한 권으로 끝내는 실전 LLM 파인튜닝"의 내용으로 보면서 내가 생각하기에 필수적인 내용, 잘 몰랐던 내용들을 위주로 다룰 것이다. 실행 환경 준비 본 교재에서는 런팟을 이용하여 GPU를 대여하여 학습하도록 제안한다. 하지만 본인은 이미 사용할 수 있는 GPU가 있으므로 해당 과정은 생략하겠다. 데이터셋 먼저 데이터셋을 가져온다. 데이터셋을 가져온 후에는 텍스트 데이터에서 중복을 제거하여 각각을 하나의 토큰화과정을 통해 각 텍스트를 토큰화한다. 예를 들면, "나는 집에 간다." 라는 문장이 있다고 하면 "나", "는", "집", "에", "간", "다", "."로 토큰화한다. 토큰화를 수행하면서 해당 토큰에 인덱스를 매겨준다. 이를 통해 해당 토큰에 대한 접근을 인덱스를 통해 접근 가.. LLM - 서론 LLM의 구조에 대해 학습하고 pytorch 실제 LLM을 구현해보도록 하겠다. 이번 겨울방학 동안 LLM을 실제로 만들어보고 fine-tuning하는 과정을 세세히 알아보도록 할 예정이다. 교재는 "한 권으로 끝내는 실전 LLM 파인튜닝" 교재로 진행하도록 하겠다. 최대한 빨리 읽고 실제로 어떤 도메인에 해당하는 LLM을 fine-tuning 해보는 것을 목표로 진행할 것이다. 이전 1 다음
