목록2024/04 (1)

Ssul's Blog

AI-LLM 파인튜닝 한방에 끝내기(gemma-2B)

오픈소스 LLM이 매일같이 나오는 상황. 파인튜닝을 해보고 싶다. 하지만, 파인튜닝을 검색해보면, 양자화, PEFT, LoRA 등등 알아야 할것도 많고, 막상 코드를 돌릴려고 하니, 알아야 할 것이 많고 복잡하다. 한번은 스스로 정리가 필요하다고 판다. 거대 언어모델 Gemma-2B(20억개) 파인튜닝하는 과정을 직접 정리해 보도록 하겠다. 0. 목표 구글에서 발표한 비교적 작은 모델인 Gemma-2B를 파인튜닝하여, 문자내용을 보고 spam인지 아닌지를 판별하는 모델을 만들어 보겠다. 물론 classification모델에 Generation모델을 사용하는 것은 오버 스팩일수 있다. 하지만, 파인튜닝 학습이기도 하고, 사람처럼 어려운 스팸도 걸러내는 LLM의 능력을 보고자 한다. 1. 셋팅 허깅페이스 로..
AI & ML/학습하기 2024. 4. 16. 16:56
이전 Prev 1 Next 다음