패캠(패스트캠퍼스) "LLM 모델 파인튜닝을 위한 GPU 최적화" 후기

#1. 패캠에 돈좀 썼음

후기이벤트겸 글을 작성하고 있지만, "배우는 것에는 아끼지 말자"라는 모토아래 200만원 가까이 결제한것 같다.

수강중인, 수강했던 강연들

때로는 제목에 낚여서 실망한 강연도 있고,

어떤 강연은 100이 들어 있을줄 알았는데, 70밖에 안들어 있어서 실망한 강연도 존재한다.

하지만, 대부분의 강연은 기대한 수준의 만족감을 주었다. 또한, 기한이 정해져있지않고, 평생 반복해서 시청이 가능한 것이 장점인것 같다.

오늘은 여러가지 강연중에 내가 제일 만족했던 강연의 후기를 공유해보고자 한다.

 

 

#2. 파인튜닝, 그 이상의 지식을 원함

AI를 공부하고, 현업에서 적용하는 입장에서 처음 파인튜닝은 새로운 세계였다. 이론적인 공부를 마치고, Pretrain을 하는 것은 나의 영역이 아니라는 것을 인식하고, 파인튜닝에 대한 이론적인 내용을 접했었다. 이론적인 내용이후, 실제 적용이 가능한 PEFT방법론, 그리고 그중 LoRA를 적용하는 방법까지... 인터넷과 유튜브를 찾아 어떻게든 배울수 있었다.

하지만, 여전히 내가 뭔가 할수 있다는 느낌이 들지 않았다. 나에게 있는 것은 모델을 양자화시켜서 LoRA를 붙여서 파인튜닝하는 코랩코드 정도. 그 이상을 배우고 싶었지만, 검색을 해서 걸리는 것은 매번 딱 양자화/LoRA/코랩 코드 수준이었다.

 

 

#3. 기대

그렇게 찾아다니던 중, 특강에서 접했던 이승유님의 강연을 패캠에서 보게 되었다.

"LLM 모델 파인튜닝을 위한 GPU 최적화"라는 평이한 강연제목.

하지만, 그 속에 있는 내용들은 딱 내가 찾던 내용들이었다.

part1. LLM과 GPU기초

part2. single GPU환경에서의 파인튜닝

은 빠르게 복습

 

part3. 멀티GPU에서 분산학습

어렵지만 열심히 수강

 

part4. 최적화기법심화

part5. 프로젝트 실습 및 응용

반복수강과 현업적용

반복해서 학습했던, 많은 것을 배웠던 부분

 

 

#4. 충족

우선 기본적으로 기대했던, Open-LLM보드 1위를 찍었던 fine-tuning경험을 공유해주는 내용에서 많은 것을 배울수 있었다.

그리고, 해보지 않았으면 알수 없었던 성능의 차이를 알려준 것이 특히 많은 도움이 되었다.

 

데이터가 엄청 중요하다는 것을 다시 배울수 있었고,

Accumulated Steps를 통해서, 메모리 거지들의 배치사이즈 문제를 해결 가능하다는 것을 알수 있었고,

데이터가 적다면(1~3천개) 파인튜닝보다는 풀파인튜닝이 더 효과적이라는 사실도 배울수 있었다.

강의를 보며 정리한 노션 노트

LLM, AI의 초기수준을 지난 학습자라면, 이 강연이 배움에 많은 도움이 될것 같다.

최근에 수강한 AI강연 중 하나를 추천하라면, LLM파인튜닝과 관련해서는 이 강연을 추천한다!!

 

최근 심리상담 도메인에서 AI가능성을 모색하며 연구개발하고 있다.

배웠던 파인튜닝 지식을 적용하기 위해 열심히 도메인 데이터셋을 구축 중이다.

강연에서 알려준 것처럼 한정된 GPU자원안에서 잘 파인튜닝 해볼 예정이다.

 

 

'본 게시물은 패스트캠퍼스 수강 후기 이벤트 참여를 위해 작성되었습니다'