Runpod사용하기

0. 구글 코랩 pro+에서 runpod으로 이동

원래는 구글 코랩pro+를 사용했다. A100을 잡고, 이틀돌렸더니... 더이상 GPU가 할당되지 않았다.

(GPU거지의 설움이 ㅜㅜ)

코랩pro+보다 저렴한 gpu 클라우드를 찾던중, 커뮤니티에서 추천해준 runpod

GPU가 다양하다

A100가격이 싼줄은 모르겠지만...GPU가 다양하다. 그래서 굳이 40G가 필요하지 않은 작업은 작은 GPU를 고르는 것이 가능하다.

그러면 실제 GPU생성하고, 코드를 돌리는 작업을 해보겠다.

 

1. runpod 회원가입하고, 둘러보기

회원가입 후 로그인을 하면 다음과 같은 화면이 보인다.

Runpod은 선충전 후, 내가 사용한만큼 비용이 충전금액에서 차감되는 구조이다.

나는 우선 50$를 충전했다.(테스트겸 작은 gpu생성해서 0.33$사용)

 

 

2. GPU 생성하기

- 왼쪽편의 pods를 클릭

- Deploy클릭

- 원하는 GPU클릭(이미 다른사람이 다 가져가서 할당되지 않는 GPU도 존재. 여기서도 GPU 품귀는 여전합니다)

Uavaliable은 지금 할당할수 없음

 

가장 싼 RTX A4000을 클릭, runpod pytorch그대로, GPU는 1개

 

선택이 끝났으면 제일 밑에 "Deploy on-demand"클릭

 

이렇게 GPU생성

 

3. 접속하기

3-1. 터미널 접속 셋팅하기(mac기준)

- iterm2를 실행합니다

ssh-keygen -t ed25519 -C "자신의 runpod id"

- ed25519는 EdDSA(Edwards-curve Digital Signature Algorithm) 디지털 서명 알고리즘의 일종

-t옵션은 생성할 키의 유형(type)을 지정하는 옵션입니다. ed25519외에도 rsa, ecdsa 등의 값을 사용할 수 있음

-C옵션은 생성된 키에 대한 코멘트(comment)를 추가하는 옵션(여기서는 여러분의 runpod id가 코멘트이고, 향후 ssh보안키 찾기 쉬움)

 

생성된 키를 확인해 봅시다. ssh폴더로 이동 후, 검색

 

pub파일에 생성된 키가 있습니다

cat id_ed25519.pub

해당 명령어를 치면 출력되는 문자열을 복사합니다.

 

 

- account > seetings > SSH Public Keys로 이동

- 나오는 빈칸에 복사한 값 입력 후 클릭

 

이러면, 여러분이 생성한 GPU클라우드를 터미널로 접속이 가능합니다.

 

3-2. 생성한 GPU 클라우드 접속하기

- pod메뉴로 가서, 자신이 생성한 클라우드를 클릭합니다.

현재 생성 중

- 어떨때는 바로 생성해주는데, 지금은 5분째 생성중입니다(이럴때 과금이 된다는게....;;;)

- 여튼 생성을 마치고, connect버튼이 활성화 되는데, 그걸 클릭!

하도 안되서, 다른 친구로 생성완료!

- connect클릭, 아래와 같은 화면이 뜨는데,

- connect jupyter lab은 ipynb파일로 활용하는것

- 밑에 검은색은 터미널로 접속

우선 터미널로 접속합니다.(위의 ssh키를 생성하고, 등록하지 않았다면 접속이 안됩니다)

접속 후 GPU확인.

20G짜리 생성되었고, 현재는 사용중이지 않은 상태

 

이제 주피터 노트북 버튼을 클릭합니다.

브라우저에 다음 화면이 나타나고,

이 화면은 내가 생성한 Runpod클라우드 입니다.

제일 위의 노트북 python3 클릭 > 우리가 로컬에서 보던 주피터 화면을 볼수 있습니다.

 

4. LLM모델 사용하기

- 저는 앞에서 야놀자가 만든 eeve2.8B를 파인튜닝해서 스팸문자 분류 모델을 만들었습니다.

- 이번에는 파인튜닝을 마친 모델을 인퍼런스 해보는 과정입니다(코드는 자신의 것을 사용해보면 됩니다)

이렇게 크롬상에서 저의 runpod gpu를 사용할 수 있습니다.

 

다시 한번 터미널에서 확인하면,

약 12G GPU를 사용하는 것을 볼수 있습니다.

 

마무리.

사용후기를 공유해보면, 우선 코랩보다는 훨씬 저렴하게 느껴집니다 ㅎ

eeve 2.8B 1epoch 파인튜닝(LoRA) + 인퍼런스 1000개 했는데, 1$도 안사용했습니다.

GPU가 없는 분들은 사용해 보시길 :)

 

ps. 그리고, 사용을 마쳤다면 반드시 삭제해주세요. 안그러면 과금 됩니다!!!