Ssul's Blog

🧠 1. 전체 구조 개요GPU는 다음과 같이 계층적으로 구성되어 있습니다.GPUGPU ┣━━ SM0 │ ┣━━ Block0 │ │ ┣━━ Thread0 │ │ ┣━━ Thread1 │ │ ┣━━ Thread2 │ │ ┗━━ Shared Memory (Block0 전용) │ ┣━━ Block1 │ │ ┣━━ Thread0 │ │ ┣━━ Thread1 │ │ ┣━━ Thread2 │ │ ┗━━ Shared Memory (Block1 전용) │ ┗━━ Register File, L1 Cache │ ┃ ┗━━ Global Memory (VRAM, GPU 외부 DRAM)GPU ┣━━ 여러 GPC ..

AI를 공부하다보니, 자연스럽게 GPU, 반도체를 공부하게 된다.그리고 주식 투자도 하다보니, 자연스럽게 반도체를 어떻게 만드는지까지 공부를 하게 된다.반도체 초보가 쉽게 정리해 보겠다. 1. 전기 원리 이해 전압(Voltage): 전자를 밀어주는 “압력”.전류(Current): 전자의 “흐름” 양.저항(Resistance): 흐름을 방해하는 정도.전자 흐름 방향: 전자는 (-) → (+) 방향으로 실제 이동합니다. (우리가 회로에서 쓰는 “전류 방향”은 관례상 반대) 2. 도체/부도체/반도체 구분 도체: 자유전자가 많아 쉽게 흐름. (구리, 알루미늄)부도체: 전자가 거의 묶여 있어 흐름 어려움. (유리, 고무)반도체: 그 사이. “상황에 따라” 흐르도록 만들 수 있음 3. 최외곽 전자 이해하고, 그래서..

#1. CPU와 GPU 비교- core: core내부에 여러개 들어 있는 ALU(계산 전용도구)- control(제어유닛): 계산을 언제할지 스케쥴, 배분 관리- L1 cache: core연산에 사용하기 위한 가까운 메모리- L2 cache: 약간 크지만 덜 가까운 메모리- L3 cache: 약간 더 크지만 조금 더 먼 메모리- DRAM: 외장 메모리, GPU DRAM은 비싼거 사용(코어가 많아서 빨라야함) CPU는 복잡하고 다양한 작업을 빠르게 수행 > 코어랑 제어유닛이 큼. 그리고 근처 cache가 커야함 > 트렌지스터 많아야 함GPU는 단순하고 많은 작업을 빠르게 수행 > 코어가 가변고, 단순작업 잘함 > 코어가 작은대신 엄청 많음CPU는 개별 코어의 성능을 높이는 방향으로 발전. GPU는 코어의 ..

인터넷 검색이나, AI검색을 통해서 AI모델 학습/추론하는 코드를 찾아보게 되면 다양한 방식이 존재한다.어쩔땐 pipeline, 어쩔땐 model.generate()/decode, 또 어쩔때는 model(input_ids)를 넣는 방식까지...매 검색 코드마다 쓰는 방식이 다르니, 한번 정리하고, 나만의 AI학습 코드를 고정해야 하겠다. 이번 글에선 “토크나이저 → 모델 → 디코딩” 흐름을 기준으로1️⃣ pipeline (원스톱)2️⃣ generate (표준)3️⃣ manual forward (로짓 해킹)세 등급으로 쪼개 봤다.코드는 전부 복붙-실행 되도록 적었으니 — 마음에 드는 루틴 하나 골라 바로 써 보시길! #0. 공통- 설치해주시고 pip install -q transformers acceler..

최근에 진행하는 R&D프로젝트가사전학습된 LLM의 지식을 활용하여, 약 4,000~5,000건의 데이터만 학습하여,특정 도메인에 특화된 과업을 해결하는 모델을 만드는 것이다.(예: 스팸문자 분류하는 LLM) 그래서 한글을 잘한다고 소문난 모델을 이것 저것 파인튜닝 해보고 있다.- EEVE, Qwen2.5의 경우 gpt-4o-mini를 api로 파인튜닝 한 모델보다 성능이 떨어졌다.- EXAONE3.5를 기점으로 gpt-4o-mini와 비슷하거나 높게 나오기 시작했다. 1. Gemma3 발표이놈의 AI쪽은 허구헛날 새로운 모델이 나오고, 기존 성능을 갱신한다.EXAONE에서 만족하고 다음 진도를 나가려 했는데..... 그래도 Gemma3가 나왔다고 하니 파인튜닝을 안할수 없었다.코드를 열심히 검색해봐도 대..

1. Instruction Fine-Tuning우선 LLM을 튜닝할때는 사전학습이 된 LLM의 지식을 활용하는 것이 핵심이다.그러기 위해서는 기존의 ML(머신러닝)방식의 입력값과 라벨(정답) 데이터만 무수히 많이 가지고 모델을 만드는 것이 아닌,엄청난 양의 사전 학습된 언어 지식을 활용하는 것이 Instruction FT라고 할수 있다. 스팸분류기 모델을 만든다고 했을때, 기존 ML방식으로 데이터 셋을 구성한다면,문자1내용, 스팸문자문자2내용, 스팸문자문자3내용, 정상문자이렇게 데이터 셋(입력값, 라벨)을 구성하고 신경망에 넣어서 스팸과 정상을 구분하는 모델을 만드는 것이다. instruction FT는 사전학습된 모델이 언어능력을 가지고 있기 때문에원래 내가 가지고 있던 데이터셋문자1내용, 스팸문자문자..

지난 설연휴동안 DeepSeek-R1이 아주 핫하다. 엔비디아 주가도 쭉쭉 빠지고....이놈의 AI분야는 공부해야 할께 넘쳐난다. 쉬고 싶다 ㅠ.ㅠ여러 보고서와 논문을 가지고, 구글 NotebookLM과 함께 공부한 내용을 올려본다.그리고 뽀너스로 deepseek-r1 학습방법을 유사하게 구현한 open-r1프로젝트도 함께 공유하여본다.  #0. DeepSeek-R1의 파급력/성능많은 블로거들이 정리하였기에 스킵- 학습비용이 싸다(과연 싼것인가? 상대적으로 싸다)- 오픈소스다- 학습방식에서 유의미한 시사점을 던져 줌알아둘 것은 r1은 추론모델이다. 일반적인 gpt-4o, claude-3.5-sonnet과는 다른 gpt-o1과 같은 계열의 모델이다. #1. DeepSeek계열 이해하기1-1. DeepSee..

Foundaion Model 학습은, 나와 같은 GPU거지 & 가난한 개발자(연구자)는 엄두를 낼수 없으니,이론으로 잘 이해하고, 실전에서는 파인튜닝에 집중하자. 내가 종사하는 도메인에서도 AI를 적용하려 노력중이다. 그러면 방법은 아래와 같이 몇가지로 좁혀진다. 1. 빅테크모델 api에 prompt를 잘 먹여서 사용하기2. 빅테크모델을 파인튜닝하여 사용하기3. 적당한 크기의 오픈소스 모델을 full파인튜닝하거나, peft해서 사용하기 이 정도이며, 1번은 개발 기술적인 부분이니 생략하고,2,3번을 공략해보도록 하겠다. 2번의 단점은 매번 사용할때마다 api비용이 나간다는 것이고, 당연히 학습할때도 비용이 나간다. 그리고, 내가 사용했던 base모델이 사라질지도 모른다는 리스크가 있다. 간단한 예로, 이..

#1. 패캠에 돈좀 썼음후기이벤트겸 글을 작성하고 있지만, "배우는 것에는 아끼지 말자"라는 모토아래 200만원 가까이 결제한것 같다.때로는 제목에 낚여서 실망한 강연도 있고,어떤 강연은 100이 들어 있을줄 알았는데, 70밖에 안들어 있어서 실망한 강연도 존재한다.하지만, 대부분의 강연은 기대한 수준의 만족감을 주었다. 또한, 기한이 정해져있지않고, 평생 반복해서 시청이 가능한 것이 장점인것 같다.오늘은 여러가지 강연중에 내가 제일 만족했던 강연의 후기를 공유해보고자 한다.  #2. 파인튜닝, 그 이상의 지식을 원함AI를 공부하고, 현업에서 적용하는 입장에서 처음 파인튜닝은 새로운 세계였다. 이론적인 공부를 마치고, Pretrain을 하는 것은 나의 영역이 아니라는 것을 인식하고, 파인튜닝에 대한 이..

최근 회사에서 작성한 AI관련 R&D사업 기획안이 선정되어, 해당 R&D의 총괄을 맡게 되었다.추석이후 본격적으로 연세대와 함께 멘탈헬스관련 AI모델의 연구개발에 돌입한다.추석 연휴가 시작되기전 전체적인 로드맵을 그리면서, 내가 써낸 기획안이 실현가능한 수준인지 체크하고 있다(선정을 위해 너무 지른것이 아닌가 체크 또 체크 ;;;) 크게 3가지 과업을 셋팅했는데, 그 중 하나가 감정단어 분류기이다.자연어 데이터안에 있는 감정단어를 AI모델이 인식하여 찾아내고, 분류하는 모델. 0. 문제인식자연어 데이터에서 내가 원하는 감정단어를 어떻게 AI모델이 찾을수 있을까?우선 기계적인 코딩으로는 쉽다. 감정단어 리스트를 정리하고, 입력된 문장을 단어로 쪼개서, 리스트와 비교하면서 단어를 찾아내면 된다.하지만 문제는..