Ssul's Blog

#1. CPU와 GPU 비교- core: core내부에 여러개 들어 있는 ALU(계산 전용도구)- control(제어유닛): 계산을 언제할지 스케쥴, 배분 관리- L1 cache: core연산에 사용하기 위한 가까운 메모리- L2 cache: 약간 크지만 덜 가까운 메모리- L3 cache: 약간 더 크지만 조금 더 먼 메모리- DRAM: 외장 메모리, GPU DRAM은 비싼거 사용(코어가 많아서 빨라야함) CPU는 복잡하고 다양한 작업을 빠르게 수행 > 코어랑 제어유닛이 큼. 그리고 근처 cache가 커야함 > 트렌지스터 많아야 함GPU는 단순하고 많은 작업을 빠르게 수행 > 코어가 가변고, 단순작업 잘함 > 코어가 작은대신 엄청 많음CPU는 개별 코어의 성능을 높이는 방향으로 발전. GPU는 코어의 ..

인터넷 검색이나, AI검색을 통해서 AI모델 학습/추론하는 코드를 찾아보게 되면 다양한 방식이 존재한다.어쩔땐 pipeline, 어쩔땐 model.generate()/decode, 또 어쩔때는 model(input_ids)를 넣는 방식까지...매 검색 코드마다 쓰는 방식이 다르니, 한번 정리하고, 나만의 AI학습 코드를 고정해야 하겠다. 이번 글에선 “토크나이저 → 모델 → 디코딩” 흐름을 기준으로1️⃣ pipeline (원스톱)2️⃣ generate (표준)3️⃣ manual forward (로짓 해킹)세 등급으로 쪼개 봤다.코드는 전부 복붙-실행 되도록 적었으니 — 마음에 드는 루틴 하나 골라 바로 써 보시길! #0. 공통- 설치해주시고 pip install -q transformers acceler..