Welcome to RicePunchb’s Digital Garden
"The mind is not a vessel to be filled, but a fire to be kindled."
이곳은 AI Research Engineer로서의 학습 과정과 기술적인 고민들이 자라나는 디지털 정원입니다. 단순한 지식의 나열보다는, **근본 원리(Math)**에서 시작하여 **최신 응용(State-of-the-Art)**으로 뻗어나가는 사고의 흐름을 기록합니다.
🗺️ Map of Content
Advanced LLM & Optimization
최신 거대 언어 모델의 학습부터 추론 최적화까지, 엔지니어링의 정점을 다룹니다.
-
Training & Fine-tuning
- 🔥 Hands-on LLM Training : SFT + QLoRA 실습 파이프라인.
- LoRA & Instruction Tuning : 효율적인 미세조정 기법.
- Continual Training : 지식 주입(CPT)과 행동 교정의 루프.
- Model Merging & Model Upscaling : 모델을 합치고 키우는 연금술.
- Knowledge Distillation : 거대 모델의 지식을 경량 모델로.
-
Inference Acceleration (속도 최적화)
- 🚀 Inference Acceleration Index : 추론 가속화 기술 총정리.
- KV Cache & PagedAttention : vLLM의 핵심 메모리 기술.
- Speculative Decoding : 인턴과 부장님 모델의 협업.
- Long Context Handling : RoPE Scaling과 긴 문맥 처리.
- Distributed GPU Training : 3D Parallelism과 ZeRO 전략.
-
Architecture & Strategies
- Mixture of Experts (MoE) : Sparse 모델의 표준.
- RAG & Fallback Strategy : 할루시네이션 방지와 안전장치.
- Uncertainty Estimation : 모델의 불확실성 측정.
Deep Learning Architectures
AI 모델의 뼈대가 되는 핵심 아키텍처들에 대한 심층 분석입니다.
-
Transformer Family
- Transformer : 모든 것의 시작.
- GPT (Decoder-only) : 생성형 모델의 표준.
- Attention & Cross Attention : 메커니즘의 이해.
- Encoder & Decoder : 구조적 차이점.
-
Next-Gen & Vision
- Mamba (SSM) : Transformer를 넘어서는 선형 시간 모델.
- Vision Transformer (ViT) : 이미지를 패치로 쪼개는 혁명.
- Vision-Language Model (VLM) : 보는 눈을 가진 LLM (CLIP, LLaVA).
- NAS : AI가 AI를 설계하는 기술.
- Generative Model : GAN & VAE.
Mathematical Foundations
화려한 기술 뒤에 숨겨진 수학적 원리와 통계학적 베이스입니다.
-
Theory of Deep Learning
- Neural Tangent Kernel (NTK) : 무한 너비 신경망의 수학적 증명.
- Gaussian Kernel & Kernel Regression : NTK의 선수 지식.
- SVM : 마진 최대화의 미학.
- MDP : 강화학습의 수학적 토대.
- GRPO : DeepSeek-R1의 핵심, 비평가 없는 강화학습.
-
Basic Components
- Loss Functions : MSE부터 Focal Loss까지.
- Activation Functions : ReLU, GELU, Swish 비교.
- Normalization : LayerNorm & BatchNorm.
- Regularization : Dropout과 Weight Decay.
- Weight Initialization : 초기화의 중요성 (He vs Xavier).
-
Statistics (MATH343 Coursework)