작성자

Brian

Staff Technical Writer

2 posts

Brian educates on using software and tools effectively. He is pragmatic in each of his articles and provides value in terms of work that can actually be done today.

$GGUF, GPTQ, AWQ, EXL2 quantization formats compared: how model weights, runtime overhead, and KV cache stack up in memory$

AI 및 머신러닝

GGUF, GPTQ, AWQ, EXL2: LLM 양자화 포맷이 실제로 메모리를 사용하는 방식

GGUF, GPTQ, AWQ, EXL2의 메모리 사용량을 Q4_K_M 파일 크기부터 KV 캐시 증가, 런타임 오버헤드까지 비교한다.

Brian Jul 2, 2026 12 분 분량

Unified memory explained: discrete GPU memory requires a copy across PCIe between system RAM and VRAM, while unified memory is one shared pool the CPU and GPU both access directly

AI 및 머신러닝

통합 메모리란 무엇이며, 왜 미니 PC가 235B 모델을 실행하게 해줄까?

통합 메모리는 단일 24-32GB GPU로는 담을 수 없는 235B급 모델을 소형 AI PC가 로드할 수 있게 해준다. 그것이 무엇인지, 왜 작동하는지, 그리고 왜 크다고 더 빠른 건 아닌지.

Brian Jul 2, 2026 11 분 분량