Автор

Brian

Staff Technical Writer

2 posts

Brian educates on using software and tools effectively. He is pragmatic in each of his articles and provides value in terms of work that can actually be done today.

$GGUF, GPTQ, AWQ, EXL2 quantization formats compared: how model weights, runtime overhead, and KV cache stack up in memory$

AI та машинне навчання

GGUF, GPTQ, AWQ, EXL2: Як формати квантизації LLM насправді використовують пам'ять

Порівняння використання пам'яті GGUF, GPTQ, AWQ і EXL2, від розміру файлу Q4_K_M до зростання KV-кешу та накладних витрат середовища виконання.

Brian Jul 2, 2026 12 хв читання

Unified memory explained: discrete GPU memory requires a copy across PCIe between system RAM and VRAM, while unified memory is one shared pool the CPU and GPU both access directly

AI та машинне навчання

Що таке уніфікована пам'ять і чому завдяки їй міні-ПК може запускати модель на 235B?

Уніфікована пам'ять дозволяє компактному AI ПК завантажувати моделі класу 235B, які не вміщаються в жодну окрему GPU на 24-32 ГБ. Що це таке, чому це працює і чому більше не означа

Brian Jul 2, 2026 11 хв читання