Auteur

Brian

Staff Technical Writer

2 posts

Brian educates on using software and tools effectively. He is pragmatic in each of his articles and provides value in terms of work that can actually be done today.

$GGUF, GPTQ, AWQ, EXL2 quantization formats compared: how model weights, runtime overhead, and KV cache stack up in memory$

AI en machine learning

GGUF, GPTQ, AWQ, EXL2: hoe LLM-kwantisatieformaten daadwerkelijk geheugen gebruiken

Vergelijk het geheugengebruik van GGUF, GPTQ, AWQ en EXL2, van Q4_K_M-bestandsgrootte tot KV-cachegroei en runtime-overhead.

Brian Jul 2, 2026 12 min leestijd

Unified memory explained: discrete GPU memory requires a copy across PCIe between system RAM and VRAM, while unified memory is one shared pool the CPU and GPU both access directly

AI en machine learning

Wat is unified memory, en waarom kan een mini-pc daardoor een 235B-model draaien?

Unified memory stelt een compacte AI-pc in staat om 235B-klasse modellen te laden die geen enkele losse GPU met 24-32GB kan bevatten. Wat het is, waarom het werkt, en waarom groter

Brian Jul 2, 2026 11 min leestijd