Autor

Brian

Staff Technical Writer

2 posts

Brian educates on using software and tools effectively. He is pragmatic in each of his articles and provides value in terms of work that can actually be done today.

$GGUF, GPTQ, AWQ, EXL2 quantization formats compared: how model weights, runtime overhead, and KV cache stack up in memory$

KI und Machine Learning

GGUF, GPTQ, AWQ, EXL2: Wie LLM-Quantisierungsformate den Speicher tatsächlich nutzen

Vergleichen Sie den Speicherverbrauch von GGUF, GPTQ, AWQ und EXL2, von der Q4_K_M-Dateigröße bis zum Wachstum des KV cache und dem Laufzeit-Overhead.

Brian Jul 2, 2026 12 Min. Lesezeit

Unified memory explained: discrete GPU memory requires a copy across PCIe between system RAM and VRAM, while unified memory is one shared pool the CPU and GPU both access directly

KI und Machine Learning

Was ist Unified Memory, und warum kann damit ein Mini-PC ein 235-Milliarden-Parameter-Modell ausführen?

Mit Unified Memory kann ein kompakter KI-PC Modelle der 235B-Klasse laden, die keine einzelne 24-32-GB-GPU fassen kann. Was das ist, warum es funktioniert, und warum größer nicht s

Brian Jul 2, 2026 11 Min. Lesezeit