Auteur

Brian

Staff Technical Writer

2 posts

Brian educates on using software and tools effectively. He is pragmatic in each of his articles and provides value in terms of work that can actually be done today.

$GGUF, GPTQ, AWQ, EXL2 quantization formats compared: how model weights, runtime overhead, and KV cache stack up in memory$

IA et machine learning

GGUF, GPTQ, AWQ, EXL2 : comment les formats de quantification des LLM utilisent réellement la mémoire

Comparez l'utilisation mémoire de GGUF, GPTQ, AWQ et EXL2, de la taille du fichier Q4_K_M à la croissance du cache KV et au surcoût du runtime.

Brian Jul 2, 2026 12 min de lecture

Unified memory explained: discrete GPU memory requires a copy across PCIe between system RAM and VRAM, while unified memory is one shared pool the CPU and GPU both access directly

IA et machine learning

Qu'est-ce que la mémoire unifiée, et pourquoi permet-elle à un mini PC de faire tourner un modèle de 235 milliards de paramètres ?

La mémoire unifiée permet à un PC IA compact de charger des modèles de la classe 235B qu'aucun GPU seul de 24-32 Go ne peut contenir. Ce que c'est, pourquoi ça marche, et pourquoi

Brian Jul 2, 2026 11 min de lecture