Autor

Brian

Staff Technical Writer

2 posts

Brian educates on using software and tools effectively. He is pragmatic in each of his articles and provides value in terms of work that can actually be done today.

$GGUF, GPTQ, AWQ, EXL2 quantization formats compared: how model weights, runtime overhead, and KV cache stack up in memory$

IA e machine learning

GGUF, GPTQ, AWQ, EXL2: como os formatos de quantização de LLM realmente usam memória

Compare o uso de memória de GGUF, GPTQ, AWQ e EXL2, do tamanho de arquivo Q4_K_M ao crescimento do cache KV e ao overhead de runtime.

Brian Jul 2, 2026 12 min de leitura

Unified memory explained: discrete GPU memory requires a copy across PCIe between system RAM and VRAM, while unified memory is one shared pool the CPU and GPU both access directly

IA e machine learning

O que é memória unificada e por que ela permite que um mini PC execute um modelo de 235B?

A memória unificada permite que um PC de IA compacto carregue modelos da classe 235B que nenhuma GPU única de 24-32GB consegue armazenar. O que é, por que funciona e por que maior

Brian Jul 2, 2026 11 min de leitura