Autore

Brian

Staff Technical Writer

2 posts

Brian educates on using software and tools effectively. He is pragmatic in each of his articles and provides value in terms of work that can actually be done today.

$GGUF, GPTQ, AWQ, EXL2 quantization formats compared: how model weights, runtime overhead, and KV cache stack up in memory$

AI e machine learning

GGUF, GPTQ, AWQ, EXL2: come i formati di quantizzazione degli LLM usano davvero la memoria

Confronta l'uso di memoria di GGUF, GPTQ, AWQ ed EXL2, dalla dimensione del file Q4_K_M alla crescita della cache KV e all'overhead di runtime.

Brian Jul 2, 2026 12 min di lettura

Unified memory explained: discrete GPU memory requires a copy across PCIe between system RAM and VRAM, while unified memory is one shared pool the CPU and GPU both access directly

AI e machine learning

Cos'è la memoria unificata, e perché permette a un mini PC di eseguire un modello da 235B?

La memoria unificata permette a un PC AI compatto di caricare modelli di classe 235B che nessuna singola GPU da 24-32GB può contenere. Cos'è, perché funziona e perché più grande no

Brian Jul 2, 2026 11 min di lettura