Tác giả

Brian

Staff Technical Writer

2 posts

Brian educates on using software and tools effectively. He is pragmatic in each of his articles and provides value in terms of work that can actually be done today.

$GGUF, GPTQ, AWQ, EXL2 quantization formats compared: how model weights, runtime overhead, and KV cache stack up in memory$

AI và Machine Learning

GGUF, GPTQ, AWQ, EXL2: Các định dạng lượng tử hóa LLM thực sự dùng bộ nhớ như thế nào

So sánh mức sử dụng bộ nhớ của GGUF, GPTQ, AWQ, và EXL2, từ kích thước file Q4_K_M đến sự tăng trưởng KV cache và chi phí phụ runtime.

Brian Jul 2, 2026 12 phút đọc

Unified memory explained: discrete GPU memory requires a copy across PCIe between system RAM and VRAM, while unified memory is one shared pool the CPU and GPU both access directly

AI và Machine Learning

Bộ nhớ hợp nhất là gì và tại sao nó cho phép một mini PC chạy được mô hình 235B?

Bộ nhớ hợp nhất cho phép một PC AI nhỏ gọn nạp các mô hình cỡ 235B mà không một GPU 24-32GB đơn lẻ nào chứa nổi. Đó là gì, vì sao nó hoạt động, và vì sao lớn hơn không có nghĩa là

Brian Jul 2, 2026 11 phút đọc