Vyberte zemi, abyste viděli Cloudzy ve svém jazyce.
Autor
Interní technická redakce
3 posts
Brian učí, jak efektivně používat software a nástroje. V každém článku zůstává pragmatický a přináší hodnotu v podobě práce, kterou lze skutečně udělat ještě dnes.
Porovnejte LoRA, QLoRA a full fine-tuning podle VRAM, kvality a případu použití. Zjistěte, která metoda fine-tuningu LLM se hodí k vašemu rozpočtu na GPU.
Porovnání využití paměti GGUF, GPTQ, AWQ a EXL2, od velikosti souboru Q4_K_M po růst KV cache a režii běhového prostředí.
Sjednocená paměť umožňuje kompaktnímu AI PC načíst modely třídy 235B, které se nevejdou do žádné jednotlivé GPU s 24 až 32 GB. Co to je, proč to funguje a proč větší neznamená rych
