Nainstalované součásti
- Ollama → lehký, rozšiřitelný framework pro lokální provoz LLM.
- Open WebUI → webové rozhraní pro interakci s Ollama.
Instalační adresář
Soubor Docker Compose pro Open WebUI se nachází v:
/root/open-webui/docker-compose.yml
Pracovní adresář pro službu systemd: /root/open-webui
Přístupové informace
Webové rozhraní:
- Open WebUI:
http://<server-ip>:8080 - Spuštění rozhraní může trvat několik minut.
- Přistupte včas, abyste dokončili počáteční nastavení a vytvořili administrátorského uživatele.
Ollama API:
- Základní URL:
http://127.0.0.1:11434 - Přístupné lokálně uvnitř serveru.
Použití Ollama
Spusťte tyto příkazy přímo v terminálu:
# Pull a model
ollama pull <model_name>
# Run a model
ollama run <model_name>
Příklad:
ollama pull llama3.1
ollama run llama3.1
Správa služeb
# Open WebUI
systemctl status open-webui
systemctl restart open-webui
# Ollama
systemctl status ollama
systemctl restart ollama
