Installerede komponenter
- Ollama → et letvægts, udvideligt framework til at køre LLM'er lokalt.
- Open WebUI → webgrænseflade til at interagere med Ollama.
Installationsmappe
Docker Compose-filen til Open WebUI er placeret i:
/root/open-webui/docker-compose.yml
Arbejdsmappe for systemd-tjenesten: /root/open-webui
Adgangsoplysninger
Webgrænseflade:
- Open WebUI:
http://<server-ip>:8080 - Det kan tage et par minutter, før UI'en starter.
- Få adgang tidligt for at gennemføre den indledende opsætning og oprette en administratorbruger.
Ollama API:
- Base-URL:
http://127.0.0.1:11434 - Tilgængelig lokalt inde i serveren.
Brug af Ollama
Kør disse kommandoer direkte i terminalen:
# Pull a model
ollama pull <model_name>
# Run a model
ollama run <model_name>
Eksempel:
ollama pull llama3.1
ollama run llama3.1
Service-håndtering
# Open WebUI
systemctl status open-webui
systemctl restart open-webui
# Ollama
systemctl status ollama
systemctl restart ollama
