Geïnstalleerde onderdelen
- Ollama → een lichtgewicht, uitbreidbaar framework om LLM's lokaal uit te voeren.
- Open WebUI → webinterface om met Ollama te communiceren.
Installatiemap
Het Docker Compose-bestand voor Open WebUI bevindt zich op:
/root/open-webui/docker-compose.yml
Werkmap voor de systemd-service: /root/open-webui
Toegangsinformatie
Webinterface:
- Open WebUI:
http://<server-ip>:8080 - Het kan een paar minuten duren voordat de UI opstart.
- Krijg vroeg toegang om de initiële installatie te voltooien en een beheerder aan te maken.
Ollama API:
- Basis-URL:
http://127.0.0.1:11434 - Lokaal toegankelijk binnen de server.
Ollama-gebruik
Voer deze commando's direct uit in de terminal:
# Pull a model
ollama pull <model_name>
# Run a model
ollama run <model_name>
Voorbeeld:
ollama pull llama3.1
ollama run llama3.1
Servicebeheer
# Open WebUI
systemctl status open-webui
systemctl restart open-webui
# Ollama
systemctl status ollama
systemctl restart ollama
