Installierte Komponenten
- Ollama → ein leichtgewichtiges, erweiterbares Framework zum lokalen Ausführen von LLMs.
- Open WebUI → Weboberfläche für die Interaktion mit Ollama.
Installationsverzeichnis
Die Docker-Compose-Datei für Open WebUI befindet sich unter:
/root/open-webui/docker-compose.yml
Arbeitsverzeichnis für den systemd-Dienst: /root/open-webui
Zugriffsinformationen
Weboberfläche:
- Open WebUI:
http://<server-ip>:8080 - Es kann einige Minuten dauern, bis die UI startet.
- Greifen Sie frühzeitig zu, um die Ersteinrichtung abzuschließen und einen Admin-Benutzer zu erstellen.
Ollama API:
- Base URL:
http://127.0.0.1:11434 - Lokal innerhalb des Servers erreichbar.
Ollama-Nutzung
Führen Sie diese Befehle direkt im Terminal aus:
# Pull a model
ollama pull <model_name>
# Run a model
ollama run <model_name>
Beispiel:
ollama pull llama3.1
ollama run llama3.1
Service-Management
# Open WebUI
systemctl status open-webui
systemctl restart open-webui
# Ollama
systemctl status ollama
systemctl restart ollama
