Zainstalowane komponenty
- Ollama → lekki, rozszerzalny framework do lokalnego uruchamiania modeli LLM.
- Open WebUI → interfejs webowy do interakcji z Ollama.
Katalog instalacji
Plik Docker Compose dla Open WebUI znajduje się w:
/root/open-webui/docker-compose.yml
Katalog roboczy usługi systemd: /root/open-webui
Informacje dostępu
Interfejs sieciowy:
- Open WebUI:
http://<server-ip>:8080 - Uruchomienie interfejsu może potrwać kilka minut.
- Uzyskaj dostęp wcześnie, aby ukończyć wstępną konfigurację i utworzyć użytkownika administratora.
API Ollama:
- Podstawowy adres URL:
http://127.0.0.1:11434 - Dostępne lokalnie wewnątrz serwera.
Korzystanie z Ollama
Uruchom te polecenia bezpośrednio w terminalu:
# Pull a model
ollama pull <model_name>
# Run a model
ollama run <model_name>
Przykład:
ollama pull llama3.1
ollama run llama3.1
Zarządzanie usługami
# Open WebUI
systemctl status open-webui
systemctl restart open-webui
# Ollama
systemctl status ollama
systemctl restart ollama
