Встановлені компоненти
- Ollama → легкий, розширюваний фреймворк для локального запуску LLM.
- Open WebUI → веб-інтерфейс для взаємодії з Ollama.
Директорія встановлення
Файл Docker Compose для Open WebUI розташований за адресою:
/root/open-webui/docker-compose.yml
Робочий каталог для служби systemd: /root/open-webui
Інформація про доступ
Веб-інтерфейс:
- Open WebUI:
http://<server-ip>:8080 - Запуск інтерфейсу може зайняти кілька хвилин.
- Увійдіть якомога раніше, щоб завершити початкове налаштування та створити користувача-адміністратора.
Ollama API:
- Базова URL-адреса:
http://127.0.0.1:11434 - Доступно локально всередині сервера.
Використання Ollama
Виконайте ці команди безпосередньо в терміналі:
# Pull a model
ollama pull <model_name>
# Run a model
ollama run <model_name>
Приклад:
ollama pull llama3.1
ollama run llama3.1
Керування сервісом
# Open WebUI
systemctl status open-webui
systemctl restart open-webui
# Ollama
systemctl status ollama
systemctl restart ollama
