Ugrás a fő tartalomra
50% kedvezmény minden csomagra, korlátozott ideig. Már $2.48/mo
Ollama

Ollama

Az Ollama helyileg futtat LLM-okat a VPS-eden. Llama 3, Mistral, Phi, Gemma és Qwen modellek egyetlen paranccsal tölthetők be és szolgáltathatók. Saját üzemeltetésű AI API kulcs nélkül, REST API kompatibilis az OpenAI kliensekkel. A legegyszerűbb út a privát inferenciához – több mint 200 000 fejlesztő használja.

Egy pillantásra

175k

GitHub-csillagok

29

Oldalmegtekintések

324

Aktív telepítések

Licenc MIT Verzió Latest OS Ubuntu Server 24.04 LTS Min RAM 8 GB IP IPV4,IPV6

Az aktív telepítések mintaadatok (előnézet); az igazi metrika az indítás előtt lesz bekötve.

Telepített összetevők

  1. Ollama → könnyű, bővíthető keretrendszer LLM-ek helyi futtatásához.
  2. Open WebUI → webes felület az Ollama-val való interakcióhoz.

Telepítési könyvtár

Az Open WebUI Docker Compose fájlja itt található:

/root/open-webui/docker-compose.yml

A systemd szolgáltatás munkakönyvtára: /root/open-webui

Hozzáférési Információ

Webes felület:

  • Open WebUI: http://<server-ip>:8080
  • Néhány percbe telhet, amíg a felület elindul.
  • Lépj be korán a kezdeti beállítás befejezéséhez és egy adminisztrátori felhasználó létrehozásához.

Ollama API:

  • Alap URL: http://127.0.0.1:11434
  • Helyben elérhető a szerveren belül.

Ollama használata

Futtasd ezeket a parancsokat közvetlenül a terminálban:

# Pull a model
ollama pull <model_name>

# Run a model
ollama run <model_name>

Példa:

ollama pull llama3.1
ollama run llama3.1

Szolgáltatáskezelés

# Open WebUI
systemctl status open-webui
systemctl restart open-webui

# Ollama
systemctl status ollama
systemctl restart ollama

Több az adattudomány témakörében

Kapcsolódó alkalmazások.

Telepítsd az Ollama-t most. Már 2,48 $/hó-tól.