ข้ามไปยังเนื้อหาหลัก
ลด 50% ทุกแพลน เวลาจำกัด เริ่มต้นที่ $2.48/mo
Ollama

Ollama

Ollama รัน LLM บนเครื่องของคุณใน VPS เดียวกัน ดึงและให้บริการ Llama 3, Mistral, Phi, Gemma และ Qwen ด้วยคำสั่งเดียว เป็น AI ที่ host เองได้โดยไม่ต้องใช้ API key และ REST API รองรับ OpenAI clients ทางเลือกที่ง่ายที่สุดสำหรับ private inference ซึ่งนักพัฒนากว่า 200,000 คนใช้งานอยู่

ภาพรวม

175k

GitHub stars

60

การดูหน้า

สัญญาอนุญาต MIT เวอร์ชัน Latest OS Ubuntu Server 24.04 LTS Min RAM 8 GB IP IPV4,IPV6

ส่วนประกอบที่ติดตั้ง

  1. Ollama → เฟรมเวิร์กน้ำหนักเบาที่ขยายได้สำหรับรัน LLMs ในเครื่อง
  2. Open WebUI → เว็บอินเทอร์เฟซสำหรับโต้ตอบกับ Ollama

ไดเรกทอรีการติดตั้ง

ไฟล์ Docker Compose สำหรับ Open WebUI อยู่ที่:

/root/open-webui/docker-compose.yml

ไดเรกทอรีทำงานสำหรับบริการ systemd: /root/open-webui

ข้อมูลการเข้าใช้งาน

อินเทอร์เฟซเว็บ:

  • Open WebUI: http://<server-ip>:8080
  • อาจใช้เวลาสองสามนาทีกว่า UI จะเริ่มทำงาน
  • เข้าถึงแต่เนิ่นๆ เพื่อทำการตั้งค่าเริ่มต้นและสร้างผู้ใช้ผู้ดูแลระบบ

Ollama API:

  • Base URL: http://127.0.0.1:11434
  • เข้าถึงได้ในเครื่องภายในเซิร์ฟเวอร์

การใช้งาน Ollama

รันคำสั่งเหล่านี้โดยตรงใน terminal:

# Pull a model
ollama pull <model_name>

# Run a model
ollama run <model_name>

ตัวอย่าง:

ollama pull llama3.1
ollama run llama3.1

การจัดการบริการ

# Open WebUI
systemctl status open-webui
systemctl restart open-webui

# Ollama
systemctl status ollama
systemctl restart ollama

เพิ่มเติมใน Data Science

แอปที่เกี่ยวข้อง

Deploy Ollama ได้เลย เริ่มต้น $2.48/เดือน