Open WebUI + Ollama 연동

Open WebUI?

Open WebUI is an extensible, feature-rich, and user-friendly self-hosted AI platform designed to operate entirely offline. It supports various LLM runners like Ollama and OpenAI-compatible APIs, with built-in inference engine for RAG, making it a powerful AI deployment solution.

 

🏡 Home | Open WebUI

LLM 러너를 WebUI 형태로 확장가능한 다양한 기능과 함께 사용할 수 있는 AI 솔루션이다. RAG를 위한 추론 엔진이 내장되어 있다고 한다. 로컬에 설치한 Ollama를 WebUI와 연동하여 오프라인 상태에서 ChatGPT 처럼 사용할 수 있다.

 

Ollama로 Deepseek 모델 사용하기

이전에 설치한 Ollama + Deepseek 모델을 연동하고자 한다. 다양한 설치 방법이 있지만, Docker를 사용하여 빠르게 설치할 수 있다. Docker 이미지는 ghcr.io/open-webui/open-webui:[ main | cuda ] 공식 이미지를 사용한다. main은 CPU를 사용하고, cuda는 Nvidia GPU를 사용한다.

 

Open WebUI Docker 설치

docker-compose.yml

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    ports:
      - "3000:8080"
    volumes:
      - ./open-webui:/app/backend/data

 

docker 컨테이너 실행

docker-compose up -d

Open WebUI 실행(http://localhost:3000)

Open WebUI 모델 설정

결론

어떤 이유에서인지는 모르겠지만, 응답속도가 너무 느리다...