사내(Self-hosted) LLM 연결

데이터 보안을 위해 내부망 혹은 자체 호스팅 방식의 오픈소스 LLM(예: vLLM, Ollama, TGI 등)을 띄우고 Nexus Agent에 연동하는 방법을 안내합니다.

Nexus Agent의 언어 모델 계층은 LiteLLM에 기반하고 있어, OpenAI 호환 규격(.v1)을 제공하는 모든 서버에 손쉽게 붙일 수 있습니다.

1. '.env' 파일 설정

~/.nexus-agent/.env 파일을 편집하거나 새로 생성하여, API Base 주소와 우회용 더미(Dummy) Key를 설정하세요.

~/.nexus-agent/.env

# 예시: 사내 H200 모델 서버의 vLLM 엔드포인트
OPENAI_API_BASE=http://192.168.1.120:11436/v1

# LiteLLM이 API Key 헤더를 요구하므로 무작위 더미스트링을 삽입합니다.
OPENAI_API_KEY=dummy

2. Settings 화면 또는 모델 설정 변경

웹 UI의 Settings 탭에서 직접 모델 이름을 수정하거나, ~/.nexus-agent/settings.json 파일을 열어 다음처럼 변경합니다.

• 모델 접두어 규칙: LiteLLM에게 이 모델 경로가 "OpenAI 호환 커스텀 경로"임을 알려야 하므로, 모델 이름 앞에 hosted_vllm/ 혹은 원격 프로바이더 규격을 붙이는 것이 좋습니다. (vLLM일 경우 아래처럼 사용)

~/.nexus-agent/settings.json

{
  "llm": {
    "model": "hosted_vllm/openai/gpt-oss-120b",
    "api_base": "http://192.168.1.120:11436/v1",
    "api_key": "dummy",
    "temperature": 0.7,
    "max_tokens": 4096
  }
}

설정 후 서버를 재시작 하거나, 세션을 초기화하면 사내 LLM 모델과 쾌적하게 대화를 나눌 수 있습니다.