본문으로 건너뛰기

kind 파드에서 클러스터 밖 Ollama 호출하기: selector 없는 Service와 EndpointSlice로 GPU는 밖, 앱은 안에

WSL에서 GPU로 도는 Ollama에 클러스터 안 이름을 붙이고, 파드에서 불렀을 때의 응답 시간과 장애·동시 요청 상황을 직접 확인했습니다.

로컬 AI 플랫폼 실습 시리즈 목차 · 글 5개
  1. 1편RTX 3060 Ti 8GB로 로컬 LLM 돌리기: Ollama 모델 4개 속도·VRAM·품질 실측
  2. 번외편Ollama 웹 채팅 화면 직접 만들기: HTML 한 장으로 WSL의 로컬 LLM에 연결하고 CORS까지 이해하기
  3. 2편kind 파드에서 클러스터 밖 Ollama 호출하기: selector 없는 Service와 EndpointSlice로 GPU는 밖, 앱은 안에
  4. 3편LiteLLM으로 로컬 LLM 게이트웨이 만들기: Ollama 앞에 가상 키·요청 한도·예산을 붙이고 kind에서 직접 확인하기
  5. 4편LiteLLM 관측하기: Prometheus·Grafana·Tempo로 LLM 호출의 토큰·지연·오류·비용 보고 경보 걸기

kind 클러스터 안의 파드가 클러스터 밖(WSL)에서 GPU로 도는 Ollama를 부르려면 두 가지가 필요합니다. 첫째, Ollama가 127.0.0.1이 아닌 주소(0.0.0.0:11434)에서 요청을 받아야 합니다. 둘째, selector 없는 Service와 직접 쓴 EndpointSlice로 kind 도커 네트워크의 게이트웨이(172.18.x.1)를 가리키면, 파드는 http://ollama.ai.svc:11434로 Ollama를 부를 수 있습니다. 실측에서 파드를 거쳐도 응답 시간은 약 0.01초만 늘었고, 동시에 두 요청이 오면 두 번째 요청은 첫 요청이 끝날 때까지 기다렸습니다.

Windows 11 + WSL2 Ubuntu 24.04, kind 클러스터(노드 3개, CNI kindnet), Ollama 0.40.16, 모델 qwen3:8b 기준입니다. Ollama API에는 인증이 없어서, 클러스터 안 어떤 파드든 호출할 수 있다는 점도 함께 확인했습니다.

왜 Ollama를 클러스터 밖에 두나

이 시리즈는 개인 PC 한 대의 로컬 쿠버네티스(kind) 위에 AI 도구를 올립니다. kind는 쿠버네티스 노드를 도커 컨테이너로 만들기 때문에, GPU를 노드 안으로 넘기려면 별도 설정이 많이 필요합니다. 그래서 모델을 실제로 돌리는 Ollama만 WSL에서 GPU로 직접 실행하고, 그 앞에 붙는 앱은 클러스터 안에 두는 구조로 정했습니다.

1편에서 이 PC(RTX 3060 Ti 8GB)에 Ollama를 설치하고 모델 4개를 측정했고, qwen3:8b를 시리즈 기본 모델로 정했습니다. 이번 편은 클러스터 안 파드가 그 Ollama를 부르게 만드는 단계입니다. 다음 편부터는 여기서 만든 주소(http://ollama.ai.svc:11434)를 다른 도구의 백엔드로 씁니다.

요청이 지나가는 경로

구간별 역할

구간 무엇 이번 PC의 값
클러스터 안 이름 Service ollama (네임스페이스 ai) ClusterIP 10.96.x.x, 포트 11434
실제 목적지 EndpointSlice ollama-1 172.18.x.1:11434
노드 → WSL kind 도커 네트워크 게이트웨이 172.18.x.x/16 대역의 게이트웨이(172.18.x.1)
모델 실행 Ollama 서비스 0.0.0.0:11434, qwen3:8b, GPU

게이트웨이는 kind가 만든 도커 네트워크 kind의 출구 주소로, 이번 PC에서는 172.18.x.1 형태였습니다. 노드 컨테이너에서 이 주소로 나가면 WSL 쪽으로 갑니다. 이 값은 환경마다 다를 수 있으니 docker network inspect kind로 먼저 확인합니다.

Terminal window
docker network inspect kind -f '{{range .IPAM.Config}}{{.Subnet}} gw={{.Gateway}} {{end}}'
# (IPv6 대역 생략) 172.18.x.x/16 gw=172.18.x.1

Ollama가 클러스터에서 보이게 하기: 바인딩 주소와 서비스 등록

Ollama는 기본적으로 127.0.0.1:11434에서만 요청을 받습니다. 이 상태에서는 같은 WSL 안에서만 부를 수 있고, kind 노드에서 오는 요청은 닿지 않습니다. 받을 주소는 OLLAMA_HOST 환경 변수로 바꿉니다. Ollama FAQ

1편에서는 Ollama를 터미널에서 직접 띄웠기 때문에 WSL을 다시 시작하면 꺼졌습니다. 이번에는 systemd 서비스로 등록하면서 OLLAMA_HOST를 함께 지정했습니다. 실행 파일은 1편에서 사용자 홈 폴더(~/.local/ollama)에 설치한 것을 그대로 쓰고, 서비스도 일반 사용자 계정으로 실행합니다. User와 경로는 자기 환경에 맞게 바꿉니다.

/etc/systemd/system/ollama.service
[Unit]
Description=Ollama (user install, ~/.local/ollama)
After=network-online.target
[Service]
User=myuser
Group=myuser
ExecStart=/home/myuser/.local/ollama/bin/ollama serve
Environment="OLLAMA_HOST=0.0.0.0:11434"
Restart=always
RestartSec=3
[Install]
WantedBy=multi-user.target
install-service.sh (일부)
systemctl daemon-reload
systemctl enable --now ollama
systemctl is-active ollama
ss -ltnp | grep 11434

등록 후 systemctl is-active는 active, ss의 받는 주소는 127.0.0.1:11434에서 *:11434로 바뀌었습니다. 서비스 로그에서 GPU(CUDA, RTX 3060 Ti)를 다시 인식한 것도 확인했습니다. Ollama를 이미 systemd 서비스로 돌리고 있다면 유닛 파일을 새로 만들지 말고 systemctl edit ollama로 Environment 줄만 추가한 뒤 다시 시작합니다. Ollama Linux

127.0.0.1을 그대로 쓸 수 없는 이유

kind 노드에서 127.0.0.1은 노드 컨테이너 자신을 뜻합니다. 쿠버네티스 문서도 EndpointSlice의 주소로 루프백(127.0.0.0/8)과 링크 로컬 주소는 쓸 수 없다고 명시합니다. 그래서 Ollama는 게이트웨이 쪽에서도 받을 수 있게 열고, EndpointSlice에는 게이트웨이 주소를 적습니다.

노드에서 먼저 확인하기

Service를 만들기 전에 kind 노드 컨테이너에서 게이트웨이 주소로 Ollama가 보이는지 확인합니다. 여기서 안 되면 쿠버네티스 설정이 아니라 Ollama 바인딩이나 도커 네트워크 문제입니다.

Terminal window
GATEWAY_IP=<위에서 확인한 gw 값>
for n in lab-control-plane lab-worker lab-worker2; do
echo "$n: $(docker exec "$n" curl -s -m 5 http://$GATEWAY_IP:11434)"
done
# lab-control-plane: Ollama is running
# lab-worker: Ollama is running
# lab-worker2: Ollama is running

노드 3개 모두 Ollama is running을 받았습니다. 파드는 어느 노드에 뜰지 모르므로 모든 노드에서 확인해 두는 편이 안전합니다.

selector 없는 Service와 EndpointSlice

보통 Service는 selector로 파드를 골라 엔드포인트를 자동으로 만듭니다. selector를 비워 두면 엔드포인트가 자동으로 생기지 않고, EndpointSlice를 직접 만들어 클러스터 밖 주소를 연결할 수 있습니다. Kubernetes: Services without selectors

02-ollama-external.yaml (일부)
apiVersion: v1
kind: Namespace
metadata:
name: ai
---
apiVersion: v1
kind: Service
metadata:
name: ollama
namespace: ai
spec:
# selector 없음
ports:
- name: http
protocol: TCP
port: 11434
targetPort: 11434
---
apiVersion: discovery.k8s.io/v1
kind: EndpointSlice
metadata:
name: ollama-1
namespace: ai
labels:
kubernetes.io/service-name: ollama
endpointslice.kubernetes.io/managed-by: ai-lab-manual
addressType: IPv4
ports:
- name: http
appProtocol: http
protocol: TCP
port: 11434
endpoints:
- addresses:
- "GATEWAY_IP" # docker network inspect kind의 gw 값으로 바꿈

틀리기 쉬운 부분

항목 규칙
kubernetes.io/service-name 라벨 Service 이름(ollama)과 같아야 EndpointSlice가 Service에 연결됨
포트 이름 EndpointSlice의 ports[].name이 Service 포트 이름(http)과 같아야 함
managed-by 라벨 직접 만든 EndpointSlice임을 표시하는 값. 자동 관리 값과 겹치지 않게 지정
주소 루프백·링크 로컬 주소, 다른 Service의 ClusterIP는 쓸 수 없음
port-forward selector 없는 Service에는 kubectl port-forward가 동작하지 않음

ExternalName Service는 DNS 이름만 받고 IP를 받지 못해서 이번 구조에는 맞지 않습니다. 새 네임스페이스 ai에는 Istio ambient 라벨을 붙이지 않았습니다.

EndpointSlice는 기존 Endpoints를 대신하는 API입니다. 둘 다 “이 Service로 온 요청을 실제로 어느 주소·포트로 보낼지”를 적어 두는 목록이라는 점은 같고, 목록을 담는 방식이 다릅니다. Kubernetes: EndpointSlices

Endpoints와 EndpointSlice

Endpoints (기존) EndpointSlice
담는 방식 Service 하나에 객체 하나, 주소 전체를 한 덩어리로 여러 조각으로 나눔(기본 조각당 최대 100개)
주소 하나가 바뀌면 덩어리 전체를 다시 써서 모든 노드에 다시 보냄 바뀐 조각만 다시 보냄
Service와 연결 Service와 같은 이름으로 만듦 kubernetes.io/service-name 라벨로 연결
주소 종류·상태 IPv4·IPv6가 섞임, 준비 여부 정도 조각마다 addressType, ready·serving·terminating 상태
현재 1.33부터 사용 중단 예고 표준, kube-proxy가 읽는 대상

이 실습 클러스터(v1.37)에서 kubectl get endpoints -n ai를 실행하면 Warning: v1 Endpoints is deprecated in v1.33+; use discovery.k8s.io/v1 EndpointSlice 경고와 함께 아무것도 나오지 않습니다. ai 네임스페이스에는 직접 만든 EndpointSlice ollama-1만 있고, 그것만으로 호출이 동작했습니다.

파드에서 호출하기

확인용으로 curlimages/curl:8.11.1 이미지의 파드를 ai 네임스페이스에 띄우고 Service 이름으로 호출했습니다.

Terminal window
kubectl get svc,endpointslice -n ai -o wide
kubectl -n ai exec curl -- curl -s http://ollama.ai.svc:11434/api/version
kubectl get svc,endpointslice -n ai 결과로 selector 없는 Service ollama와 EndpointSlice ollama-1이 보이고, 파드에서 ollama.ai.svc:11434/api/version을 호출해 version 0.40.16을 받은 화면. 클러스터 IP와 엔드포인트 주소는 가림
ai 네임스페이스의 Service·EndpointSlice와 파드에서 호출한 결과

Service의 SELECTOR가 <none>이고 EndpointSlice의 ENDPOINTS가 게이트웨이 주소(172.18.x.1)입니다. 사진에서는 ClusterIP와 엔드포인트 주소를 가렸습니다. 파드에서 부른 /api/version은 {"version":"0.40.16"}을 돌려줬고, /api/tags에서도 받아 둔 모델 목록이 보였습니다.

직접 호출과 파드 경유, 응답 시간 차이

파드를 거치면 얼마나 느려지는지 쟀습니다. 1편의 요약 작업과 같은 요청(qwen3:8b, think: false, 컨텍스트 4096, 온도 0)을 모델이 메모리에 올라간 상태에서 각 3번 보냈습니다.

응답 시간 (3회 범위)

경로 클라이언트가 잰 전체 시간 Ollama 처리 시간
WSL에서 127.0.0.1:11434 직접 1.335~1.350초 1.30~1.31초
파드에서 ollama:11434 1.349~1.361초 1.31~1.32초

차이는 약 0.01초였습니다. 응답 시간의 대부분은 모델이 답을 만드는 시간이고, Service와 도커 네트워크를 거치는 비용은 거의 보이지 않았습니다.

장애 훈련: Ollama가 멈추거나 모델이 내려갔을 때

파드에서 본 결과

상황 결과
Ollama 서비스를 멈춘 상태에서 호출 0.001초 만에 연결 실패(curl 종료 코드 7, HTTP 상태 없음)
서비스를 다시 시작한 뒤 응답까지 6.3초
재시작 직후 첫 호출(모델이 메모리에 없음) 17.1초, 그중 모델 로딩 14.5초
바로 다음 호출 1.46초

Ollama가 멈추면 요청은 기다리지 않고 바로 실패합니다. 앞단의 앱은 이 실패를 받아 재시도하거나 사용자에게 알려야 합니다.

더 눈여겨볼 것은 모델 로딩입니다. Ollama는 마지막 요청 후 기본 5분 동안 모델을 메모리에 두고 그 뒤에는 내립니다. 쉬었다가 들어온 첫 요청은 로딩 시간(qwen3:8b 약 14초)만큼 늦어지므로, 앞단에서 시간 제한을 너무 짧게 잡으면 첫 요청이 실패한 것처럼 보일 수 있습니다.

서비스 등록이 실제로 도움이 된 순간

실습 도중 WSL 안의 Docker와 Ollama가 함께 다시 시작된 일이 있었습니다. WSL 자체가 꺼졌다 켜진 것은 아니었고(가동 시작 시각이 그대로), 로그에는 시계가 크게 바뀐 기록만 남아 있어 정확한 원인은 확인하지 못했습니다. Ollama는 서비스로 등록해 둔 덕분에 사람이 손대지 않아도 다시 떴고, 파드도 한 번 재시작된 뒤 바로 ollama.ai.svc를 정상 호출했습니다.

동시 요청: 두 번째 요청은 기다린다

파드 2개에서 같은 요청을 동시에 보냈습니다. 한쪽은 1.39초로 단독 호출과 같았고, 다른 쪽은 2.85초가 걸렸습니다. 두 번째 요청이 첫 요청이 끝날 때까지 기다렸다가 처리된 것입니다. Ollama가 돌려준 처리 시간(2.78초)에도 이 대기 시간이 포함되어 있었습니다.

동시 요청 결과

호출 전체 시간
단독 호출 1.39초
동시 호출 A 1.39초
동시 호출 B 2.85초

서비스 로그의 설정값은 OLLAMA_NUM_PARALLEL:1이었습니다. 공식 문서 기준으로 이 값은 모델 하나가 동시에 처리하는 요청 수이고 기본값이 1이며, 올리면 필요한 메모리가 OLLAMA_NUM_PARALLEL × 컨텍스트 길이에 비례해 늘어납니다. 처리하지 못한 요청은 대기열(기본 512개)에서 기다립니다. Ollama FAQ

VRAM 8GB에서 qwen3:8b는 이미 5.5GB를 쓰므로, 동시 처리를 늘리기보다 앞단에서 사용자별 요청량을 제한하는 편이 현실적입니다.

누가 이 Ollama를 부를 수 있나

접근 범위 확인 결과

어디서 접근 근거
WSL 안 가능 127.0.0.1:11434
Windows 가능(localhost만) Windows 쪽 리스너는 wslrelay가 127.0.0.1·::1에만 열림, 포트 전달 설정 없음
kind 노드와 모든 파드 가능 게이트웨이 경유, 네임스페이스와 상관없음
사내망의 다른 PC 불가 WSL 기본 NAT 모드, Windows 리스너가 루프백 전용

0.0.0.0으로 열었지만 WSL이 기본 NAT 모드라 사내망에는 직접 노출되지 않았습니다. WSL을 미러 네트워크 모드로 바꾸거나 Windows에서 포트 전달을 설정하면 달라질 수 있으니, 그런 설정을 쓴다면 다시 확인해야 합니다.

Ollama API에는 인증이 없다

클러스터 안의 어떤 파드든 키 없이 모델을 호출할 수 있고, 모델 삭제 같은 관리 API도 같은 주소에 있습니다. 사용자별 키와 요청 한도는 다음 편에서 Ollama 앞에 게이트웨이를 두어 해결할 예정입니다.

핵심 요약

항목 내용
바인딩 OLLAMA_HOST=0.0.0.0:11434로 열고 systemd 서비스로 등록
연결 selector 없는 Service + EndpointSlice(172.18.x.1) → 파드에서 ollama.ai.svc:11434
응답 시간 파드 경유로 늘어난 시간 약 0.01초
장애 Ollama 정지 시 즉시 연결 실패, 재시작 후 첫 호출은 모델 로딩으로 약 17초
동시 요청 OLLAMA_NUM_PARALLEL 기본 1, 두 번째 요청은 기다려 1.39초 → 2.85초
보안 사내망 노출은 없지만 인증이 없어 클러스터 안 모든 파드가 호출 가능

자주 묻는 질문

EndpointSlice에 127.0.0.1을 쓰면 안 되나요?

안 됩니다. 쿠버네티스는 EndpointSlice 주소로 루프백과 링크 로컬 주소를 허용하지 않고, kind 노드에서 127.0.0.1은 노드 컨테이너 자신을 뜻합니다. kind 도커 네트워크의 게이트웨이 주소를 씁니다.

ExternalName Service로는 안 되나요?

ExternalName은 DNS 이름을 가리키는 방식이라 IP 주소를 넣을 수 없습니다. 클러스터 밖의 IP로 보내려면 selector 없는 Service와 EndpointSlice를 씁니다.

selector 없는 Service로 kubectl port-forward가 되나요?

되지 않습니다. 쿠버네티스 문서에 따르면 API 서버는 파드에 연결되지 않은 엔드포인트로 프록시하지 않습니다. 확인은 클러스터 안 파드에서 호출하는 방식으로 합니다.

Ollama를 0.0.0.0으로 열면 사내망에 노출되나요?

이번 환경(WSL 기본 NAT 모드)에서는 Windows 쪽 리스너가 127.0.0.1과 ::1에만 열려 사내망에는 노출되지 않았습니다. 미러 네트워크 모드나 포트 전달을 쓰면 달라질 수 있습니다.

작성 방식과 다음 편

이 글의 명령, 출력, 응답 시간은 모두 1편과 같은 PC에서 직접 실행한 결과이고, 설정은 Kubernetes와 Ollama 공식 문서를 기준으로 했습니다. 화면 캡처는 프롬프트를 바꿔 PC 이름과 계정이 보이지 않게 찍었고, 실행 기록 정리와 글 작성에 AI 도구를 함께 썼습니다. 다음 편에서는 이 Ollama 앞에 LiteLLM 게이트웨이를 두고 가상 키와 사용자별 한도를 붙일 예정입니다.

사진을 누르면 원본 크기