RTX 3060 Ti 8GB로 로컬 LLM 돌리기: Ollama 모델 4개 속도·VRAM·품질 실측
VRAM 8GB GPU에 전부 올라가는 모델 4개를 같은 조건으로 돌려 생성 속도, VRAM 사용량, 로딩 시간, 작업별 정답 여부를 직접 쟀습니다.
트랙
8GB GPU PC와 로컬 쿠버네티스에서 Ollama, LiteLLM, Open WebUI로 사내형 AI 플랫폼을 꾸려 본다.
VRAM 8GB GPU에 전부 올라가는 모델 4개를 같은 조건으로 돌려 생성 속도, VRAM 사용량, 로딩 시간, 작업별 정답 여부를 직접 쟀습니다.
웹 화면이 없는 Ollama에 HTML 한 장짜리 채팅 페이지를 붙이고, 브라우저가 실제로 어떤 요청을 보내는지 개발자 도구로 확인했습니다.
WSL에서 GPU로 도는 Ollama에 클러스터 안 이름을 붙이고, 파드에서 불렀을 때의 응답 시간과 장애·동시 요청 상황을 직접 확인했습니다.
인증이 없는 Ollama 앞에 LiteLLM을 두고, 사용자별 키·허용 모델·분당 요청 수·예산이 실제로 어떤 응답을 돌려주는지 하나씩 확인했습니다.
LiteLLM의 지표와 트레이스를 기존 Prometheus·Grafana·Tempo에 연결하고, 장애 훈련으로 경보가 언제 켜지고 꺼지는지 직접 확인했습니다.