RTX 3060 Ti 8GB로 로컬 LLM 돌리기: Ollama 모델 4개 속도·VRAM·품질 실측
VRAM 8GB GPU에 전부 올라가는 모델 4개를 같은 조건으로 돌려 생성 속도, VRAM 사용량, 로딩 시간, 작업별 정답 여부를 직접 쟀습니다.
로컬 AI 플랫폼 실습 시리즈 목차 · 글 5개
- 1편RTX 3060 Ti 8GB로 로컬 LLM 돌리기: Ollama 모델 4개 속도·VRAM·품질 실측
- 번외편Ollama 웹 채팅 화면 직접 만들기: HTML 한 장으로 WSL의 로컬 LLM에 연결하고 CORS까지 이해하기
- 2편kind 파드에서 클러스터 밖 Ollama 호출하기: selector 없는 Service와 EndpointSlice로 GPU는 밖, 앱은 안에
- 3편LiteLLM으로 로컬 LLM 게이트웨이 만들기: Ollama 앞에 가상 키·요청 한도·예산을 붙이고 kind에서 직접 확인하기
- 4편LiteLLM 관측하기: Prometheus·Grafana·Tempo로 LLM 호출의 토큰·지연·오류·비용 보고 경보 걸기
RTX 3060 Ti(VRAM 8GB)에서는 qwen3:4b, gemma3:4b, llama3.1:8b, qwen3:8b가 모두 GPU에 100% 올라갔고, 생성 속도는 초당 64~91토큰이었습니다. 요약·YAML 작성·JSON 추출·일정 계산 4가지 작업을 3회씩 시킨 결과 qwen3:8b가 3개 작업을 통과해 가장 안정적이었고, 이 시리즈의 기본 모델로 정했습니다. qwen3:4b는 think: false를 줘도 생각 과정을 출력해 응답이 가장 늦었고, gemma3:4b와 llama3.1:8b는 주문 금액 합계를 틀렸습니다.
이 글은 Windows 11 + WSL2 Ubuntu에서 Ollama를 설치하고 모델 4개를 측정한 결과입니다. 8GB를 넘는 모델(gemma3:12b, qwen3:14b, gpt-oss:20b 등)은 일부가 CPU로 넘어가므로 이번 비교에서 뺐습니다. 측정 코드의 핵심 부분과 채점 기준을 함께 싣습니다.
시작 전에: Ollama와 모델 파일은 무엇인가
Ollama는 공개된 AI 언어모델을 내 PC에 내려받아 실행하게 해 주는 무료 오픈소스 프로그램입니다. 하는 일은 세 가지입니다. ollama pull로 모델을 내려받고, ollama run으로 터미널에서 대화하고, http://localhost:11434에 API 서버를 띄워 다른 프로그램이 모델을 호출하게 합니다. Ollama Quickstart
처음 쓸 때 자주 묻는 것
| 질문 | 답 |
|---|---|
| 모델은 어디서 받나요? | Ollama 모델 라이브러리(ollama.com)에서 ollama pull 이름:태그로 받습니다. 모델을 만든 곳은 따로 있습니다. qwen3는 알리바바, gemma3는 구글, llama3.1은 메타가 공개한 모델이고, Ollama는 이를 PC에서 돌리기 좋게 압축한 버전을 제공합니다. |
| 모델 파일 안에는 무엇이 들어 있나요? | 학습이 끝난 결과인 가중치(파라미터) 숫자들입니다. qwen3:8b는 약 82억 개의 숫자를 4비트 수준으로 압축(Q4_K_M 양자화)해 5.2GB로 줄인 파일입니다. |
| 대화하면 모델이 더 학습하나요? | 아닙니다. 내 PC에서 하는 일은 저장된 가중치로 답을 계산하는 추론뿐이라 모델 파일은 바뀌지 않습니다. 이전 대화를 이어 가는 것도 프로그램이 대화 기록을 매번 다시 넣어 주기 때문입니다. |
| 모델이 오늘 날짜나 최신 정보를 아나요? | 모릅니다. 학습 데이터를 모은 시점까지만 알고, 시계나 인터넷에 접근하지 않습니다. 아래 터미널 대화에서도 qwen3:8b는 오늘 날짜를 알려 줄 수 없다고 답했습니다. |
| Claude Opus나 ChatGPT의 GPT도 이렇게 받을 수 있나요? | 없습니다. 같은 원리로 만든 모델이지만 가중치를 공개하지 않고 API나 서비스로만 제공합니다. 같은 회사가 공개용 모델을 따로 내기도 합니다. 구글은 Gemini와 별도로 Gemma를, OpenAI는 gpt-oss를 공개했습니다. |
| 공개 가중치 모델은 성능이 떨어지나요? | 공개 여부보다 크기 차이가 큽니다. 공개 모델 중에도 수백억 |
| 웹 화면에서 쓸 수 있나요? | Linux용 Ollama는 터미널 명령과 API만 제공합니다. 채팅 화면은 macOS·Windows용 Ollama 앱에 들어 있고, Linux에서는 Open WebUI 같은 별도 웹 화면을 API에 연결해 씁니다. |
측정 환경
측정은 개인 PC 한 대에서 했습니다. Ollama는 GPU를 쓰기 위해 WSL2의 Ubuntu에 설치했습니다. 이 시리즈는 이후 같은 PC의 로컬 쿠버네티스(kind) 위에 AI 도구를 올리는데, kind 노드 안으로는 GPU를 넘기기 어려워서 Ollama만 클러스터 밖에서 돌리는 구조입니다.
측정 PC
| 항목 | 값 |
|---|---|
| CPU | AMD Ryzen 5 3600X (6코어 12스레드) |
| 메모리 | 48GB (WSL2에 기본 할당된 23GB 사용) |
| GPU | NVIDIA GeForce RTX 3060 Ti, VRAM 8GB, 드라이버 610.88 |
| OS | Windows 11 Pro + WSL2 Ubuntu 24.04 |
| Ollama | 0.40.16 |
Ollama는 NVIDIA GPU의 경우 compute capability 5.0 이상과 드라이버 550 이상을 요구합니다. RTX 3060 Ti는 compute capability 8.6이라 조건을 충족합니다. Ollama GPU 지원
Ollama 설치와 GPU 인식 확인
Ollama Linux 버전은 공식 설치 명령 한 줄로 설치할 수 있고, 실행 파일 묶음을 직접 내려받아 원하는 폴더에 풀어 쓸 수도 있습니다. Ollama Linux 설치
curl -fsSL https://ollama.com/install.sh | sh이번 PC에서는 두 번째 방법으로 사용자 홈 폴더(~/.local/ollama)에 설치했습니다. GitHub 릴리스에서 받은 ollama-linux-amd64.tar.zst(약 1.5GB)의 SHA-256 값이 같은 릴리스의 sha256sum.txt와 일치하는지 먼저 확인하고 풀었습니다.
sha256sum ollama-linux-amd64.tar.zstmkdir -p ~/.local/ollama ~/.ollamatar xf ollama-linux-amd64.tar -C ~/.local/ollama~/.local/ollama/bin/ollama --versionnohup setsid ~/.local/ollama/bin/ollama serve > ~/.ollama/serve.log 2>&1 &.tar.zst는 zstd로 압축된 파일이라 풀려면 zstd가 필요합니다. 이번 PC의 Ubuntu에는 zstd 명령이 없어서, Windows 쪽 Node.js의 zstd 기능으로 .tar까지 푼 뒤 위처럼 tar로 풀었습니다. zstd가 있다면 tar --zstd -xf ollama-linux-amd64.tar.zst -C ~/.local/ollama 한 줄이면 됩니다. 이 방법은 서버를 서비스로 등록하지 않으므로, WSL을 다시 시작하면 마지막 줄의 ollama serve를 다시 실행해야 합니다.
서버가 뜨면 로그에서 GPU를 잡았는지 확인합니다. 이번 PC의 로그는 다음과 같았습니다(일부 필드 생략).
msg="inference compute" library=CUDA compute=8.6 description="NVIDIA GeForce RTX 3060 Ti" total="8.0 GiB" available="7.0 GiB"msg="vram-based default context" total_vram="8.0 GiB" default_num_ctx=40968GB 중 실제로 쓸 수 있는 양
VRAM은 8GB지만 Ollama가 본 여유 공간은 7.0GiB였습니다. Windows 화면 출력 등이 GPU 메모리를 먼저 쓰고 있기 때문입니다. 모델을 고를 때는 카드 용량이 아니라 이 여유 공간을 기준으로 봐야 합니다.
측정 모델과 라이선스
VRAM 7GB 안에 전부 올라가는 모델 4개를 골랐습니다. 받는 크기는 Ollama 모델 페이지 기준이고(2026년 11월 기준), 라이선스는 내려받은 뒤 ollama show 모델 --license의 첫 줄로 확인했습니다.
측정 모델
| 모델 | 받는 크기 | 라이선스 |
|---|---|---|
qwen3:4b |
2.5GB | Apache License 2.0 |
gemma3:4b |
3.4GB | Gemma Terms of Use |
llama3.1:8b |
4.9GB | Llama 3.1 Community License |
qwen3:8b |
5.2GB | Apache License 2.0 |
gemma3:12b(8.2GB), qwen3:14b(9.3GB), gpt-oss:20b(14GB)처럼 받는 크기가 8GB를 넘는 모델은 GPU에 다 올라가지 않고 나머지를 CPU와 시스템 메모리로 처리하므로 이번 비교에서 뺐습니다. Ollama 모델 페이지: qwen3
모델 받고 터미널에서 대화해 보기
모델은 이름과 태그로 받습니다. 이 글에서 쓴 4개는 다음과 같이 받았고, ollama list로 받은 목록을 확인했습니다.
ollama pull qwen3:8bollama pull qwen3:4bollama pull gemma3:4bollama pull llama3.1:8bollama listollama run으로 모델을 실행하면 터미널에서 바로 질문할 수 있습니다. 대화를 끝낼 때는 /bye를 입력합니다.
ollama run qwen3:8bqwen3:8b에 오늘 날짜와 대한민국 수도를 물어본 화면입니다. 답 앞에 Thinking...부터 ...done thinking.까지 영어로 된 생각 과정이 먼저 나오고, 그 뒤에 한국어 답이 나옵니다. 날짜 질문에는 실시간 정보에 접근할 수 없다고 답했습니다.

ollama run은 생각 기능이 있는 모델에서 생각 과정을 기본으로 출력합니다. 끄려면 --think=false를 붙이고, 생각은 하되 화면에만 숨기려면 --hidethinking을 붙입니다. 두 옵션 모두 이번 PC에서 qwen3:8b로 확인했습니다. --hidethinking은 생각 과정을 계산하는 시간은 그대로 듭니다.
ollama run qwen3:8b --think=false "대한민국 수도는 어디야? 한 문장으로"대한민국의 수도는 서울입니다.아래 측정에서는 API에 think: false를 넣어 같은 효과를 냈습니다.
측정 방법과 채점 기준
모델마다 같은 조건으로 /api/chat을 호출했습니다. 결과가 매번 달라지지 않도록 온도를 0으로, seed를 고정했고, 컨텍스트 길이는 Ollama가 이 GPU에 정한 기본값과 같은 4096으로 명시했습니다. 답이 끝없이 길어지지 않게 출력은 1,024토큰으로 제한했습니다. qwen3는 생각 모드를 끄도록 think: false를 넣었습니다.
{ "model": "qwen3:8b", "messages": [{"role": "user", "content": "..."}], "stream": false, "think": false, "options": {"temperature": 0, "seed": 42, "num_ctx": 4096, "num_predict": 1024}}작업은 새로 만든 가상 예시 4가지입니다. 모델을 올린 뒤 각 작업을 3번씩 실행했습니다.
작업과 채점 기준
| 작업 | 내용 | 통과 기준 |
|---|---|---|
| 요약 | 가상 결제 장애 보고서(약 600자)를 한국어 3줄로 요약 | 장애 시각·지속 시간, 커넥션 풀 고갈, 정산 배치의 트랜잭션 문제 3가지 포함 + 3줄 이하 |
| YAML 작성 | 조건 7개를 준 쿠버네티스 Deployment 작성 | kind·apiVersion, 이름·네임스페이스, 레플리카, 레이블, 이미지, 포트, 리소스 요청 7개 모두 일치 |
| JSON 추출 | 주문 문장에서 고객·품목·합계·도시를 JSON 스키마(format)로 추출 |
4개 값 일치(합계 정답 90,000원) |
| 일정 계산 | 작업 3개의 선후 관계와 점검 시간으로 종료 시각 계산 | 마지막 줄 정답: 10:50 |
YAML은 연결된 클러스터 없이 채점하려고 kubectl --dry-run 대신 PyYAML로 구조를 읽어 항목을 비교했습니다. 일부만 맞으면 ‘부분’으로 매겼습니다.
속도 지표는 Ollama 응답에 들어 있는 값으로 계산했습니다. 생성 속도는 eval_count를 eval_duration(나노초)으로 나눈 값이고, VRAM은 모델을 올리기 전후의 nvidia-smi 사용량 차이, GPU 비율은 /api/ps의 size_vram / size입니다. Ollama Generate API
결과 1: 속도·VRAM·로딩 시간
모델별 속도와 메모리 (컨텍스트 4096)
| 모델 | VRAM 증가 | GPU 비율 | 생성 속도(중앙값) | 로딩 시간 |
|---|---|---|---|---|
| qwen3:4b | 3,188MiB | 100% | 91 tok/s | 7.5~9.3초 |
| gemma3:4b | 3,740MiB | 100% | 81 tok/s | 10.5~14.9초 |
| llama3.1:8b | 5,200MiB | 100% | 66 tok/s | 17.7~23.7초 |
| qwen3:8b | 5,520MiB | 100% | 64 tok/s | 17.6~22.4초 |
4개 모두 GPU에 100% 올라갔습니다. 8B 모델도 VRAM을 5.25.5GB만 써서 여유 공간 7GB 안에 1.5GB 정도가 남습니다. 생성 속도는 모델 크기에 거의 반비례해, 4B는 초당 8191토큰, 8B는 64~66토큰이었습니다.
로딩 시간은 처음에 잘못 잴 뻔했습니다. 벤치마크 첫 호출에서는 qwen3:4b가 54.3초, gemma3:4b가 48.8초로 오히려 8B 모델(14.9초, 17.1초)보다 오래 걸렸습니다. 모델을 메모리에서 내렸다가 다시 올리는 측정을 모델당 2번 따로 하자 위 표처럼 크기 순서대로 일정해졌습니다. 내려받은 직후 처음 읽을 때의 디스크·초기화 비용이 섞인 값이라, 표에는 다시 잰 값을 넣었습니다.
로딩 시간이 중요한 이유
Ollama는 마지막 요청 후 기본 5분 동안 모델을 메모리에 두고, 그 뒤에는 내립니다. 5분 넘게 쉬었다가 호출하면 위 로딩 시간이 응답 시간에 더해집니다. 8B 모델은 약 20초입니다. Ollama FAQ
결과 2: 작업별 품질과 응답 시간
작업별 결과 (3회 결과가 같으면 한 번만 표기)
| 모델 | 요약 | YAML | JSON 추출 | 일정 계산 |
|---|---|---|---|---|
| qwen3:4b | 실패: 영어 생각 과정만 쓰다 1,024토큰에서 잘림 | 실패: 같은 이유 | 통과 | 3회 중 2회 통과 |
| gemma3:4b | 부분: 장애 시각·지속 시간 빠짐 | 부분: resources를 컨테이너 밖에 둠 |
부분: 합계 110,200원 | 통과 |
| llama3.1:8b | 부분: 장애 시각·지속 시간 빠짐 | 통과 | 부분: 합계 102,000원 | 통과 |
| qwen3:8b | 부분: 정산 배치·트랜잭션 빠짐 | 통과 | 통과 | 통과 |
작업별 응답 시간 (중앙값, 초)
| 모델 | 요약 | YAML | JSON | 일정 계산 |
|---|---|---|---|---|
| qwen3:4b | 10.8 (잘림) | 12.1 (잘림) | 1.3 | 8.4 |
| gemma3:4b | 1.2 | 1.9 | 1.9 | 2.6 |
| llama3.1:8b | 1.5 | 1.8 | 1.3 | 2.8 |
| qwen3:8b | 1.4 | 1.8 | 1.9 | 4.0 |
요약은 4개 모델 모두 핵심 사실 하나씩을 빠뜨렸습니다. 3줄이라는 제한 안에서 무엇을 남길지는 모델마다 달랐고, 장애 시각을 빼거나 근본 원인을 뺐습니다. 사람이 꼭 남겨야 할 항목이 있다면 프롬프트에 ‘시각, 원인, 조치를 포함’처럼 직접 적어 주는 편이 확실합니다.
gemma3:4b의 YAML은 문법은 맞았지만 resources가 컨테이너가 아닌 파드 spec 아래에 있었습니다. 이 위치는 Deployment 스키마에 없는 필드라, 리소스 요청이 컨테이너에 적용되지 않습니다. 문법 검사만으로는 이런 실수를 못 잡는다는 예입니다.
qwen3:4b가 가장 빠르면서 가장 늦었던 이유
qwen3:4b는 초당 생성 토큰이 가장 많았지만, 요약과 YAML에서 1,024토큰을 다 쓰고도 답을 끝내지 못했습니다. 출력을 열어 보니 think: false를 줬는데도 영어로 “Okay, let’s tackle this query…”처럼 생각 과정을 먼저 쓰고 있었습니다.
ollama show qwen3:4b의 결과에서 원인을 짐작할 수 있습니다. 같은 qwen3이라도 4b 태그는 컨텍스트 길이가 262144이고, 생각 기능의 기본값이 켜져 있습니다(출력 일부 생략).
ollama show qwen3:4b
Model architecture qwen3 parameters 4.0B context length 262144 quantization Q4_K_M
Capabilities completion tools thinking levels true default true같은 조건에서 qwen3:8b는 think: false가 들어서 바로 답했습니다. 같은 이름의 모델이라도 태그마다 동작이 다를 수 있으니, 도입 전에 짧은 답이 필요한 작업으로 한 번 확인해야 합니다.
JSON 추출만 통과한 것도 같은 이유로 설명됩니다. format에 JSON 스키마를 주면 출력이 스키마 형식으로 강제되어 생각 과정을 쓸 자리가 없습니다.
참고로 일정 계산을 think: true로 한 번 더 돌려 보니 qwen3:8b는 4.0초에서 22.8초로 늘었고 답은 같았습니다. 이 정도 계산에서는 생각 모드가 시간만 늘렸습니다.
금액 합계는 모델에 맡기지 않는다
JSON 추출에서 gemma3:4b와 llama3.1:8b는 고객 이름, 도시, 품목별 수량과 단가는 모두 정확히 뽑았지만 합계를 틀렸습니다. 정답은 키보드 2개 × 39,000원 + 마우스 패드 12,000원 = 90,000원인데, 각각 110,200원과 102,000원을 냈습니다.
스키마로 형식을 고정해도 값의 계산까지 맞춰 주지는 않습니다. 작은 모델에는 원문에 있는 값만 추출하게 하고, 합계처럼 계산이 필요한 값은 코드에서 구하는 편이 안전합니다.
order = json.loads(response["message"]["content"])total = sum(i["quantity"] * i["unit_price"] for i in order["items"])VRAM 8GB GPU에서 모델 고르기
이번 측정 기준 선택표
| 상황 | 추천 | 이유 |
|---|---|---|
| 설정 파일 작성, 정보 추출 등 정확성이 중요 | qwen3:8b | 4개 작업 중 3개 통과, 64 tok/s |
| 응답 속도가 더 중요하고 내용이 단순 | gemma3:4b | 81 tok/s, 계산·세부 위치 실수는 감안 |
| Llama 계열 생태계를 써야 함 | llama3.1:8b | YAML·일정 계산 통과, 합계 계산 실수 |
| 짧은 답이 필요한 일반 작업 | qwen3:4b는 피함 | 현재 태그는 생각 과정을 끌 수 없어 응답이 길고 늦음 |
이 시리즈는 다음 편부터 qwen3:8b를 기본 모델로 씁니다. 품질이 가장 안정적이었고, 라이선스가 Apache 2.0이라 예시로 쓰기에도 부담이 적습니다. VRAM이 5.5GB라 컨텍스트를 4096보다 크게 늘리면 여유 공간이 줄어든다는 점은 기억해 둡니다.
핵심 요약
| 항목 | 내용 |
|---|---|
| 환경 | RTX 3060 Ti 8GB, Ollama가 본 여유 VRAM은 7.0GiB |
| 적재 | qwen3:4b·gemma3:4b·llama3.1:8b·qwen3:8b 모두 GPU 100%, VRAM 3.2~5.5GB |
| 속도 | 4B 81 |
| 품질 | qwen3:8b가 YAML·JSON·일정 계산 통과로 가장 안정적 |
| 주의 | qwen3:4b는 think:false가 듣지 않음, 작은 모델의 금액 합계는 코드로 계산 |
자주 묻는 질문
RTX 3060 Ti 8GB에서 8B 모델을 돌릴 수 있나요?
이번 측정에서 llama3.1:8b와 qwen3:8b는 컨텍스트 4096 기준 VRAM 5.25.5GB를 쓰며 GPU에 전부 올라갔고, 초당 6466토큰을 생성했습니다.
생성 속도가 빠른 모델이 응답도 빠른가요?
아닙니다. qwen3:4b는 초당 91토큰으로 가장 빨랐지만 생각 과정까지 출력해 요약과 YAML에서 10초 넘게 걸리고도 답을 끝내지 못했습니다. 출력 토큰 수까지 함께 봐야 합니다.
모델을 처음 호출할 때 왜 오래 걸리나요?
모델 파일을 GPU 메모리에 올리는 로딩 시간이 더해지기 때문입니다. 이번 PC에서 8B 모델은 약 18~24초였고, 내려받은 직후 처음 읽을 때는 이보다 더 길었습니다.
Ollama 대화 화면에서 영어로 된 Thinking 문단이 먼저 나오는 이유는?
qwen3처럼 생각 기능이 있는 모델은 ollama run에서 생각 과정을 기본으로 보여 줍니다. ollama run 모델 —think=false로 끄거나 —hidethinking으로 화면에서만 숨길 수 있습니다.
작성 방식과 다음 편
이 글의 설치 명령, 로그, 측정값, 모델 출력은 모두 위 PC에서 직접 실행한 결과이고, 설치와 API 설명은 Ollama 공식 문서를 기준으로 했습니다. 측정 코드 작성과 결과 정리, 글 작성에 AI 도구를 함께 썼습니다. 다음 편에서는 로컬 쿠버네티스(kind) 안의 파드가 클러스터 밖에서 GPU로 도는 Ollama를 호출하도록 연결할 예정입니다.