개인 컴퓨터에 무료 LLM 구축하기
ChatGPT나 Claude 같은 AI를 매달 구독료 없이 내 컴퓨터에서 직접 돌릴 수 있을까? 결론부터 말하면 가능하다. VRAM 12~16GB급 그래픽카드가 달린 Windows PC라면, 오픈소스 실행 도구 Ollama와 구글의 오픈 모델 Gemma 4를 조합해 비용 0원으로 로컬 LLM을 구축할 수 있다. 이 글은 어떤 모델을 고를지부터 설치 명령어, 모델 저장 위치를 D드라이브로 옮길 때 흔히 빠지는 함정까지, 실제 설치 과정에서 부딪히는 순서 그대로 정리한 가이드다.
로컬에서 돌릴 수 있는 모델, 회사별 현황
주요 AI 3사의 입장은 뚜렷하게 갈린다. 구글이 가장 적극적이다. Gemma 시리즈가 로컬용 오픈 모델이고, 2026년 4월 출시된 Gemma 4가 최신이다. Apache 2.0 라이선스라 상업 사용·파인튜닝·재배포가 모두 자유롭고, E2B·E4B·26B(MoE)·31B 등 여러 크기에 더해 6월에는 16GB 메모리 환경을 노린 중간 크기 12B 모델이 추가됐다. 작은 E2B·E4B 모델은 온디바이스 음성 인식까지 지원한다.
오픈AI도 있다. 2025년 8월 공개된 gpt-oss(20b/120b)가 GPT-2 이후 처음 나온 오픈웨이트 언어 모델이다. 역시 Apache 2.0이고, 20b 버전은 16GB 메모리 기기에서 돌아가도록 설계됐다. 음성을 텍스트로 바꿔 주는 Whisper도 오픈소스라 자막·전사 작업을 로컬에서 무료로 처리할 수 있다. 반면 앤트로픽은 로컬 모델이 없다. Claude는 API와 클라우드 전용이라 가중치를 내려받아 실행할 수 없다. MCP 같은 오픈 표준을 공개하긴 하지만 그것은 도구 연결 프로토콜이지 모델이 아니다.
한 가지 미리 짚어 둘 경계선이 있다. 이들 로컬 모델은 전부 텍스트를 다루는 LLM이다. 음성 파일의 잡음 제거나 음질 보정처럼 오디오 자체를 손보는 작업은 LLM 학습으로 해결하는 영역이 아니라 DeepFilterNet 같은 전용 오디오 AI와 신호처리 도구의 영역이다. 로컬 LLM은 원고 작성, 요약, 코딩 보조 같은 텍스트 작업용으로 이해하면 된다.
12~16GB GPU에는 어떤 크기를 받을까
모델 크기를 결정하는 것은 GPU의 VRAM이다. Gemma 4 기준으로 선택지는 이렇게 정리된다.
| 태그 | 다운로드 용량 | 평가 |
gemma4:12b | 7.6GB | 추천. 256K 컨텍스트, 크기 대비 성능 우수 |
gemma4:e4b | 9.6GB | 기본 태그, 무난한 안전 선택 |
gemma4:26b | 18GB | 16GB VRAM에 안 들어감, 비추천 |
12~16GB GPU라면 gemma4:12b가 최적이다. 다운로드 7.6GB로 메모리 여유가 있고, 256K 컨텍스트라 긴 문서를 통째로 넣을 수 있다. 실행 시에는 컨텍스트 처리용 메모리가 추가로 들어가므로 다운로드 용량보다 넉넉하게 봐야 하지만 이 정도면 충분히 들어간다. 26b는 VRAM을 넘겨 CPU로 밀려나면서 속도가 급락하므로 무리해서 받을 이유가 없다. 참고로 12b는 오디오 입력(음성을 듣고 이해)은 지원하지만 음성을 생성하거나 보정하지는 못한다.
Windows에 Ollama 설치하기
WSL2 안에 설치하는 방법도 있지만, GPU 드라이버가 이미 Windows에 깔려 있으므로 Windows 네이티브 설치가 오히려 더 간단하다. 순서는 네 단계다.
- ollama.com/download 에서 Windows 설치 파일(
OllamaSetup.exe)을 받아 실행한다. 설치가 끝나면 백그라운드 서비스로 자동 실행되고 시스템 트레이에 아이콘이 생기며, PATH에도 자동 등록된다. - PowerShell을 열어
ollama --version으로 버전을 확인한다. Gemma 4는 v0.20.0 이상이 필요하다. ollama run gemma4:12b한 줄을 입력한다. 처음에는 7.6GB를 내려받은 뒤 바로 채팅 프롬프트로 들어간다. 종료는/bye.ollama ps로 모델이 GPU에 올라갔는지 확인한다. NVIDIA 카드라면 최신 드라이버만 깔려 있으면 되고 CUDA를 따로 설치할 필요는 없다. CPU로 표시되면 드라이버부터 점검한다.
모델 저장 위치를 D드라이브로 옮기기 — 흔한 함정 주의
모델은 기본적으로 C:\Users\사용자명\.ollama\models에 저장된다. 모델 하나가 8~20GB라 C드라이브가 부담되면 시스템 환경 변수 OLLAMA_MODELS를 만들어 값에 D:\Ollama\models 같은 경로를 지정하면 된다.
그런데 여기서 많은 사람이 "옮겼는데 파일이 아무것도 안 생긴다"는 문제를 겪는다. 원인은 두 가지 조건이 함께 맞아야 하기 때문이다.
- Ollama를 완전히 재시작해야 한다. 터미널 창을 닫는 것으로는 부족하다. Ollama는 백그라운드에서 계속 돌고 있으므로, 작업 표시줄 트레이에서 아이콘을 우클릭해 Quit Ollama로 종료한 뒤 다시 실행해야 새 경로를 읽는다.
- 모델을 새로 받아야 파일이 생긴다. 변수를 바꿨다고 기존 파일이 이동하지는 않는다.
ollama run gemma4:12b를 다시 실행해 새 경로에blobs와manifests폴더가 생기면 성공이다.
점검 순서는 이렇다. 먼저 새 PowerShell 창을 열어 echo $env:OLLAMA_MODELS로 변수가 적용됐는지 확인한다(기존 창은 옛 환경 값을 갖고 있다). 그다음 ollama list로 이미 받아 둔 모델이 있는지 본다. 목록이 비어 있다면 아직 아무것도 받지 않은 것이니 새 폴더가 비어 있는 게 당연하다. C드라이브에 이미 받아 둔 모델이 있다면 .ollama\models 안의 내용을 폴더 구조 그대로 D드라이브로 복사해도 되고, 무료이므로 그냥 다시 받아도 된다.
PowerShell 명령과 GUI 앱은 별개일까
설치하고 나면 터미널 명령어와 트레이의 채팅 앱이 서로 다른 프로그램처럼 보이는데, 별개가 아니다. 둘 다 같은 엔진을 조작하는 서로 다른 창구다. Ollama를 설치하는 순간 백그라운드에 서버(엔진)가 하나 뜨는데 이것이 진짜 본체다. 모델을 메모리에 올리고 추론을 돌리는 것도, localhost:11434로 API를 제공하는 것도, OLLAMA_MODELS 경로를 읽는 것도 전부 이 서버다.
그래서 PowerShell로 받은 모델이 GUI 앱에도 그대로 보이고, 반대도 마찬가지다. 모델이 두 벌로 깔리는 일은 없다. 저장 경로를 바꿨을 때 창(터미널이나 GUI)을 새로 여는 것으로는 부족하고 엔진 자체를 재시작해야 하는 이유도 여기에 있다.
비용 정리
Gemma 4는 Apache 2.0 라이선스라 다운로드와 사용 모두 무료이고, Ollama도 오픈소스 무료다. API 키나 클라우드 연결이 필요 없으며 호출 횟수와 상관없이 과금이 0원이다. 실제로 드는 비용은 추론 중 GPU 전기요금 정도로, 시간당 몇십 원 수준이다. 클라우드 API처럼 쓸수록 요금이 쌓이는 구조가 아니라는 점이 로컬 LLM의 가장 큰 매력이다.
정리
요약하면 이렇다. 설치 파일 실행 후 터미널에서 ollama run gemma4:12b 한 줄이면 끝이고, 비용은 0원이다. 저장 위치를 옮길 때는 트레이에서 완전 종료 후 재실행하는 것만 잊지 않으면 된다. 다음 글에서는 이렇게 설치한 로컬 LLM을 클라우드 AI와 어떻게 역할 분담해서 활용하는지, 그리고 파인튜닝까지 다룬다.
이 시리즈의 다른 글: 로컬 LLM 제대로 활용하는 법 — 클라우드 AI와 역할 분담, RAG와 파인튜닝까지
※ 모델 버전·용량·명령어는 2026년 기준이며 변경될 수 있습니다.
댓글
댓글 쓰기