최종 업데이트: 2026-10-19
로컬 LLM을 내 컴퓨터에 무료로 설치할 수 있나요?
설치할 수 있어요. 로컬 LLM(Local LLM)을 가장 쉽게 돌리는 방법은 올라마(Ollama)를 설치하고 ollama run 모델이름 명령어 한 줄로 모델을 받는 거예요. 프로그램과 모델 모두 무료이고, 모델을 받은 뒤에는 인터넷 없이 내 PC 안에서 대화할 수 있어요.
명령어가 낯설다면 클릭 위주의 LM 스튜디오(LM Studio)도 있어요. 어느 쪽이든 핵심은 내 컴퓨터 메모리(RAM)에 맞는 크기의 모델을 고르는 거예요. 아래 내용은 Ollama·LM Studio 공식 문서와 다운로드 페이지(2026-10-19 확인) 기준이에요.
로컬 LLM은 챗GPT·클로드와 무엇이 다른가요?
로컬 LLM은 AI 모델 파일을 내 컴퓨터에 내려받아 직접 실행하는 방식이에요. 챗GPT(ChatGPT)·클로드(Claude) 같은 클라우드 AI는 회사 서버에서 돌아가요.
| 구분 | 로컬 LLM (Ollama 등) | 클라우드 AI (챗GPT·클로드) |
|---|---|---|
| 비용 | 무료 (전기료만) | 무료 버전 + 월 구독 |
| 인터넷 | 모델 다운로드 후 불필요 | 항상 필요 |
| 개인정보 | 대화가 내 PC 밖으로 나가지 않음 | 회사 서버로 전송 |
| 성능 | 내 PC 사양에 따라 다름 | 최상위 모델 바로 사용 |
| 사용량 한도 | 없음 | 요금제별 한도 있음 |
회사 문서 요약처럼 외부로 보내기 싫은 작업, 한도 걱정 없이 반복해서 돌리는 작업에 특히 잘 맞아요. 클라우드 AI의 한도가 궁금하다면 AI 구독 사용량 한도 비교를 참고하세요.
Ollama와 LM Studio 중 무엇을 설치해야 하나요?
| 구분 | Ollama (올라마) | LM Studio (LM 스튜디오) |
|---|---|---|
| 가격 | 로컬 실행 무료, 오픈소스(MIT 라이선스) | Free 요금제 0원으로 로컬 실행 |
| 사용 방식 | 앱 + 터미널 명령어 | 클릭 위주 화면 |
| 최신 버전 | v0.40.6 (2026-10-16 배포) | 0.4.26 |
| 윈도우 조건 | 윈도우 10 22H2 이상, 설치 용량 4GB 이상 | AVX2 지원 CPU, RAM 16GB 권장 |
| 맥 조건 | macOS 14(Sonoma) 이상 | 애플 실리콘(M1~M4), macOS 14 이상 |
| 추천 대상 | 다른 프로그램·클로드코드에 연결할 사람 | 명령어가 낯선 초보 |
두 서비스 모두 유료 요금제가 있지만, 클라우드 모델을 빌려 쓸 때만 비용이 들어요. Ollama Pro와 LM Studio Bionic+는 각각 월 20달러이고, 내 PC에서만 실행한다면 결제할 필요가 없어요. 이 글은 검색량이 많고 연동이 쉬운 Ollama 기준으로 설명해요.
Ollama 설치 방법은? (3단계)
- 설치: ollama.com/download 에서 운영체제를 고르고 설치 파일을 받아요. 윈도우는 OllamaSetup.exe, 맥은 Ollama.dmg예요. 윈도우는 관리자 권한 없이 사용자 폴더에 설치돼요.
- 모델 받고 실행: 명령 프롬프트나 파워셸을 열고
ollama run gemma4를 입력해요. 첫 실행 때 모델 파일을 내려받느라 시간이 걸려요. - 대화:
>>>표시가 뜨면 챗GPT처럼 질문하면 돼요. 종료는/bye예요.
복사해서 쓸 수 있는 명령어예요. 설치 파일로 설치했다면 첫 줄은 건너뛰고 ollama run부터 실행하면 돼요.
# 윈도우 설치 (PowerShell)
irm https://ollama.com/install.ps1 | iex
# macOS·리눅스 설치 (터미널)
curl -fsSL https://ollama.com/install.sh | sh
# 모델 실행 (첫 실행 시 자동 다운로드)
ollama run gemma4
# 받은 모델 목록 보기
ollama list내 PC 사양에는 어떤 모델이 맞나요?
| PC 메모리 | 추천 모델 (명령어) | 파일 크기 | 특징 |
|---|---|---|---|
| 8GB 노트북 | ollama run exaone3.5:2.4b |
1.6GB | LG AI연구원 EXAONE 3.5, 한국어·영어 특화 |
| 16GB 일반 PC | ollama run gemma4 |
6.6~9.5GB | 구글 Gemma 4 기본(e4b), 이미지 입력 지원 |
| 16GB + 그래픽카드 | ollama run gemma4:12b |
7.7~8.0GB | 최대 256K 긴 문맥 처리 |
| 32GB 이상 | ollama run gemma4:26b |
16~19GB | 유료 AI에 가까운 품질을 노릴 때 |
파일 크기는 Ollama 공식 모델 페이지 표기예요. 메모리 구간은 “모델 파일 크기 + 운영체제 여유분”으로 잡은 경험칙이라 절대 기준은 아니에요. 응답이 느리면 한 단계 작은 모델로 내려가면 돼요.
저도 9월에 유튜브 리뷰 수집기를 집 PC에서 돌릴 때 Ollama에 EXAONE 3.5를 올려 감성분석에 썼어요. 점수 매기기와 한 줄 요약 정도는 작은 모델로도 충분했어요.
Ollama가 안 될 때는 어떻게 하나요?
- ‘ollama’은(는) 내부 또는 외부 명령이 아닙니다
원인: 설치 전에 열어 둔 터미널은 새 경로(PATH)를 읽지 못해요.
해결: 명령 프롬프트나 PowerShell 창을 새로 열어요. - 진행 표시가 네모(□)로 깨짐
원인: 윈도우 10 구형 터미널 글꼴이 유니코드 문자를 표시하지 못해요.
해결: 공식 문서 안내대로 터미널 글꼴 설정을 바꿔요. - C드라이브 용량 부족
원인: 모델은 기본으로 사용자 폴더의.ollama에 저장돼요.
해결: 사용자 환경 변수OLLAMA_MODELS에 다른 드라이브 경로를 지정하고 Ollama를 다시 실행해요. - 답변이 너무 느림
원인: 모델이 메모리보다 커서 그래요.
해결: 위 표에서 한 단계 작은 모델로 바꿔요. NVIDIA 그래픽카드는 드라이버 551.61 이상이어야 GPU 가속이 돼요.
로컬 LLM의 단점은 무엇인가요?
- 내 PC에서 돌릴 수 있는 크기의 모델은 최신 챗GPT·클로드보다 성능이 낮아요.
- 모델 하나가 수 GB라 여러 개 받으면 저장공간이 빠르게 줄어요.
- 노트북에서 큰 모델을 돌리면 팬 소음과 배터리 소모가 커요.
- 모델마다 라이선스가 달라서, 상업적으로 쓸 때는 모델 페이지의 라이선스를 확인해야 해요.
그래서 “중요한 일은 클라우드 AI, 반복 작업·민감한 자료는 로컬 LLM”으로 나눠 쓰는 걸 추천해요. 무료 클라우드 대안이 궁금하다면 딥시크 무료 사용법, AI를 처음 고른다면 AI 입문 가이드 2026도 함께 보세요.
로컬 LLM이 맞는 사람과 안 맞는 사람
| 잘 맞는 사람 | 안 맞는 사람 |
|---|---|
| 회사·개인 자료를 외부로 보내기 싫은 사람 | RAM 8GB 미만 구형 PC 사용자 |
| AI 구독료·사용량 한도가 부담인 사람 | 최고 성능 답변이 꼭 필요한 사람 |
| 요약·번역·분류를 대량으로 돌릴 사람 | 설치 없이 휴대폰으로만 쓰려는 사람 |
자주 묻는 질문
로컬 LLM은 정말 무료인가요?
네, 무료예요. Ollama와 LM Studio 모두 내 PC에서 모델을 실행하는 건 0원이고, 비용은 클라우드 모델을 빌려 쓰는 유료 요금제에서만 발생해요.
그래픽카드 없이도 로컬 LLM을 쓸 수 있나요?
쓸 수 있어요. 그래픽카드가 없으면 CPU로 실행돼 느려질 뿐이에요. 이럴 땐 exaone3.5:2.4b 같은 작은 모델부터 시작하세요.
로컬 LLM도 한국어를 잘하나요?
모델마다 달라요. EXAONE 3.5는 LG AI연구원이 한국어·영어용으로 만든 모델이고, Gemma 4도 한국어 질문에 답해요. 몇 개를 직접 받아 비교하는 게 가장 정확해요.
인터넷 없이도 쓸 수 있나요?
쓸 수 있어요. 모델을 한 번 내려받은 뒤에는 오프라인으로 대화할 수 있고, 인터넷은 설치와 모델 다운로드 때만 필요해요.
맥북에서도 Ollama가 되나요?
돼요. macOS 14(Sonoma) 이상이 필요하고, M 시리즈 맥은 GPU 가속까지 써요. 인텔 맥은 CPU로만 실행돼요.
출처
- Ollama 공식 GitHub 저장소·README (MIT 라이선스, v0.40.6, 2026-10-19 확인)
- Ollama Windows 문서 · macOS 문서 (2026-10-19 확인)
- Ollama 모델 라이브러리 gemma4 · exaone3.5 (2026-10-19 확인)
- Ollama 요금제 (2026-10-19 확인)
- LM Studio 시스템 요구사항 · 요금제 (2026-10-19 확인)
- 디시인사이드 AI 활용 갤러리, [뉴비가이드] 로컬 LLM에 대한 모든 것 (2026-10-18)
Leave a Reply