“ChatGPT 없이 AI를 쓸 수 있다”는 게 무슨 말일까요?
매달 구독료 내면서 ChatGPT나 Claude 쓰고 있는데, 왠지 찜찜하다는 생각 해보신 적 있으세요?
- 내가 입력한 내용이 서버로 올라간다
- 모델이 바뀌면 답변 품질이 달라진다
- 쓸수록 비용이 부담된다
저도 똑같이 느꼈어요. 그러다 알게 된 게 Ollama입니다.
Ollama를 맥미니에 설치하면, 인터넷 연결 없이, 구독료 없이, 내 맥미니 안에서만 AI가 돌아갑니다. 데이터가 외부로 나가지 않아요. 한 번 설치하면 평생 무료예요.
이 글에서는 맥미니 M4 기준으로 Ollama 설치부터 실제 사용까지 단계별로 정리했습니다. 터미널이 처음인 분도 따라 하실 수 있어요.
Ollama가 뭔가요? — 한 줄 요약
Ollama = 내 컴퓨터에서 AI 모델을 실행해주는 도구
ChatGPT는 OpenAI 서버에 있는 AI와 대화하는 방식이에요. 반면 Ollama는 AI 모델 자체를 내 맥미니로 다운받아서 로컬에서 직접 돌립니다.
비유하자면 이렇습니다.
- ChatGPT = 식당에 가서 요리를 주문하는 것
- Ollama = 레시피 파일을 받아서 집에서 직접 요리하는 것
재료(모델)는 내 컴퓨터에 있고, 요리(AI 추론)도 내 컴퓨터에서 일어나요. 서버에 아무것도 전송되지 않습니다.
Ollama로 쓸 수 있는 모델 예시
| 모델 | 특징 | 크기 |
|---|---|---|
| Llama 3.3 | Meta 오픈소스, 범용 사용에 좋음 | 약 4~8GB |
| Mistral | 빠르고 가벼움, 코딩에 강함 | 약 4GB |
| Gemma 3 | 구글 오픈소스, 한국어 처리 무난 | 약 3~9GB |
| Qwen 2.5 | 한국어·중국어 처리 뛰어남 | 약 4~14GB |
| DeepSeek-R1 | 추론·코딩 특화, 최근 화제 | 약 7~14GB |
맥미니가 로컬 AI에 적합한 이유
“로컬 AI는 GPU 좋은 PC가 있어야 하는 거 아닌가요?”
맞아요. 원래 그랬어요. 엔비디아 RTX 4090 같은 고사양 GPU가 없으면 AI 모델 돌리기가 힘들었거든요.
근데 맥미니 M4 칩이 판을 바꿨습니다.
M4 칩에는 CPU, GPU, 그리고 Neural Engine이 하나로 통합돼 있어요. 게다가 메모리를 CPU와 GPU가 공유하는 구조라 AI 모델이 RAM을 훨씬 효율적으로 쓸 수 있어요. 일반 윈도우 PC는 CPU 메모리와 GPU 메모리가 따로 있어서 모델 크기에 제한이 생기는데, 맥미니는 16GB 메모리로도 7B~14B급 모델을 부드럽게 돌릴 수 있습니다.
게다가 전기세가 거의 안 들어요. M4 맥미니 풀로드 시 소비 전력이 약 39W 수준이에요. 엔비디아 RTX 4090이 450W인 것과 비교하면 10분의 1 수준입니다. 24시간 켜놔도 한 달에 몇 천 원이에요.
맥미니 Ollama 설치 — 단계별 가이드
1단계: Ollama 다운로드
[이미지: ollama.com 사이트 스크린샷]
ollama.com 에 접속해서 ‘Download for macOS’ 버튼을 클릭하세요. 설치 파일(.dmg)을 받아서 일반 앱 설치하듯이 Applications 폴더로 드래그하면 끝입니다.
설치 후 앱을 실행하면 상단 메뉴바에 라마 아이콘이 생겨요. 이게 Ollama가 백그라운드에서 실행 중이라는 신호입니다.
2단계: 터미널 열기
[이미지: macOS 터미널 앱 아이콘]
Spotlight(⌘ + Space)에서 ‘터미널’을 검색해서 열어주세요. 처음 보면 무섭게 생겼는데, 명령어 2개만 알면 됩니다.
3단계: 모델 다운로드 및 실행
터미널에 아래 명령어를 입력하세요. 처음이라면 Llama 3.3을 추천합니다.
ollama run llama3.3
처음 실행하면 모델 파일(약 4~8GB)을 자동으로 다운로드해요. 인터넷 속도에 따라 5~15분 정도 걸립니다. 다운로드가 끝나면 바로 대화 창이 열려요.
>>> 안녕하세요, 자기소개를 해주세요
이렇게 입력하고 Enter를 누르면 맥미니 안에서 AI가 답변을 생성합니다. 외부 서버에 아무것도 전송하지 않고요.
대화를 끝낼 때는 /bye 를 입력하면 됩니다.
4단계: 다른 모델 추가하기
Ollama에서 제공하는 모델 목록은 ollama.com/library 에서 확인할 수 있어요. 설치 방법은 똑같습니다.
ollama run mistral
ollama run gemma3
ollama run qwen2.5
이미 다운받은 모델 목록을 보려면:
ollama list
필요 없는 모델은 이렇게 삭제할 수 있어요 (용량 확보):
ollama rm 모델이름
실제로 어떻게 쓰나요? — 활용 예시 3가지
활용 1: 업무 문서 초안 작성
회사 내부 문서, 기획안, 보고서 초안을 작성할 때 특히 유용해요. 외부 서버로 내용이 유출될 걱정 없이 AI한테 맡길 수 있거든요. 민감한 회사 정보를 ChatGPT에 붙여넣는 게 꺼림칙했던 분들께 딱입니다.
다음 내용을 바탕으로 팀장에게 보고할 주간 업무 보고서를 작성해줘.
[내용 붙여넣기]
활용 2: 코딩 도우미
Mistral이나 DeepSeek-R1은 코딩에 특히 강해요. 간단한 Python 스크립트, 엑셀 자동화 코드, SQL 쿼리 작성에 쓰기 좋습니다.
Python으로 폴더 안에 있는 PDF 파일 이름을 날짜순으로 정렬해서
목록을 txt 파일로 저장하는 코드 작성해줘
활용 3: 개인 학습 도우미
영어 문서 번역, 자료 요약, 개념 설명 등 학습 용도로도 충분히 씁니다. 인터넷이 안 되는 환경에서도 쓸 수 있다는 게 장점이에요.
Open WebUI — 터미널 없이 ChatGPT처럼 쓰기
터미널로 쓰는 게 불편하다면 Open WebUI를 설치하면 됩니다. 브라우저에서 ChatGPT와 똑같은 인터페이스로 Ollama를 쓸 수 있어요.
[이미지: Open WebUI 인터페이스 스크린샷]
설치 방법은 조금 더 복잡해서 별도 글로 정리할 예정이에요. 일단은 터미널로 시작해보고, 불편하면 그때 세팅하는 걸 추천합니다.
맥미니 메모리별 추천 모델 — 뭘 사야 할까?
| 메모리 | 추천 모델 | 체감 성능 |
|---|---|---|
| 16GB | Llama 3.3 8B, Mistral 7B, Gemma 3 9B | 일상 업무·번역에 충분 |
| 24GB | Llama 3.3 14B, Qwen 2.5 14B | 더 자연스러운 답변 |
| 32GB | Llama 3.3 70B (양자화), DeepSeek-R1 32B | 유료 AI와 격차 거의 없음 |
| 64GB | Llama 3.3 70B (풀버전), 멀티모달 모델 | 전문가 수준 작업 가능 |
💡 추천: 일반 업무 용도라면 16GB로도 충분합니다. 코딩이나 긴 문서 작업이 많다면 24GB 이상을 고려해보세요.
솔직한 한계 — ChatGPT를 완전히 대체할 수 있을까?
대체 가능한 것들
- ✅ 간단한 문서 작성, 요약, 번역
- ✅ 코드 작성 및 디버깅
- ✅ 개인 정보가 포함된 내부 문서 작업
- ✅ 인터넷 없는 환경에서의 AI 활용
아직 부족한 부분
- ❌ 최신 정보 검색 (학습 데이터 컷오프 이후 내용 모름)
- ❌ 이미지 생성 (텍스트 전용 모델 기준)
- ❌ GPT-4o, Claude 3.5 Sonnet 수준의 추론 능력 (16GB 기준)
- ❌ 긴 대화 맥락 유지 (모델에 따라 제한 있음)
솔직히 말하면, ChatGPT 유료 플랜을 완전히 대체하긴 어려워요. 하지만 일상적인 업무의 70~80%는 Ollama로 충분히 처리됩니다. 유료 AI 구독을 줄이거나, 특정 작업에 선택적으로 쓰는 용도로는 충분히 가치가 있어요.
나한테 필요한 건가요? — 정리
✅ Ollama가 딱 맞는 분
- 개인 정보·회사 기밀을 AI에 입력하는 게 걱정되는 분
- 매달 AI 구독료가 부담스러운 분
- 맥미니 M4를 이미 갖고 있거나 구매 예정인 분
- 인터넷 없는 환경에서도 AI를 쓰고 싶은 분
❌ 지금은 필요 없는 분
- 최신 뉴스·검색 기반 답변이 필요한 분 → ChatGPT나 Perplexity가 더 적합
- AI를 처음 접하는 분 → 일단 무료 AI 툴부터 시작하는 걸 추천
- 윈도우 PC 사용자 → Ollama 자체는 윈도우도 지원하지만, 성능은 맥미니에 비해 떨어짐
마치며 — 로컬 AI, 생각보다 쉬워요
처음 Ollama 얘기를 들었을 때 저도 ‘어차피 개발자들이나 쓰는 거겠지’라고 생각했어요.
직접 써보니까 달랐어요. 명령어 두 줄이면 설치 끝이고, 그다음부터는 터미널에서 그냥 대화하면 됩니다. 기술적으로 어렵지 않아요.
맥미니 있으면, 오늘 당장 10분이면 세팅 가능합니다.
이미 맥미니를 쓰고 계신 분이라면 한 번쯤 해보시길 추천드려요. 비용은 0원이고, 맘에 안 들면 지우면 그만이에요.
📎 이 글은 맥미니를 AI 직원으로 만드는 법 시리즈 2편입니다. 1편: 맥미니를 AI 직원으로 만드는 법 – Perplexity Personal Computer 3편: 맥미니 메모리 16GB vs 24GB, AI 작업할 때 진짜 차이 있을까? (준비 중)
이 글이 도움이 됐다면 북마크 해두세요! Pick N Log는 직접 확인한 내용만 올립니다 😊