| Ollama | |
| | |
| <colbgcolor=#000,#fff><colcolor=#fff,#000> 개발 | Ollama |
| 분류 | LLM 실행 도구, 로컬 생성형 인공지능 플랫폼 |
| 출시일 | 2023년 |
| 서비스 | 부분적 유료[1] |
| 운영체제 | macOS | Linux | Microsoft Windows |
| 지원 모델 | Gemma, Qwen, DeepSeek 등 대부분 오픈소스 모델[2] |
| 인터페이스 | CLI | REST API | 데스크톱 앱 |
| 링크 | |
1. 개요
Ollama는 대형 언어 모델을 개인 컴퓨터나 서버에서 쉽게 실행할 수 있도록 만든 로컬 LLM 실행 도구이다. 오픈소스로 개발되었으며, macOS, Linux, Windows 에서 지원되고 터미널 명령어 하나로 모델을 다운로드하고 실행할 수 있다. 클라우드 API 키 없이도 프라이버시를 유지하면서 LLM 을 활용할 수 있는 것이 특징이다.2. 설치
2.1. macOS/Linux
터미널에서 다음 명령어로 설치한다.| curl -fsSL https://ollama.com/install.sh | sh |
2.2. Windows
공식 웹사이트 (https://ollama.com/download) 에서 설치 프로그램을 다운로드하거나, winget 을 사용하여 설치한다.| winget install Ollama.Ollama |
3. 사용방법
3.1. 1. 모델 다운로드 및 실행
Ollama 라이브러리 (https://ollama.com/library) 에서 원하는 모델을 조회한 후, 다음 명령어로 다운로드하고 실행한다.| ollama run llama3.2 |
3.2. 2. GGUF 파일에서 모델 가져오기
직접 GGUF 파일을 준비한 경우, Modelfile을 만들어 모델을 임포트할 수 있다.| FROM /path/to/your/model.gguf |
| ollama create mymodel -f Modelfile ollama run mymodel |
3.3. 3. 커스텀 모델 생성 (Modelfile)
Modelfile 을 사용하여 시스템 프롬프트, 파라미터, 템플릿 등을 지정한 커스텀 모델을 만들 수 있다.| FROM llama3.2 SYSTEM "You are a code review expert" PARAMETER temperature 0.3 PARAMETER top_p 0.9 ollama create my-coder -f Modelfile ollama run my-coder |
3.4. 4. 모델 관리 명령어
ollama list: 로컬에 설치된 모델 목록 조회ollama pull : 모델 다운로드 (실행 없이)
ollama rm : 모델 삭제
ollama show : 모델 정보 확인
3.5. 5. API 및 프로그래밍 연동
Ollama 는 로컬 HTTP 서버 (기본: http://localhost:11434) 를 실행하여 REST API 를 제공한다. Python 의 경우 ollama 패키지를 설치하여 연동할 수 있다.| pip install ollama |
| import ollama response = ollama.chat(model='llama3.2', messages=[{'role': 'user', 'content': 'Hello!'}]) print(response['message']['content']) |
4. 주요 기능
로컬 실행: 모든 추론이 사용자 기기에서 이루어져 데이터 프라이버시 보장다양한 모델 지원: Llama, Mistral, Gemma, Phi 등 주요 오픈소스 LLM 지원
GGUF 포맷: 양자화된 GGUF 모델을 효율적으로 실행
Modelfile: Dockerfile 유사한 선언적 구성 파일로 커스텀 모델 패키징
Docker 연동: Docker Model Runner 및 Docker Desktop 통합 지원
5. 최소 요구 사양
- RAM: 모델 크기에 따라 상이 (7B 모델 기준 8 GB 이상 권장)
- 저장공간: 모델 파일 크기 (4~20 GB 이상)
- GPU: 선택 사항 (NVIDIA CUDA 또는 Apple Silicon 가속 지원)