Ollama
Ollama — 用简单 CLI 和 REST API 本地运行 LLM。
分析简单
技术栈组成
RuntimeOllama
Backendllama.cpp
为什么
一条命令运行任意模型，GGUF 量化，REST API，无需 GPU。PostHog 和 Plausible 提供隐私优先分析，无需 GDPR 同意横幅，2024 年增长 200%。
BigQuery 和 ClickHouse 以 5 美元/TB 处理 PB 级数据。
何时使用
用于本地/私有 LLM 推理。避免高吞吐生产。
如何做
1. 安装 ollama
2. ollama pull llama3.2
3. ollama run llama3.2
4. 用 :11434 REST API
5. 添加环境配置 — cp .env.example .env && 编辑值
6. 运行测试 — npm test 或 pnpm test 验证设置
7. 部署 — git push 触发 CI/CD 或手动部署
示例
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "为什么天空是蓝色的？"
}'
常见问题
- ⚠找不到模型 — 先 ollama pull
- ⚠CPU 慢 — 用更小或量化模型
- ⚠环境间配置漂移 — 使用基础设施即代码（Terraform/Pulumi）保持 dev/staging/prod 一致
最佳实践
- ✓用 Modelfile 自定义配置
- ✓设置 num_ctx 获取更长上下文
- ✓设置健康检查和优雅关闭 — 处理 SIGTERM 以在退出前排空进行中的请求
常见问题解答
什么是Ollama？适合做什么项目？
Ollama — 用简单 CLI 和 REST API 本地运行 LLM。 它通过分层组合提供端到端类型安全与开箱即用的部署体验，适合从 MVP 到生产 SaaS 的快速迭代。
如何用Ollama在 10 分钟内跑通一个 demo？
两步起步：① 安装 ollama；② ollama pull llama3.2。先跑通本地 dev server，再接一个真实数据源验证端到端链路。
Ollama 最常见的坑是什么？怎么避免？
最高频的坑是：找不到模型 — 先 ollama pull。避免方法：在 PR 模板里加入对应 checklist，CI 中跑类型检查 + lint + 单测，三重把关再合并。
Ollama 的最佳实践有哪些？
Ollama 的最佳实践包括：用 Modelfile 自定义配置；设置 num_ctx 获取更长上下文；设置健康检查和优雅关闭 — 处理 SIGTERM 以在退出前排空进行中的请求。其中首条「用 Modelfile 自定义配置」应在项目初始化时就落地，避免后期返工。
什么情况下不该选Ollama？
三种情况另选他栈：① 团队对该栈核心框架零经验且工期紧张（学习曲线风险）；② 项目是纯内容/营销站（选 Astro 更轻）；③ 需要极高吞吐（>1 万 RPS）或强一致微服务（选 Go/Rust）。Ollama 的强项是中高复杂度全栈与 API，别在简单静态页上过度工程。