本地运行“小型”大模型，配合笔记应用王者Obsidian做知识管理

Ollama简介 安装 运行

大家好，我是章北海

之前简单介绍过在计算机本地运行开源大语言模型（LLM）的工具——Ollama 。它支持macOS、Linux、Windows 安装客户端：

https://ollama.com/download

Olamma + 通义千问

Olamma支持几乎市面上所有的开源大模型，这里就不完全列名了。Olamma支持大模型列表： https://ollama.com/library

如果想先测试一下，可以试试咱们国产大模型通义千问的0.5B版本，2G内存就能跑起来

简介： https://ollama.com/library/qwen

Qwen是阿里云推出的一系列基于Transformer的大型语言模型，在大量数据上进行预训练，包括网络文本、书籍、代码等。

• 人类对聊天模型的偏好显着提高性能
• 基础模型和聊天模型的多语言支持
• 稳定支持所有尺寸模型的32K上下文长度

它有 6 种型号尺寸，包括 0.5B、1.8B、4B（默认）、7B、14B 和 72B - ollama run qwen:0.5b - ollama run qwen:1.8b - ollama run qwen:4b - ollama run qwen:7b - ollama run qwen:14b - ollama run qwen:72b

其他特性：

• 低成本部署 ：推理最低内存需求小于2GB。