如果比较复杂的应用,还是用大厂的接口比较合适,起码服务有保障,Ollama适合开发阶段或者小应用//
@不服输的胖兔子
:开源模型太吃显卡内存,最少24G显存起步,还不能太多人访问,我感觉服务器成本一般人玩不起,能给几十人用都了不得了。我也喜欢开源模型,只能自己用。
开源且免费的开发技术栈:
- LLM:Llama 3 和 Qwen 2.5 等开源模型与 Claude 和 GPT 在许多基准测试中的表现相匹配,并具有更多的数据隐私保障。
- 嵌入Embedding:JinaAI、BAAI 和 Nomic 等现代嵌入模型可帮助开发人员实现精准搜索和 RAG,而无需按Token付费或依赖第三方 API。
- 模型访问和部署: Ollama使开发人员只需一个命令即可访问和部署数十种最先进的开源模型。
- LLM:Llama 3 和 Qwen 2.5 等开源模型与 Claude 和 GPT 在许多基准测试中的表现相匹配,并具有更多的数据隐私保障。
- 嵌入Embedding:JinaAI、BAAI 和 Nomic 等现代嵌入模型可帮助开发人员实现精准搜索和 RAG,而无需按Token付费或依赖第三方 API。
- 模型访问和部署: Ollama使开发人员只需一个命令即可访问和部署数十种最先进的开源模型。