专栏名称: 见实
在社交社群生态(尤其是小程序赛道)上,将散乱的案例和数据,串联成有体系的知识
目录
相关文章推荐
新浪科技  ·  #哪吒2授权费升至900万元#【一吒仍难求! ... ·  2 天前  
钛媒体  ·  租个二手宇树机器人,有人赚翻了 ·  3 天前  
新浪科技  ·  【#美的被曝强制18点20下班#】据自媒体“ ... ·  3 天前  
51好读  ›  专栏  ›  见实

近2个月实测后,我们找到了DeepSeek本地部署最优解

见实  · 公众号  · 科技媒体  · 2025-03-09 09:50

正文

图片

定了!2025开年大会20+4位嘉宾,聊五大增长方式

图片
AI的快速进化正以双重姿态重塑职场:一方面,传统生产方式被加速瓦解;另一方面,全新的职业机遇喷涌而出。
越来越多的求职者将AI技能列为职业转型首选,而这一趋势仍在持续升温。前者已被讨论太多, 本文则聚焦如何转型AI这一方向
资深的IT技术专家张子良直言:“ 零代码部署、知识库构建与提示词工程,已成为跨入AI领域的三项基础技能 。”张子良自DeepSeek发布首日便投身技术实测,累计完成10多家企业级部署验证。
本文基于与张子良的深度对话, 系统梳理了 DeepSeek 本地部署的技术路径与成本结构 ,并详解应对AI幻觉的两种核心解决方案—— 提示词控制、知识库限制
此外,见实与张子良联合开发的课程《DeepSeek R1 本地部署实战教程》中还披露了更多关键技术细节,包括网页版分享、并发支持、多用户及权限管理等,零代码操作适配个人与企业多场景需求。
在见实 3月12-13日开年大会 张子良 也会来到现场继续展开深度分享。你可以点击文末 阅读原文 报名参加见实大会,在现场听更多干货内容。 以下为深聊精华, 如下,enjoy:
01
DeepSeek本地部署选型与成本对比
见实:网上有很多本地部署方案,它们之间有什么差异?该如何选择?
张子良: 本地部署主要有两种技术方案:
企业内部完全部署: 部署671b满血版,模型和数据都在本地,确保数据不出企业,安全性高。生产环境中,70b和671b模型的生成质量更好。如果只是测试,可以选择7b、8b、14b、32b等模型,具体取决于显卡配置。
API接入: 调用第三方API接口接入DeepSeek服务。DeepSeek在泛领域表现优秀,但在垂直领域存在不足,需结合本地专业知识优化。此时,本地知识库仍需放在本地。
关于服务商选择,目前实测稳定的API接口只有豆包。其他服务商如硅基流动(与华为合作)、阿里云和百度千帆,存在访问速度慢、稳定性差的问题。
企业内部部署的稳定性更强,数据不外流,是最理想的方式。例如,天津一家高分子材料企业使用16台H20纯本地部署,访问速度极快。如果资金有限,可以选择API接入。
见实:本地部署还有哪些意义?
张子良: 如果只是简单了解,可以使用官方网页。但从我接触的十几万学员来看,一个新趋势是:很多人,尤其是年轻人,正在转行到人工智能领域。掌握AI能力可以拓展职业宽度。 学习安装部署、知识库应用和提示词使用,是转型的基本要求
这些技能与代码无关,现有方案支持零代码操作。 通过学习,还能了解人工智能的未来趋势,提升整 体能力。我的课程前半部分面向个人,方案采用 open-web UI 模式,支持网页版分享、并发、多用户和权限管理,同时适用于个人和企业。
见实:做本地部署需要什么样的设备?具体投入成本是多少?

张子良:

个人学习: 可根据系统版本(1.5b、7b、8b、14b、32b、70b、671b)选择配置。最低需要独立显卡,如2060、3060或4060,可安装7b或8b模型。3090、4090、5090显卡可部署32b或14b模型。
成本: 3060约两3000元,3090约6000元。5090发布价1.5万元,现价超10万元,难购买。买显卡一定要注意渠道,选择有三年质保的平台(如京东),比较可靠。
性价比: 3090显存24GB,性能足够,适合个人学习。
企业级应用: 最低需70b模型,推荐两块A6000显卡,成本约7万元,加上主机总成本在10万元以内。671b模型需八块A100或H100,价格波动大,约15万到20万/块。满血版配置需八块A100,总成本160万到200万。
API模式: 适合预算有限的用户。百万token输入约2元,输出约8元,综合成本约10元/百万token。
低成本方案: 国内一些方案宣称成本控制在十万以内,但实测不靠谱。原因包括显存加内存模式超出普通电脑承载能力、内存易损坏、不支持并发等。短期内,建议选择API接入,等待低成本方案成熟。
见实:除了刚才提到的还需要其他费用吗?
张子良: 电费也是一个大头 。比如,一张3090显卡每小时耗电约400瓦,A100显卡每小时耗电8到10度。个人在家部署时,电费开支不小。像我自己有八块3090,跑任务时一个月电费就2000多元。
见实:完成部署后,这个解决方案能达到什么程度?
张子良: 私有化部署的功能与官网网页版完全一致。因为模型是开源的,输出能力没有区别。具体可以从三方面看:
业务场景结合: DeepSeek可应用于日常办公,如撰写文案(周报、月报、年报)、VI制作、生成PPT格式文案、Excel数据分析等。
企业运营分析: 传统模式下,企业需人工分析报表,而DeepSeek可通过自然语言交互,将自然语言翻译为SQL语句,从数据库检索数据并生成可视化图表,提升数据分析效率。
自媒体运营: DeepSeek可批量生成爆款标题、文案,辅助图片和视频素材创作,从热点捕捉到内容生成,实现全链条AI辅助。
AI应用场景广泛,关键是结合实际业务需求。 如果有特定场景,可以探索如何利用AI提升效能或开发新业务模式。
02
应对AI幻觉的两种解决方案及详解
见实:在具体应用中,如何更高效、准确地与AI交互,减少“幻觉”?
张子良: 常见控制方式有两种:
第一种, 提示词控制 有5个关键因子:
  • 明确角色:告诉AI你是谁、扮演什么角色。

  • 任务目标:说明要实现的任务。

  • 预期结果:描述希望得到的回答。

  • 提供样例:给出期望结果的示例。

  • 限制条件:设定回答的精准度要求。

第二种 知识库限制:

  • 知识库用于限制AI输出范围,优先从本地知识库获取答案,并对结果打分。设定质量分阈值,确保输出可信。

见实:什么样的个人和企业必须有知识库?
张子良: 知识库是对大模型能力的拓展。大模型在泛领域表现不错,但在垂直领域(如高分子材料、化工、高校)能力有限。知识库的作用是弥补这一不足。
对于企业而言 ,通用大模型无法覆盖企业的垂直领域知识,而 拥有核心数据的企业(如金融、学校)通常选择纯本地化部署,甚至物理断网。
对个人用户而言 ,如果不需要本地部署或知识库,可能意味着工作内容不涉及专业知识。例如,自媒体创作者追逐热点,但对于教师、公务员、律师、科研人员等,本地化部署和知识库是刚需。
见实:AI应用方面有哪些好案例?
张子良: B站一位博主通过两篇文章、两场直播,六周内粉丝从2000涨到10万+。他利用AI捕捉热点,分析热榜话题,吸引用户关注。
我自己也通过类似方法上过B站榜单。通过抓取排行榜和热点,用大模型分析,当时最热的话题是私有化部署。如今,二线、三线城市才开始接触这一话题,而一线城市已进入下一阶段。
近期自媒体平台上关于本地化部署和知识库的文章增多,正是因为大模型帮助捕捉到了这些热点。我的课件内容也大多由大模型生成,极大提升了效率。
见实:在使用AI的过程中,需要注意哪些事项,以及如何避免这些问题?
张子良: 使用AI时,技巧是关键。大模型已经火了三年,有许多成熟的经验和方案,尤其是提示词模板。这些模板能帮助快速生成高质量内容。 对于新人,建议多参考别人总结的提示词模板。 此外,可以多尝试工具化的解决方案,比如智能办公。






请到「今天看啥」查看全文