国金金融工程高智威丨DeepSeek部署与蒸馏模型推理评测

摘要

春节前，国内深度求索公司陆续发布性能媲美ChatGPT-4o及o1且低部署成本的DeekSeek-V3和R1开源大模型。这两个“便宜好用”开源模型的出现，大大降低了每个商业公司甚至个人消费者使用大模型的成本，还能通过本地部署的方式真正实现个人问答数据的信息安全，为2025年AI应用的井喷式发展奠定了坚实的基础。模型的推出引起投资者关注，行业内开始探索如何部署大模型以及如何选择不同参数的大模型。本研究提供各类使用DeepSeek大模型的方法，并给到本地化部署大模型的指南，最后对不同参数大模型进行性能与硬件配置的对比，方便投资者参考并使用DeepSeek进行投研工作。

风险提示

1、大语言模型输出结果具有一定随机性的风险；

2、模型迭代升级、新功能开发可能会导致结论不同的风险；

3、人工智能模型得出的结论仅供参考，可能出现错误答案的风险。