#DeepSeek#
这么搞的话，落地太快了
～～～～～
很多公司是不允许把自己的数据扔给外部大模型的。有一些公司搞的自建大模型，其实就是一个RAG，功效非常有限。 现在deepseek全部来源，而且非常宽松的license，而且业务表现非常不错。那么可以花费很少的钱，就可以在自己公司内部，deploy一个 私有的deepseek r1。
这是一个人做的实验，8个M4 Pro mac mini host 671B v3。5.37TPS。
这就是在数据不出内网的情况下，有了一个不错的LLM。
这可以玩很多很多花样，比如自动code review，代码生成，业务流程优化，都不用担心compliance的问题了。
搞个公司，卖卖推理方案落地，也是不错的。
～～～～～
很多公司是不允许把自己的数据扔给外部大模型的。有一些公司搞的自建大模型，其实就是一个RAG，功效非常有限。 现在deepseek全部来源，而且非常宽松的license，而且业务表现非常不错。那么可以花费很少的钱，就可以在自己公司内部，deploy一个 私有的deepseek r1。
这是一个人做的实验，8个M4 Pro mac mini host 671B v3。5.37TPS。
这就是在数据不出内网的情况下，有了一个不错的LLM。
这可以玩很多很多花样，比如自动code review，代码生成，业务流程优化，都不用担心compliance的问题了。
搞个公司，卖卖推理方案落地，也是不错的。
