专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
目录
相关文章推荐
宝玉xp  ·  回复@Timetopretenddd:这我还 ... ·  昨天  
爱可可-爱生活  ·  今日推介(第1704期):通过递归问题分解实 ... ·  昨天  
爱可可-爱生活  ·  CLT不适用于小样本LLM评估 查看图片 ... ·  昨天  
爱可可-爱生活  ·  [LG]《All Roads Lead ... ·  昨天  
爱可可-爱生活  ·  自我改进型推理模型的关键认知行为:高效STa ... ·  3 天前  
51好读  ›  专栏  ›  黄建同学

目前支持iPhone, iPad, Android, Mac, -20250122151618

黄建同学  · 微博  · AI  · 2025-01-22 15:16

正文

2025-01-22 15:16

目前支持iPhone, iPad, Android, Mac, Linux。另外,他们的Blog也挺有意思, 网页链接 ,12篇内容介绍了其原理,值得一看!// @观察家家中观察 :回复 @黄建同学 :刚才才发现,Windows没法玩 [二哈] // @观察家家中观察 :这个项目太好玩了,可以无限拓扑 [doge]
这个搭配可以! 7 台 M4 Pro Mac Mini + 1 台 M4 Max MacBook Pro 上运行 DeepSeek R1,总内存=496GB。

底层用的是EXO:在家中使用日常设备运行自己的 AI 集群。

与其他分布式推理框架不同,exo 不使用主从架构。相反,exo 设备采用 p2p 连接。只要设备连接到网络中的某个位置,就可以使用它来运行模型。

Exo 支持不同的分区策略,以跨设备分割模型。默认分区策略是环内存加权分区。这会在环中运行推理,其中每个设备运行的模型层数与设备的内存成比例。

访问:github.com/exo-explore/exo

#ai创造营#






请到「今天看啥」查看全文