目前支持iPhone, iPad, Android, Mac, Linux。另外,他们的Blog也挺有意思,
网页链接
,12篇内容介绍了其原理,值得一看!//
@观察家家中观察
:回复
@黄建同学
:刚才才发现,Windows没法玩
//
@观察家家中观察
:这个项目太好玩了,可以无限拓扑
这个搭配可以! 7 台 M4 Pro Mac Mini + 1 台 M4 Max MacBook Pro 上运行 DeepSeek R1,总内存=496GB。
底层用的是EXO:在家中使用日常设备运行自己的 AI 集群。
与其他分布式推理框架不同,exo 不使用主从架构。相反,exo 设备采用 p2p 连接。只要设备连接到网络中的某个位置,就可以使用它来运行模型。
Exo 支持不同的分区策略,以跨设备分割模型。默认分区策略是环内存加权分区。这会在环中运行推理,其中每个设备运行的模型层数与设备的内存成比例。
访问:github.com/exo-explore/exo
#ai创造营#
底层用的是EXO:在家中使用日常设备运行自己的 AI 集群。
与其他分布式推理框架不同,exo 不使用主从架构。相反,exo 设备采用 p2p 连接。只要设备连接到网络中的某个位置,就可以使用它来运行模型。
Exo 支持不同的分区策略,以跨设备分割模型。默认分区策略是环内存加权分区。这会在环中运行推理,其中每个设备运行的模型层数与设备的内存成比例。
访问:github.com/exo-explore/exo
#ai创造营#