有希望成为k8s，scale-up -> scale-out //@jetwaves:牛掰，exo有机会成为AI时代的k8s
这个搭配可以！ 7 台 M4 Pro Mac Mini + 1 台 M4 Max MacBook Pro 上运行 DeepSeek R1，总内存=496GB。
底层用的是EXO：在家中使用日常设备运行自己的 AI 集群。
与其他分布式推理框架不同，exo 不使用主从架构。相反，exo 设备采用 p2p 连接。只要设备连接到网络中的某个位置，就可以使用它来运行模型。
Exo 支持不同的分区策略，以跨设备分割模型。默认分区策略是环内存加权分区。这会在环中运行推理，其中每个设备运行的模型层数与设备的内存成比例。
访问：github.com/exo-explore/exo
#ai创造营##程序员##国产AI大模型开源引爆海外#
黄建同学的微博视频
底层用的是EXO：在家中使用日常设备运行自己的 AI 集群。
与其他分布式推理框架不同，exo 不使用主从架构。相反，exo 设备采用 p2p 连接。只要设备连接到网络中的某个位置，就可以使用它来运行模型。
Exo 支持不同的分区策略，以跨设备分割模型。默认分区策略是环内存加权分区。这会在环中运行推理，其中每个设备运行的模型层数与设备的内存成比例。
访问：github.com/exo-explore/exo
#ai创造营##程序员##国产AI大模型开源引爆海外#
黄建同学的微博视频
