专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
目录
相关文章推荐
爱可可-爱生活  ·  【[167星]Fleur:发现和安装MCPs ... ·  15 小时前  
爱可可-爱生活  ·  [LG]《All Roads Lead ... ·  昨天  
爱可可-爱生活  ·  本文指出在小数据量 LLM 评测中,传统 ... ·  昨天  
机器之心  ·  全球首发:QwQ-32B本地一键部署、309 ... ·  3 天前  
网信湖北  ·  大爆发!全网一码难求!他来自华科大 ·  3 天前  
网信湖北  ·  大爆发!全网一码难求!他来自华科大 ·  3 天前  
51好读  ›  专栏  ›  黄建同学

有希望成为k8s,scale-up - scale-out //-20250122212713

黄建同学  · 微博  · AI  · 2025-01-22 21:27

正文

2025-01-22 21:27

有希望成为k8s,scale-up -> scale-out // @jetwaves :牛掰,exo有机会成为AI时代的k8s
这个搭配可以! 7 台 M4 Pro Mac Mini + 1 台 M4 Max MacBook Pro 上运行 DeepSeek R1,总内存=496GB。

底层用的是EXO:在家中使用日常设备运行自己的 AI 集群。

与其他分布式推理框架不同,exo 不使用主从架构。相反,exo 设备采用 p2p 连接。只要设备连接到网络中的某个位置,就可以使用它来运行模型。

Exo 支持不同的分区策略,以跨设备分割模型。默认分区策略是环内存加权分区。这会在环中运行推理,其中每个设备运行的模型层数与设备的内存成比例。

访问:github.com/exo-explore/exo

#ai创造营# #程序员#






请到「今天看啥」查看全文