专栏名称: 新智元
智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。
目录
相关文章推荐
高分子科学前沿  ·  四川大学张帆教授、张刚研究员团队《自然·通讯 ... ·  4 小时前  
艾邦高分子  ·  【邀请函】2025年第五届先进尼龙材料产业论 ... ·  18 小时前  
田俊国讲坛  ·  没有绝对完美，只有持续迭代，一场关于自我进化 ... ·  3 天前  
高分子科学前沿  ·  借鉴生物智慧！澳门大学王瑞兵/南方科技大学肖 ... ·  3 天前  
高分子科学前沿  ·  南京理工大学傅佳骏/姚博文团队AM：用于双向 ... ·  3 天前  
51好读  ›  专栏  ›  新智元

推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」，2人公司估值3400万刀

新智元  · 公众号  ·  · 2023-12-19 13:14

正文


新智元报道

编辑：润 好困
【新智元导读】 最近，两位哈佛辍学生共同创立的AI芯片公司，估值已达3400万美元，并计划明年交付一款名为「Sohu」的AI推理加速芯片——其LLM推理性能达到H100的10倍，而单价吞吐量更是高达140倍。

像Pika一样的神级创业故事又要再次上演了？

两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。

在今年6月份，两位创始人Gavin Uberti和Chris Zhu创立了Etched.ai，获得了包括Ebay前CEO Devin Wenig在内一众风投机构的536万美元的种子轮投资。

公司估值更是高达3400万美元！

根据公司官网上放出的数据，这款芯片将在硬件层面上集成Transformer构架，将推理速度相比于英伟达H100提升了8-10倍！

他们将第一款LLM加速芯片命名为「Sohu」，号称可以在毫秒级别的时间里处理数千个单词。

芯片还支持通过树搜索更好地编码，能够并行比较数百个响应。
还支持多重推测解码（Multicast speculative decoding），可以实时生成新的内容。
根据官方公布的具体细节，这款芯片只有一个核心，但是配备了144GB的HBM3e显存：
- 完全开源的软件栈，可扩展至100T参数型号
- 支持波束搜索（Beam search）和MCTS解码
- 支持MoE和Transformer的各种变体

两个哈佛辍学本科生挑战芯片行业最顶尖业务

两人原本计划从哈佛休学一年，在一家芯片公司找到了一份负责ApacheTVM开源编译器和微内核的工作。
但在工作中，他们发现Arm的指令集中的一些低效设计使得他们的工作效率很差。
当他们思考如何系统性地解决这个问题时，发现可以利用这个思路来设计一款针对当下爆火的AI加速芯片。
在创始人之一的Uberti看来，通用设计无法获得他们正在研发的专有加速芯片所能带来的那种性能提升：
「必须在单一架构上下大力气，让芯片处理AI任务，目标太大了，必须要针对更具体的任务来设计芯片......我们认为英伟达最终会这么做。」
在他们两人看来，这个市场机会太大了，一定不能错过。
「如果你回顾四年前的GPT-2，与Meta最近的 Llama模型相比，只有两个区别——大小和激活函数。训练方式存在差异，但这对于推理来说并不重要。」
Transformer的基本组件是固定的，虽然存在细微差别，但他们并不担心短期之内就会出现新的构架代替Transformer。
所以他们决定做一个Transformer构架的专用集成电路（ASIC），在未来和英伟达等一系列芯片巨头在大模型推理市场中竞争。
他们认为，Etched.ai推出的第一款芯片，相比于H100，单位价格内将获得140倍的吞吐量性能！
二到底是什么样的背景，能让两个本科还没有毕业的学生，敢于挑战芯片业目前最炙手可热的赛道呢？
创始人兼公司CEO Gavin Uberti自从2020进入哈佛之后，就一直在校外兼职，在2022年底，成立了Etched.ai。
在进入大学之前，他参与了美国最著名的青少年科技创新大赛FIRST Tech Challenge，团队获得了Top 10奖项。团队开发的自动驾驶软件排在600个参赛团队第二名。
另一位创始人Chris Zhu，也是在哈佛就读时就在校外疯狂实习，甚至还没有从哈佛毕业，就已经成为兼职教员。






请到「今天看啥」查看全文


推荐文章
高分子科学前沿  ·  四川大学张帆教授、张刚研究员团队《自然·通讯》：在废弃商品聚合物升级回收领域取得新进展
4 小时前
艾邦高分子  ·  【邀请函】2025年第五届先进尼龙材料产业论坛（7月8日 青岛）
18 小时前
田俊国讲坛  ·  没有绝对完美，只有持续迭代，一场关于自我进化的生命修行
3 天前
高分子科学前沿  ·  借鉴生物智慧！澳门大学王瑞兵/南方科技大学肖凯AM：基于离子传输的仿生视网膜助力机器视觉
3 天前
高分子科学前沿  ·  南京理工大学傅佳骏/姚博文团队AM：用于双向脑-机接口与人-机交互的超高稳定性、低阻抗生物电极
3 天前
微路况  ·  秘诀|撞车后这么做，你才能少花钱
8 年前
中国经济学人  ·  中国经济之辩：周期的幻灭与幻灭的周期
7 年前
亿恩  ·  【国庆68周年专题】中国卖家：祖国一直在默默地爱着你，你感受到了吗？
7 年前
金羊毛工作坊  ·  中国的供给侧管理正为全球提供需求
7 年前
生命方舟安全指南  ·  生活中常见的创可贴，你真的会用么？
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!