主要观点总结
新智元报道了关于Cerebras公司推出的人工智能推理架构Cerebras Inference的信息。该架构极大地提高了人工智能模型的推理速度，特别是针对LLM模型。Cerebras Inference实现了以每秒超过一千个token的速度进行推理，远超英伟达GPU和其他平台的速度。这主要得益于Cerebras的自研芯片技术，尤其是世界上最大的芯片之一WSE-3。此外，Cerebras Inference确保了推理过程中的高精度和出色的性价比。同时，开发者可以通过聊天平台和API访问体验。
关键观点总结
关键观点1: Cerebras Inference实现了惊人的推理速度
Cerebras Inference能够以每秒超过一千个token的速度进行推理，远超英伟达GPU和其他平台的速度。这对于大型语言模型（LLM）来说尤其重要。
关键观点2: Cerebras采用了自研的世界上最大的芯片之一WSE-3
WSE-3芯片具有巨大的内存和高速的内存带宽，能够解决内存带宽瓶颈问题，从而实现高速推理。
关键观点3: Cerebras Inference确保了推理过程中的高精度
与一些公司减少模型权重精度以提高推理速度的方法不同，Cerebras Inference保持了原始的16位权重，确保了高准确率。
关键观点4: Cerebras Inference具有出色的性价比
Cerebras Inference提供了最佳的性能、速度、精度和成本组合。它的定价远低于其他平台，而且每天为开发者提供免费的token。
关键观点5: 快速推理对于复杂AI工作流程的实现至关重要
快速推理能够实现更为复杂的AI工作流程，提高AI模型的智能性，而无需额外训练。
正文
【新智元导读】
LLM若以每秒1000+token高速推理，当前最先进的GPU根本无法实现！Cerebras Inference一出世，推理速度赶超英伟达GPU，背靠自研的世界最大芯片加持。而且，还将推理价格打了下来。
LLM若想高速推理，现如今，连GPU都无法满足了？
曾造出世界最大芯片公司Cerebras，刚刚发布了全球最快的AI推理架构——Cerebras Inference。
运行Llama3.1 8B时，它能以1800 token/s的速率吐出文字。
不论是总结文档，还是代码生成等任务，响应几乎一闪而过，快到让你不敢相信自己的眼睛。
如下图右所示，以往，微调版Llama3.1 8B推理速度为90 token/s，清晰可见每行文字。
而现在，直接从90 token/s跃升到1800 token/s，相当于从拨号上网迈入了带宽时代。
左边Cerebras Inference下模型的推理速度，只能用「瞬间」、「疯狂」两字形容。
这是什么概念？
比起英伟达GPU，Cerebras Inference的推理速度快20倍，还要比专用Groq芯片还要快2.4倍。
另外，对于70B参数的Llama3.1，可达到450 token/s及时响应。
值得一提的是，Cerebras并没有因为提高LLM的速度，而损失其精度。
测试中，使用的Llama3.1模型皆是采用了Meta原始16位权重，以便确保响应高精度。
根据官方API定价，Llama 3.1 8B每百万token仅需10美分，Llama 3 70B每百万token仅需60美分。
不仅远超之前的保持者Groq，而且和其他平台相比，甚至是隔「坐标轴」相望了。
正是因为Cerebras Inference背后，是由自研的第三代芯片Wafer Scale Engine助力，才得以1/5价格快速推理Llama3.1。
看到自家模型推理如此神速，LeCun、Pytorch之父纷纷动手转发起来。
为什么LLM的响应，就像拨号上网加载网页一样，一个字一个字慢慢地吐出？
关键原因所在，大模型自身的顺序特性，以及需要大量的GPU内存和带宽。
由于GPU的内存带宽限制，如今推理速度为每秒几十个token，而不是数千个。
更进一步说，大模型每个生成的单词，都必须通过整个模型进行处理，即所有参数必须从内存投入到计算中。
也就是，生成100个单词需要100次处理，因为「下一词」的预测，皆需要依赖前一个单词，而且这个过程无法并行。
那么，想要每秒生成100个单词，就需要所有模型参数，每秒投入计算100次。
模型有700亿参数，每个参数是16位，需要2字节的存储，那整个模型便需要140GB的内存。
想要模型输出一个token，那700亿参数必须从内存，移动到计算核心，以执行前向推理计算。
由于GPU只有约200MB的片上内存，模型无法存储在芯片。
因此，每次生成的token输出时，需将整个占用140GB内存的模型，完整传输到计算中。
再细算下来，为了实现10 token/s，则需要10*140=1.4 TB/s的内存带宽。
那么，一个H100有3.3 TB/s的内存带宽，足以支持这种缓慢的推理。
而若要实现即时推理，需要达到1000 token/s或140 TB/s，这远远超过任何GPU服务器/系统内存带宽。
或许，你想到了一种「暴力」解决方案，将多个GPU串联搭建DGX系统。
这完全是大错特错，更多的处理器只会增加系统的吞吐量（给出更长响应），并不会加速单个查询的响应时间。
一直以来，这家公司就致力于打造世界上最大芯片，希望将整个模型存储在一个晶片上，以此来解决内存带宽瓶颈。
凭借独特的晶圆设计，WSE-3单个芯片上便集成了44GB SRAM，具备21 PB/s的内存带宽。
单个芯片拥有如此大内存，便消除了对外部内存的需求，以及将外部内存连接到计算的慢速通道。
总的来说，WSE-3的总内存带宽为21PB/s，是H100的7000倍。
它是唯一一款同时具有PB级计算和PB级内存带宽的AI芯片，使其成为高速推理的近乎理想设计。
Cerebras推理不仅速度超快，而且吞吐量巨大。
与小型AI芯片相比，芯片上内存多了约200倍，支持从1-100的批大小，使其在大规模部署时，具有极高的成本效益。
正是有了如此强大的芯片，Cerebras Inference的快速推理得以实现。
如果模型参数超过单个晶圆的内存容量时，研究人员将在「层边界」将其拆分，并映射到多个CS-3系统上。
20B模型适合单个CS-3，而70B模型则至少需要4个这样的系统。
官方表示，未来几周，将会测试更大参数版本的模型，比如Llama3-405B、Mistral Large。
业界中，一些公司试图将模型权重精度，从16位减少到8位，来克服内存带宽的瓶颈。
这样方法，通常会造成模型精度损失，也就是响应结果的准确性、可靠性不如以前。
Cerebras Inference之所以强就强在了，速率和原始权重，皆要顾及。
正如开篇所述，他们采用了原始16位权重运行了Llama3.1 8B和70B。
通过评估，16位模型准确率比8位模型，高出多达5%。尤其是在，多轮对话、数学和推理任务中表现更好。
目前，Cerebras Inference可通过聊天平台，以及API访问，任何一个人可随时体验。
体验传送门：https://cerebras.ai/blog/introducing-cerebras-inference-ai-at-instant-speed
基于熟悉的OpenAI Chat Completions格式，开发者只需更换API密钥即可集成强大的推理功能。
Cerebras Inference API提供最佳的性能、速度、精度和成本组合。
它是唯一能即时运行Llama3.1-70B的方案，可实现450 token/s，同样使用的是原始16位模型权重。
在此，Cerebras送上大福利，每天为开发者们提供100万个免费token。对于大规模部署，其定价只是H100云的一小部分。
首次推出时，Cerebras提供了Llama3.1 8B和70B模型，而且有能力每天为开发者和企业，提供数千亿token。
接下来几周，他们将增加对更大模型的支持，如Llama3 405B、Mistral Large 2。
有开发者问道，你们提供的rpm（每分钟请求次数）和tpm（每分钟处理token数）是多少？
