“哑运算”是掩盖问题，储能装置是解决问题。这是核心思路的不同。![[并不简单]](https://h5.sinaimg.cn/m/emoticon/icon/default/d_bingbujiandan-9955880b30.png)
#模型时代# 马斯克的xAI用第一性原理解决10万卡训练的电力波动问题。
标题很长，但这是刚在X上看到了一个xAI模型训练的小故事，很有意思，值得分享一下，是Hieu Pham是xAI的一位技术专家讲得，他之前在谷歌等公司工作，这个礼拜刚入职，一上班被问到，如何解决一个万卡级训练中常见的电力波动问题。
解释一下：电力波动是 AI 模型训练的重大挑战，常见原因是在深度学习训练中，GPU需要大量稳定的电力来支持高密度运算，而电力波动会导致训练中断、数据错误，甚至损坏设备。而导致电力波动的一个原因则是GPU中的Tensor Core ，这种核心主要负责深度学习中的矩阵乘法（例如 GEMM），这类运算对硬件要求非常高，计算量和数据量的增减都会直接影响功耗。因此，Tensor Core 的运算复杂度越高，功耗自然越大，当负载发生变化时，功耗也会随之波动。反过来，功耗波动又会影响运算。
Hieu作为GPU编码专家，所以给出的是经典方法“哑运算”（dummy GEMM kernel），用来增加 GPU 的电力消耗。其原理是在电网波动时通过运行额外的无意义计算来保持功耗相对稳定，这种方法简单有效。
但是，最终xAI团队没有使用他的方案，而是采用了 Tesla 的 Megapacks 储能方案。Megapacks 是一种大规模储能系统，具备高储能容量和毫秒级的快速响应。当电力波动时，Megapacks 能够立即放电，确保 GPU 和其他训练硬件的稳定供电。与“哑运算”相比，Megapacks 不仅避免了能源浪费，还能有效地平衡电力供应，适应更大规模的电力需求变化。
所以，电力的问题，直接用电力方案解决了。
最终Hieu感慨，能够看到这种完全不同角度的解决方法，真的很有趣，让他学到了很多。
原话摘录如下：
“马斯克经常告诉我们不要被规则限制住。我喜欢下棋，所以我很喜欢他举的这个例子（大意）：即便你要被将死了，如果从天上有一道激光击中了对方的国王，那你就赢了。在这里，每天都充满了学习。不仅是机器需要学习，我们人类也一样”
高飞的微博视频
标题很长，但这是刚在X上看到了一个xAI模型训练的小故事，很有意思，值得分享一下，是Hieu Pham是xAI的一位技术专家讲得，他之前在谷歌等公司工作，这个礼拜刚入职，一上班被问到，如何解决一个万卡级训练中常见的电力波动问题。
解释一下：电力波动是 AI 模型训练的重大挑战，常见原因是在深度学习训练中，GPU需要大量稳定的电力来支持高密度运算，而电力波动会导致训练中断、数据错误，甚至损坏设备。而导致电力波动的一个原因则是GPU中的Tensor Core ，这种核心主要负责深度学习中的矩阵乘法（例如 GEMM），这类运算对硬件要求非常高，计算量和数据量的增减都会直接影响功耗。因此，Tensor Core 的运算复杂度越高，功耗自然越大，当负载发生变化时，功耗也会随之波动。反过来，功耗波动又会影响运算。
Hieu作为GPU编码专家，所以给出的是经典方法“哑运算”（dummy GEMM kernel），用来增加 GPU 的电力消耗。其原理是在电网波动时通过运行额外的无意义计算来保持功耗相对稳定，这种方法简单有效。
但是，最终xAI团队没有使用他的方案，而是采用了 Tesla 的 Megapacks 储能方案。Megapacks 是一种大规模储能系统，具备高储能容量和毫秒级的快速响应。当电力波动时，Megapacks 能够立即放电，确保 GPU 和其他训练硬件的稳定供电。与“哑运算”相比，Megapacks 不仅避免了能源浪费，还能有效地平衡电力供应，适应更大规模的电力需求变化。
所以，电力的问题，直接用电力方案解决了。
最终Hieu感慨，能够看到这种完全不同角度的解决方法，真的很有趣，让他学到了很多。
原话摘录如下：
“马斯克经常告诉我们不要被规则限制住。我喜欢下棋，所以我很喜欢他举的这个例子（大意）：即便你要被将死了，如果从天上有一道激光击中了对方的国王，那你就赢了。在这里，每天都充满了学习。不仅是机器需要学习，我们人类也一样”
高飞的微博视频
