如果你用过或者正在考虑将 AWS/Azure/Google Cloud 用于机器学习，你就会知道 GPU 使用成本有多高。此外，开、关机器对自己的工作流也有极大的破坏。更好的选择是，自己搭建机器。这篇文章表明，自建机器要比租赁机器便宜 10 倍，也更容易使用。

建立一个可扩展的深度学习计算机 W/1 高档 GPU 只需要花费 3000 美元

我建的机器只花费了 3000 美元，下面是花费清单，包括一张 1080Ti（你可以多加 500 美元使用全新的 2080Ti 做机器学习，但注意要加上增压风机设计）、一个 12 核 CPU、64GB 的 RAM 和 1TB 的 M.2 SSD。你还可以在这台机器上多加 3 张 GPU。

自建机器要比在 AWS/EC2 上租机器便宜 10 倍，而且同样高性能

假设自建的机器（带有一张 GPU）三年内贬值到 0（非常保守了），下表显示，如果使用超过 1 年，即使包括电费，它也要比租赁机器便宜 10 倍。如果你有多年租约，亚马逊会打折。即便这样，折算下来自建还是要比亚马逊价便宜 4-6 倍。如果你一次签订多年租赁合约，支付几千至上万美元，那不妨考虑自建机器。如果自建的机器包含 4 块 GPU，1 年内成本要低 21 倍，更为可观。

自建机器与 AWS 租赁机器的成本对比。根据使用程度，一块 GPU 的机器要便宜 4-10 倍，4 块 GPU 的机器要便宜 9-21 倍。AWS 有租赁一年和租三年的折扣（分别便宜 35% 和 60%）。电力消耗假定为 0.2 美元每 kWh，一块 GPU 的机器消耗 1kW/h，4 块 GPU 机器消耗 2kW/h，且保守估计三年线性折旧整个自建机器。每多加一块 GPU，成本增加 700 美元（税前）。

自建机器有一些缺点，例如较慢的下载速度，因为并不是主干网，静态 IP 需要远程接入。一两年后，可能需要更新 GPU，但因为搭建时节约的成本非常可观，所以仍然很值。

如果你正准备使用 2080Ti 作为深度学习计器的计算引擎，那么它要多花 500 多美元，但对于单张 GPU 的机器来说，仍然要便宜 4-9 倍。云 GPU 机器价格大约为 3 美元/小时，即使不使用机器进行计算也要付费。

这种巨大的成本差异主要是因为 Amazon Web Services EC2（或者谷歌云与微软 Azure）的 GPU 费用太高，即 3 美元/小时或约为 2100 美元/月。在斯坦福，我使用云机器实现语义分割项目，账单需要 1000 美元。我也尝试使用谷歌云来做项目，账单高达到 1800 美元。这主要是因为我没仔细监控使用情况并按时关闭机器，唉~~

此外即使我们关闭了机器，同样还需要以每月每 GB 0.10 美元的价格支付储存费用，所以我每月需要支付 100 美元的费用来储存数据。

几个月内就回收成本

对于花 3000 美元搭建的单张 GPU 机器（1 kW/h），如果经常使用，我们在两月内就能达到不赚不赔。这并不表示我们仍拥有完整的计算机器，不会产生一点折旧，但搭建个人机器还是一个很明智的选择。此外，分析表明搭建 4 张 GPU 的机器能获利更多，因为常用的话我们可以在一个月内达到收支平衡（假定电费为 0.20/kWh）。

我们的 GPU 性能与 AWS 相当

与云 Nvidia V100 GPU（使用新一代 Volta 技术）相比，我们价值 700 刀的 Nvidia 1080 Ti 以 90% 的速度运行。这是因为云 GPU 在实例和 GPU 之间的 IO 速度很慢，所以尽管理论上来说，V100 可能要快个 1.5-2 倍，但实际上 IO 会拖慢其速度。因为我们采用的是 M.2 SSD，所以 IO 在我们的电脑上运行速度非常快。

V100 的显存也更大，有 16 个 G，不过如果你把批大小设置得小一点，模型效率提高一点，那么显存只有 11 个 G 也没什么关系。