上次西瓜哥写了一篇文章《
根据IDC，中国SDS/HCI份额首超传统存储，领先全球，凭什么？
》，讨论的软件定义存储（SDS)替换传统企业存储系统(TESS)的原因，今天，我们来聊一聊存储网络FC替换的事情。
随着数据存储和处理需求的快速增长，数据中心和企业存储网络面临着不断演变的挑战。传统的光纤通道（Fibre Channel, FC）存储网络曾经是许多企业的首选，
特别是金融核心，FC一直是神一般的存在，也是FC替换最难的一个场景。
但是，现在各行各业都要求信创化，很多银行的金融核心也在进行信创化改造。
FC网络是封闭的技术，FC交换机目前主要由博通和思科两个厂商垄断，没有国内厂商在这方面投入。
但随着技术的进步，NVMe over RoCE（NVMe/RoCE）正在成为一种更具吸引力的选择。而RoCE是基于无损以太网的，国内的大多数网络厂商，如华为，H3C，中兴，锐捷等等，都有支持RoCE的高速交换机。
本文将探讨为什么存储网络应该抛弃FC，转而选择RoCE，尤其是在中国信创背景下的优势。
在抛弃FC之前，我们先来表扬一下FC（上次我写SDS超过传统存储一文，就没有说SDS的缺点，被网友喷了）。在SCSI时代，SCSI/FC相比iSCSI具备下面的优点：
-
高性能
：光纤通道具有极低的延迟和高吞吐量，通常用于需要高性能的企业环境。
-
高可靠性
：专为存储网络设计，具有高可靠性和稳定性，支持多路径冗余和故障转移机制。
-
专用网络
：光纤通道网络是专用的，不与其他类型的数据流量竞争，减少了网络拥塞的可能性。
我们看一下具体性能的对比。ESG曾经公布过一组性能数据（测试报告链接：https://docs.broadcom.com/doc/12381743）。
从测试结果看，ESG测试了三个全闪阵列，
FC的性能都大大优于iSCSI的性能，最低也有1.24倍，最高有4.90倍
。因此，在SCSI时代，一般场景采用iSCSI没有问题，但是正在在金融核心，从性能和可靠性考虑，大部分用户还是希望采用FC。
但同样是FC，NVMe/FC性能比SCSI/FC要好太多了
但是，NVMe的出现，带来了比SCSI非常多的好处，就算采用同样的FC网络承载。
NVMe/FC相较于SCSI/FC在性能、带宽、架构简化和扩展性方面有显著优势。它具有更低的延迟和更高的并发处理能力，充分利用了NVMe协议的高带宽，简化了命令集和协议设计，减少了处理开销。同时，NVMe/FC设计上具有强扩展性，支持NVMe over Fabrics（NVMe-oF），更适应未来高性能存储需求。因此，NVMe/FC更适合现代高性能存储环境，能够更有效地提升存储系统的整体效率。
根据Tolly的的一个测试报告（报告链接：https://reports.tolly.com/publications/detail/223121?fbclid=IwAR3LCenH-RD-rI_RCePAfP5v8lAkE2eyxJFpkHkRQvF54eHxZSwowTo10Ms，需要注册下载），同样跑数据库，同样采用FC网络，
NVMe/FC的性能比SCSI/FC的性能可以多支持32-53%更多的交易。
因此，金融核心存储网络协议，采用NVMe是比SCSI更好的选择，就算存储网络继续采用FC也是如此。
如果金融核心全面转向NVMe，我们还有必要继续采用FC网络吗？是否信创更友好的NVMe/RoCE是更好的选择？
为了说清楚这个问题，我们再来回顾一下这两种存储网络的基本知识和各自的优缺点。
NVMe/FC（NVMe over Fibre Channel，也有写成FC-NVMe）是一种在光纤通道上运行的非易失性存储器快速接口（NVMe）协议。它结合了NVMe的高性能与FC的低延迟和高可靠性，广泛应用于高性能计算和企业级存储网络。
-
低延迟
：NVMe/FC利用FC的低延迟特性，提供高性能的数据传输。
-
高可靠性
：由于FC的成熟和稳定，NVMe/FC在可靠性方面表现出色。
-
成熟生态系统
：NVMe/FC有着成熟的硬件和软件支持，适用于现有的FC基础设施。
-
成本高昂
：FC设备和维护费用较高，特别是在大规模部署时，成本会显著增加。
-
复杂性
：NVMe/FC网络的部署和管理需要专业知识，增加了运营复杂性。
-
中国厂商缺位
：在FC网络设备市场，主要厂商为国外企业，国内厂商参与较少，不利于中国信创的发展。
NVMe/RoCE（NVMe over RDMA over Converged Ethernet）是在标准以太网上运行的NVMe协议，结合了RDMA技术，实现低延迟和高吞吐量的数据传输。
-
高性能
：NVMe/RoCE利用RDMA技术，实现了低延迟和高吞吐量，适用于高性能计算和大数据处理。
-
成本效益
：与NVMe/FC相比，NVMe/RoCE可以在现有的以太网上运行，减少了专有硬件的需求，降低了成本。
-
简化管理
：NVMe/RoCE在以太网上运行，使得网络管理更加简化，能够与现有的网络基础设施无缝集成。
-
灵活性
：支持多种以太网速度，从10GbE到100GbE，具有良好的可扩展性。
-
中国信创支持
：中国本土厂商在以太网设备和技术方面有着广泛的参与和支持，有助于推动信创发展。
-
网络拥塞管理
：NVMe/RoCE对网络拥塞较为敏感，需要良好的流量控制和管理机制。
-
兼容性问题
：尽管NVMe/RoCE在不断普及，但与现有的某些网络设备和软件可能存在兼容性问题。
对这两种存储网络的理论知识了解后，我们还需要看看实际的性能对比数据。多数人都认为FC的性能要好于以太网，就像在SCSI时代一样，但到了NVMe时代，情况发生了很多的改变，我们看看实测的结果。
根据SNIA官网提供的某次研讨会的材料（链接：https://www.snia.org/sites/default/files/ESF/NVMe-oF-Beyond-Hero-Performance-Numbers.pdf），我们看一下其性能的对比。
首先，先来对比一下IOPS的表现。
从结果我们可以看出，
NVMe/RoCE(100GeE)的性能在任何并发下都是最好的，比NVMe/FC（32GFC)要好很多。
大家可能说，网络带宽高，因此IOPS肯定好。但是，我们看到，NVMe/RoCE(25GeE)虽然网络带宽比NVMe/FC（32GFC)差，但是在低并发情况下，其性能并不差。就算到高并发下，其性能相差也不多，基本在网络带宽的比例范围之内。
说明RoCE的协议没有问题，IOPS不输FC。
存储除了IOPS，时延这个指标可能更加重要。
从实际的测试数据看，
无论并发如何，NVMe/RoCE（100GbE）的时延也都在最低的。
和IOPS一样，在低并发情况下，NVMe/RoCE（25GbE）的时延比NVMe/FC（32GFC)好不少，就算到高并发阶段，其时延差距也不大。
因此，从协议性能的角度，我们认为，NVMe/RoCE的完全可以取代NVMe/FC，而且，如果你想任何情况下都要比32G FC更好的性能，100Gb RoCE就是你最佳的选择。
通过上面的各种性能对比，再考虑中国的国情，存储网络演变了在NVMe时代，我们给大家提供存储网络放弃FC，拥抱RoCE的5个理由：
为什么选择NVMe/RoCE而不是NVMe/FC？
-
成本效益
NVMe/RoCE利用现有的以太网基础设施，无需购买昂贵的专有FC设备，大大降低了初始投资和维护成本。这对于预算有限的中小型企业尤为重要。
-
性能优势
NVMe/RoCE提供了接近甚至超过NVMe/FC的低延迟和高吞吐量，能够满足高性能计算、大数据分析等应用的需求。此外，NVMe/RoCE通过RDMA技术，直接内存访问减少了CPU的负担，提高了整体系统性能。
-
兼容性和灵活性
NVMe/RoCE可以在标准以太网上运行，与现有的网络设备和协议兼容性更好。这意味着企业可以更灵活地扩展和升级其网络，而无需担心兼容性问题。
-
简化管理
由于NVMe/RoCE运行在以太网上，网络管理员可以利用现有的网络管理工具和技术，简化管理流程，提高运营效率。
-
中国信创支持
在中国信创的发展背景下，选择NVMe/RoCE具有重要意义。国内厂商在以太网设备和技术方面有着广泛的参与和支持，能够提供本土化的技术解决方案和服务，减少对国外技术的依赖，推动国产自主可控技术的发展。
虽然光纤通道（FC）在过去的存储网络中发挥了重要作用，但随着技术的发展和需求的变化，NVMe over RoCE（NVMe/RoCE）正成为一种更具吸引力的选择。NVMe/RoCE结合了高性能、低成本和灵活性，适用于现代数据中心和企业存储网络，特别是在中国信创的背景下，具有更大的优势。
通过采用NVMe/RoCE，企业不仅能够提升存储网络的性能和可扩展性，还能够降低成本和管理复杂性，最终实现更高的投资回报和业务竞争力。同时，支持国产化的技术方案，有助于推动中国信创的发展，增强自主可控能力，提升国家信息技术产业的整体水平。
端到端NVMe时代，到了下决心放弃FC存储网络的时候了。要充分发挥NVMe的优势，需要存储支持端到端的NVMe，即盘必须全部是NVMe盘，并且
主机到存储设备整个路径都使用NVMe协议，以提供最大化的性能和最小化的延迟。
很多传统存储支持端到端的NVMe，比如华为的Dorado。因此，如果金融核心还是传统的IOE架构，我推荐Dorado。但是，很多客户
在金融核心改造场景，数据库一般采用国产的分布式数据库，既然应用已经是分布式了，而存储产品，我认为也选择分布式是比较合适的选择。而支持端到端NVMe的分布式全闪的产品就不是很多。如华为的Pacific，根据公开的资料，我们发现其虽然支持NVMe全闪配置，但主机到存储这层，并不支持NVMe-oF，因此应该是不支持端到端NVMe的。因此，如果用户选择分布式的端到端NVMe存储的话，
