CHH ID:tmhl0cr5
一、引言
前不久分享了我的25G组网方案,偶然在查询Nvidia ConnectX-6 DX的datasheet的时候发现GDAT后缀的网卡居然支持50GbE速率,后来从B站大佬总想搞点奇怪的的手中搞来了两张MCX623102AN-GDAT,由此开始了50GbE速率组网的折腾之路...
为什么是选50G,而不是速率更接近的40G或者更快的100G呢?1. QSFP+(4x10G)是已经淘汰的标准 2. CX3和CX4只有pcie3.0 我的PC和Server只有闲置的4.0x4插槽 无法跑满速率 3. 100G同理 因为只有4.0x4可用 最大速率64Gbps 跑不满心里会膈应 4. 我是
韭菜
二、SFP56接口介绍
随着物联网、流媒体和云计算对带宽需求的增长,网络运营商寻求从25G到50G的升级,SFP56应运而生。利用50G技术,提供双倍于SFP28的数据速率,降低成本并增强灵活性,兼容多种速度的端口。PAM4调制允许在相同封装内实现更高数据速率,为服务提供商提供了一条实用的升级路径。
从历史上来看,高密度接口总是出现在单通道接口之前。这就是为什么200G网卡远远的多于50G,无论是从型号数上还是市存量上。
我所知的50GbE网卡只有MCX623102和MCX713104。cx713104很有意思,是四口50G,或许是迈络斯第一张四口网卡?以下是两张卡的机械图纸
单通道,是我选择SFP56最重要的原因,sfp56和sfp28、sfp+一样都是单通道,意味着可以兼容50G/25G/10G/1G
三、测试平台搭建
由于QNAP M7308R只支持25G和100G,所以只能曲线救国实现部分链路达到50G 以下为拓扑图
理论拓扑图完成,接下来开始实操。首先从网卡开始,网卡选择的是MCX623102AN-GDAT,双口SFP56 50G。需要注意的是网卡的散热,CX6奇热无比,曾经就有案例CX6把Thinkstation P3tiny南桥烤炸了,且网卡温度过高会触发温度保护自动断联。
这是我过去的改造方案,使用的是轴流风扇。风扇不支持pwm调速,只能用bios内dc调速,而且风扇是油封轴承。我的主力机长期这样使用倒是没啥毛病,但是我的服务器7x24开机,这个风扇在高强度使用3个月之后就撑不住了,幸亏没漏油不然那场景我不敢想。恰好总想搞点奇怪的大佬量产了mellanox网卡通用散热器,使用涡轮风扇自带温控板,果断入手。
由于拿到的是抢先体验版,温控版取电线缆的接口需要自行压接,我选择了xh2.54而不是一般主板上的KF2510,这是因为CX6自带风扇焊盘。每次看到这个风扇焊盘我都会感叹“
CX6真是个宝贝啊!
”
再次
感谢大佬,帮我焊座子,手残党已泪目
准备好压线钳、簧片、胶壳之后直接开始制作
供电线大功告成,下一步安装网卡散热,有一说一原厂散热片是真的难拆啊,恨不得拿水口钳给它剪断了
改造完成,接下来就是上机,先上几张上机图
利用fancontroller进行曲线设置,设置完后世界都安静了,仅仅300rpm即可将网卡压制至50℃。
因为服务器就在电脑桌边上,没有远距离传输的需求,所以我选择了DAC。若有远距离传输的需求那组网成本就要起飞了,sfp56模块现在没有垃圾可以捡,jd全新一支就要1800元,模块比卡还贵,根本负担不起。还是便宜大碗的DAC适合我,小黄鱼看了一圈能买到思科和华为50G DAC,由于之前买的安费诺的sfp28dac的拉环是黄色的,本着颜色统一的想法就买了华为的线。