上周三凌晨两点半，我还在华东一家数据中心跟运维组的老陈吃夜宵，监控室的电话突然炸了。告警平台跳了8条红色警告，3号机柜一排服务器突然离线了五台，机柜温度直接冲到42度，再拖半小时可能就要烧硬盘。老陈抹了把嘴就往机房跑，路过工具间顺手拉了台机房运维推车，我跟着他一路跑，全程两小时搞定故障，没耽误第二天上午的业务带宽扩容，全程最直观的感受就是，工具不用来回跑着拿，真的能省一半时间。
接警后第一时间往推车上码的三类必备工具
老陈拿推车的时候根本没犹豫，顺手就往层板上放东西，我数了下，三类工具放得整整齐齐，连个多余的动作都没有。第一类是检测工具，他最先拿的就是数字万用表，还有光功率计、网线测试仪，按他的话说，硬件故障第一步先测电，再测链路，这几个是吃饭的家伙，少一样都得卡壳。第二类是常用备件，他塞了两个冗余电源模块，三个备用风扇，还有一小盒不同波长的光模块，说最近3号机柜刚扩容完，电源和风扇负载高，出问题的概率最大，备件带够了，排查出问题当场就能换，不用再跑备件库来回耽误二十分钟。第三类是辅助工具，防静电腕带、手电筒、标签纸、十字一字螺丝刀全套，还有个小折叠凳，他说蹲在机柜底下查线半小时，腿麻得站都站不起来，有个凳子能省不少力气。
我当时还问他，为啥不直接拎个工具包就走，他翻了个白眼说，上次有个新运维就是拎包去的，查到一半发现没拿备用光模块，跑回去拿的时候路上还摔了一跤，多耽误了四十分钟，差点给客户赔了违约金。机房运维推车层板多，东西分开放，找的时候不用在包里乱翻，手上沾了灰也不怕蹭到包里的备件，这都是踩过多少坑才攒的经验。
排查前先给推车找对停靠位置，少走很多冤枉路
到了3号机柜跟前，老陈没直接开柜门，先把机房运维推车停在了机柜右侧离柜门80公分的位置，刚好不挡着冷通道的送风，也不用来回挪车就能拿到所有工具。他说这位置是有讲究的，首先不能挡着相邻机柜的柜门，万一旁边机柜也出问题，不至于打不开门；其次要在冷通道一侧，别靠热通道，不然吹出来的热风烤得人难受，推车上的备件待久了也容易受高温影响。
他先给手腕套上防静电腕带，另一端卡在机柜的接地螺柱上，先查监控数据，五台离线的服务器都是同一个PDU回路供电的，首先就怀疑是电源问题。他从推车上拿了万用表，直接测PDU输出端的电压，三个插孔有一个电压只有160伏，明显是供电不稳。按流程本来要先上报，但是他之前带了备用电源模块，直接先把异常PDU上的插头换到备用回路上，先把服务器的电供上，温度慢慢往下降，先保住设备再说，后续再查PDU的问题。这要是没带万用表，还得先排查是不是服务器本身的电源故障，至少多花半小时。
定位风扇故障时，随车备件直接换上省了半小时
供电恢复之后，服务器陆续开机，但是有两台服务器的风扇告警还没消，系统日志显示风扇转速只有正常值的三分之一。老陈直接从机房运维推车上拿了备用风扇，关机、拆盖板、拔旧风扇、插新风扇，前后不到十分钟就换完了，开机之后告警直接消了。他说这要是没带备用风扇，要么得等备件库的人送过来，要么就得自己跑回去拿，来回至少二十分钟，风扇转不起来的话，服务器很容易因为高温自动关机，到时候又得报故障。
换完风扇之后还有个小问题，其中一台服务器的光口链路一直起不来，他拿光功率计测了下，光模块的收光功率低于阈值，大概率是光模块烧坏了。他又从推车上的备件盒里拿了个同型号的光模块换上，插上线之后链路直接通了，连测试都不用多做。那天整个故障排查加修复，满打满算用了一小时五十分钟，要是换以前工具带不全，至少得三四个小时，后半夜就别想睡觉了。
| 故障类型 | 无推车时所需工具获取时间 | 有机房运维推车时所需时间 | 效率提升比例 |
|---|---|---|---|
| 电源故障排查 | 15分钟（回去拿万用表） | 1分钟（直接拿） | 93% |
| 风扇更换 | 20分钟（去备件库取） | 3分钟（直接拿） | 85% |
| 光模块更换 | 18分钟（回去找对应型号） | 2分钟（直接拿） | 89% |
容易忽略的细节：运维推车的层板要做防滑处理，别放易碎备件
那天排查完我才注意到，老陈用的那台机房运维推车，每层板边缘都有一公分高的挡边，层板表面还有防滑纹，他说之前踩过大坑，以前买的那种普通平板推车，推着走的时候颠了一下，上面放的光模块直接滑下来摔碎了，好几百块钱的东西就这么没了。现在他们选的推车，每层都有挡边，放备件的时候不用担心掉下来，还有专门的抽屉放小零件，比如螺丝、跳线帽这些，不会到处滚。
还有个很多人容易忽略的点，推车的脚轮一定要选带刹车的，而且要静音。那天推车停在机柜旁边，老陈踩了刹车，怎么靠都不会滑，要是没刹车，人靠一下推车滑走了，手里拿着螺丝刀很容易刮到服务器的面板。静音脚轮也很重要，机房本来就吵，要是轮子吱呀吱呀响，凌晨的时候更闹心，而且有的机房对地面要求高，静音脚轮不会刮花地板，也不会留下黑印子，不用事后打扫卫生。
我们厂做推车这么多年，给不少数据中心做过定制款，普造的运维推车基本都会默认加挡边和静音刹车轮，就是因为这些小细节看着不起眼，真到用的时候能省不少麻烦。上个月还有个客户问，能不能在推车上加个可折叠的小桌板，放笔记本电脑测数据的时候不用抱着，我们已经加进新款的设计里了，下次给老陈他们机房换车的时候就能用上。
下次机房采购运维推车的时候，先把你们常用的工具尺寸、备件数量列个清单发给厂家，适配着选就行。
