网站上线流量归零？运维盲区正 silently 吞噬用户

　　去年中秋那档子事儿，现在想起来还后脊梁发凉——网站刚上线，流量直接归零，监控屏上绿线全变平的，跟死机了似的。我原以为又是哪个开发手滑改了配置，结果查了一圈，发现是负载均衡的证书过期了，而监控系统压根没报这个指标。你说气不气人？证书过期这种事儿，按说该是基础中的基础，可偏偏就在上线那天卡壳了，用户访问直接被浏览器拦了，流量全掉坑里了。

　　那天我值班，凌晨三点被电话炸醒，开发说网站打不开了。我迷迷糊糊登跳板机，密码又过期了——这破系统，三天两头改密码，记都记不住。屏上并排开着三个终端，一个查负载，一个看日志，一个翻监控，结果发现所有节点的证书都显示“invalid”。我原以为只是某个节点没同步，结果全量检查，好家伙，全军覆没。更离谱的是，监控系统里“证书状态”这个指标，根本没配告警规则，等于睁眼瞎。

　　开发那边急得跳脚，说“怎么不早发现？”我他妈上哪儿发现去？监控系统是你们配的，指标是你们选的，告警阈值是你们定的，现在出事儿了倒怪起运维了？我一边骂一边翻备份，还好证书文件还在，赶紧手动更新。可更新完问题没解决——原来负载均衡的配置里，回源策略写错了，流量全被导到测试环境了。测试环境哪有人？自然流量归零。

文章配图，仅供参考

　　最搞笑的是，故障持续了俩小时，云厂商的工单系统才姗姗来迟，问“是否需要协助排查”。我直接关了工单——等你们来，黄花菜都凉了。后来复盘的时候，老板问“怎么避免再发生”，我说：“要么把监控配全，要么把上线流程卡死，要么多招两个人盯着。”老板说“成本太高”，我翻了个白眼——成本高？流量归零的损失不比这几个人的工资贵？

　　这事儿让我琢磨了好久：为什么这种低级错误会反复出现？后来想明白了——运维的盲区，从来不是技术问题，是“惯性”。大家太习惯“正常”了，监控配了常见的指标，日志看了常见的错误，测试走了常见的流程，可偏偏那些“不常见”的，比如证书过期、回源配置、inode耗尽（对，去年还遇到过一次inode满了导致无法写日志，流量也掉了一半），这些“边缘情况”才是杀手。就像椅子轮子卡着一根网线，平时没人注意，等你想挪椅子的时候，直接摔个狗吃屎。

　　开发同事总说“运维就是背锅的”，可他们不知道，运维的锅，十有八九是别人挖的坑。比如那次流量归零，表面看是证书问题，深层次是监控覆盖不全；而监控覆盖不全，是因为大家觉得“证书不会过期”“回源不会写错”——这些“觉得”，就是盲区。优胜劣汰的道理在这儿特别明显：谁先发现盲区，谁就能少摔跟头；谁假装看不见，谁就被用户抛弃。

　　后来我改了策略：每次上线前，必须拉个清单，把所有可能的“边缘情况”列出来，哪怕看起来再傻X——比如“证书是否过期”“DNS解析是否生效”“防火墙是否放行”——也要挨个检查。开发嫌麻烦，我说：“嫌麻烦就别上线，或者等流量归零了再麻烦。”他们就不说话了。

　　现在回头看，那次故障反而是件好事——至少让我们意识到，运维的“稳定”不是靠运气，是靠把每个盲区都照亮。当然，完全照亮是不可能的，总有些角落照不到，但至少得努力去照。就像机房的冷风机，虽然吵，但至少能让机器不过热——虽然有时候，它自己也会出故障，比如去年冬天，冷风机冻住了，机房温度飙到40度，我们又手忙脚乱地关机器、开空调、搬风扇……

　　说到底，运维就是跟各种“没想到”死磕。你永远不知道下一个坑在哪儿，但你可以尽量让自己别摔得太惨。至于那些“silent吞噬用户”的盲区，只能靠经验、警惕，还有一点点运气——毕竟，谁也不能保证自己永远不犯傻。

　　现在每次上线前，我都会盯着监控屏看半天，哪怕绿线平得像死水，也要确认每个指标都正常。开发有时候笑我“太谨慎”，我说：“你们要是经历过流量归零，也会变谨慎。”他们不说话了——因为他们知道，那种感觉，真的不好受。

　　至于未来？谁知道呢。也许哪天又会被某个“没想到”的盲区坑一把，但至少，我们现在知道该怎么找了——把灯开亮点，把清单列长点，把检查做细点。剩下的，就交给运气吧。

（编辑：草根网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!