记一次触目惊心的 DNS 缓存激发的惨案

时刻 2015 年的某个周六破晓 5 点，公司官方的 QQ 群有效户反馈官网打不开了，但有的用户反馈可以打开，客服爬起来本身用电脑试了一下没有题目，就给客户反馈说，也许是本身收集的题目，请过会在试试。

可是到了早上点 8 点，越来越多的用户反馈官网无法打开，而且有部门用户开始反馈 App 也打不开了，客服打电话叫起了还在梦境中的我。

说明定位

被客服叫起来之后，我一脸懵逼，不知道什么环境。然后给客服回覆，知道了，立即排查，待会有动静实时雷同。

用凉水洗了一把脸苏醒了一下，立即按照履历回想这两天出产投产的环境：上线了 XX 模块，不影响；修复了 XXBug，应该也不影响；刚给处事器设置了 https，看起来仿佛有点相关，可是 App 暂且没有投产 https，不会呈现题目，解除之。

打开电脑核查了最近的投产记录应该都不至于产生这么严峻的题目，随之猜疑是不是收集方面有题目，立即打电话叫起来运维司理以及相干人等一路排查。

一边让收集和运维解除题目，一边再次核查了 Web 处事器、数据库处事器、营业日记、数据库日记，以及其余的一些监控数据，各项皆正常。

试着在本机 ping 了一下域名确实不通，越发猜疑是收集题目，实行着直接行使外网会见，可以打开没有题目，可以根基确认处事没有题目，但运维部反馈收集装备什么都正常，必定是你们投产代码出题目了，各方硬着头皮继承在排查。

9 点，群里开始有大局限的用户反馈官网和 App 都打不开了，更有部门用户煽惑，XXX 公司跑路了（2015 年许多 P2P 公司跑路，导致用户都成了草木惊心，轻微有题目便畏惧公司跑路，个个都熬炼成了监控好手，每天看，及时刷，破晓起来尿尿也都趁便看一下 App 上的今天收益），客服 400 热线根基被打爆了。

一边继承排盘查题，一边上报此题目给总监、公司各高管，给客服提议，给用户表明，IDC 机房收集发抖，技能正在紧张办理，资金和数据都没有任何影响，稍安勿躁。

10 点，开拓和运维重复的搜查后，开始猜疑 DNS 理会有题目，但详细是什么题目还不清晰。

于是 CTO 抉择：

• 各人都打车往公司走，来公司集团办理。

• 在各 QQ 群、微信群给用户群发表明 xxx 题目，安慰客户。

在车上的时辰从头梳理了一下用户的整个会见流程，如下图：

到公司后，按照这个思绪各人在一路验证了一下，通过外网 IP 和内网 IP 会见公司全部处事都正常，可是通过域名会见不可，其它监控处事器、防火墙、收集装备日记都正常，因此断定是 DNS 理会呈现题目。

攻坚题目

既然确实是 DNS 理会题目，那么题目又来了？为什么 DNS 理会会呈现题目？怎样去办理这个题目？

一边给万网提工单，我们也本身测试一下电信、移动、联通在差异的收集运营商下面的会见环境，发明只有在联通收集的情形下 DNS 理会不了。

按照客服获得的反馈也验证了这个环境，电信和移动用户反馈很少，联通用户反馈最多。

于是我们又开始给联通打电话，刚开始联通不受理我们的这个哀求，于是又开始以用户的身份打电话给联通公司让立即办理不能上网的题目。

于是就开始了万网和联通的扯皮大战，万网说从他们何处查察 DNS 理会都正常，统统指标都正常。我们又给联通打电话，联通说我们已经知道了，待会由专业的人给我们回覆。

过了一会联通的收集工程师回覆说，像这种环境一样平常都是域名理会的题目。早上 10:30 到公司开始短短的 6 个小时内，我们几个轮番给联通公司合计共打了近 50、60 通电话，给万网提了 N 个工单，接了 N 个电话。

时代率领也开始动用各类相关，联通内部的伴侣、收集运维界的大拿资助来定位办理，我们也实行了许多的步伐。

好比，行使 ipconfig/flushdns 呼吁破除本机的 DNS 缓存、在万网的官网把 DNS 理会从头更新一遍、删除再从头添加等等，也不是完全没有收成。

我们一向想找一个可以测试各个处所、运营商收集的步伐，终于在各方保举和搜刮的环境下找了 17ce 和  360 奇云测 两个网站，感受很是适用。

在往后的收集定位中，成了我必备行使的器材，可以很是利便的监控各个运营商、各个地域网站的会见通不通、会见的速率快不快等题目，截图如下：

我们也发明，公司的其余域名也都会见正常，就是官网的这个域名和相干的子域名不通。

时代许多人都问了一个题目就是你们的域名有没有忘了缴费，刚开始各人也问了运维这边说是没有这个题目，直到午时 12:30 的时辰在我们再三的追问下才说 8 点多的时辰登录上万网的时辰表现这个域名是欠费状态，可是他已经立即把用度补了上去了。

哎呀！差点把我们气死，问了不是域名到期有提醒的吗？才知道由于上一个运维司理走后，他们没有实时的更新万网的电话和邮箱，导致提醒邮件和短信也没有收到。

通过和万网、联通公司、率领的相干伴侣雷同以及我们的测试调查，起源大白了这个工作的缘故起因：域名健忘缴费导致万网的 DNS 理会被遏制，用户本机可能 DNS 处事器有缓存，以是部门用户可以会见，部门用户不能会见。

缴费事后，万网的 DNS 已经举办了更新和推送，可是 DNS 理会有许多的层级必要一级一级的往下面发送更新，有的层级并没有更新到，导致部门没有更新到的 DNS 处事商下面的用户不能会见官网。

和万网举办了雷同，问最耽误的环境全部的 DNS 更新到最新的时刻，答复是 48 小时内必定城市好的，可是我们等不起呀。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!