百度宣布《移动搜刮建站优化白皮书》：网站优化篇

什么是死链及死链的尺度

页面已经无效，无法对用户提供任何有代价信息的页面就是死链接，较量常见死链情势共有 3 种，协议死链和内容死链是较量常见两种情势，除此之外尚有跳转死链。

√ 协议死链：页面的TCP协议状态/HTTP协议状态明晰暗示的死链，常见的如404、403、 503 状态等。

√ 内容死链：处事器返回状态是正常的，但内容已经改观为不存在、已删除或必要权限等与原内容无关的信息页面。

√ 跳转死链：指页面内容已经失效，跳转到报错页，首页等举动。

3.1.4  会见不变性

会见不变性首要有以下几个留意点：

DNS理会

DNS是域名理会处事器，关于DNS，这里提议中文网站尽也许行使海内大型处事商提供的DNS处事，以担保站点的不变理会。

分享一个DNS不变性的示例：

搜刮资源平台曾收到多个站长反馈，称网站从百度网页搜刮消散，site发明网站数据为0。

经追查发明这些网站都行使海外某品牌的DNS处事器 *.DOMAINCONTROL.COM，此系列DNS处事器存在不变性题目，百度蜘蛛常常理会不到IP，在百度蜘蛛看来，网站是死站点。此前也发明过多起小DNS处事商屏障百度蜘蛛理会哀求可能海外DNS处事器不不变的案例。因此这里提议网站，审慎选择DNS处事。

蜘蛛封禁

针对爬虫的封禁会导致爬虫以为网站不行正常会见，进而采纳对应的法子。爬虫封禁着实分两种，一种就是传统的robots封禁，另一种是必要技强职员共同的IP封禁和UA封禁；而绝大大都环境下的封禁都是一些操纵不妥导致的误封禁，然后在搜刮引擎上的回响就是爬虫不能正常会见。以是针对爬虫封禁的操纵必然要稳重，纵然由于会见压力题目要姑且封禁，也要尽快做规复处理赏罚。

处事器负载

抛开处事器硬件题目（不行停止），绝大大都引起处事器负载过高的环境是软件措施引起的，如措施有内存泄漏，措施出core，不公道混布处事（个中一个处事耗损处事器资源过大引起处事器负载增大，影响了处事器对爬虫会见哀求的相应。）对付提供处事的呆板必然要留意处事器的负载，留足够的buffer担保处事用具有必然的抗压手段。

其他工钱身分

工钱操纵不妥引起会见非常的环境是常常见到的，针对这种环境必要严酷的制度束缚，差异站点环境纷歧样。必要担保每一次的进级可能操纵要精确无误。

3.1.5  可会见链接总量

3.1.5.1  资源可穷尽

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!