去年秋天接了个机械配件厂的网站改版，老板姓周，厂子在沧州，专做非标紧固件。聊的时候他挺郁闷，说新官网上了快半年，百度收录就一直卡在三五个页面，投了点钱做关键词，烧了两万多，表单一个没来。他找之前做网站的公司，人家说是SEO需要时间，让他再等等。他等不住了，经人介绍找到我，让我帮忙看看到底啥问题。

我接手第一件事，就是查他网站的robots.txt文件。这一查就发现问题了——文件里写着Disallow: /wp-admin/、Disallow: /tag/，这些倒正常，但下面还跟了一句Disallow: /*?*，直接把所有带参数的URL全屏蔽了。WordPress后台的伪静态没设置好，文章页全是index.php?p=123这种动态链接，结果就是蜘蛛来了，发现整站都写着“别抓我”，只能空手回去。这属于最基础的robots配置错误，但凡懂点SEO的都不会这么干。

再说死链。他这个网站改版之前是个老站，被攻击过，后台被挂了一堆垃圾页面，被百度惩罚过好几轮。改版的时候他们只顾着换模板，完全没考虑把旧链接做301重定向到新页面。我拿工具一查，光死链就揪出来230多条，全是原来那些产品详情页和新闻页的地址。蜘蛛每次来都得吃一嘴404，爬行预算全耗在死链上，哪有功夫去抓新页面。这个过程整整浪费了四个月，百度收录上不去，周老板还一直以为是新站审核期，天天催着技术发外链。

还有一个特别容易被忽略的事，就是网站地图。他们那个建站公司压根就没给做sitemap.xml，我查了网站根目录，404。这就导致搜索引擎只能靠爬行链接去发现页面，而他们网站首页有几个产品分类入口是从导航里删掉的，只在首页底部放了一排不显眼的小字链接。蜘蛛每次来都只能看到几个重点页面，其余的等于在站内“迷路”了。后来我给他重新生成了一份sitemap，按照产品分类、新闻动态、案例展示分了三层结构，提交到百度搜索资源平台。两周后再看，收录从5个涨到40多个，后面一个月稳步爬到快100个。

周老板这事让我想起很多中小企业做官网的怪圈。大家总觉得网站做完就万事大吉了，也不管后台是什么框架，有没有给搜索引擎留口子。我之前碰过一个做食品包装的客户，网站是拿PageAdmin做的，后台有个设置叫“生成静态页”，他们一直没开，整个站全是动态页。百度蜘蛛说过来吧过来吧，页面加载倒也不慢，但就是收录了也不放出来，排名更没有。后来帮他们把伪静态打开，又过了一遍TDK，一个多月才开始正常收录。

还有一次是给一个做激光切割机的企业查服务器日志，发现有百度蜘蛛来的记录，但抓的全是首页和关于我们，产品页一个没碰。查来查去，发现是他们的导航菜单用的是JS动态渲染，蜘蛛爬不到。这个很多建站公司不会主动告诉你，因为改起来麻烦，涉及前端模板改动。最后我让他们把产品列表改成服务端渲染，顺便加了面包屑导航，问题才算解决。

所以很多时候，企业网站收录差，真不是什么高深的东西，就是一些最基础的设置没人管。建站公司交完活儿就撤了，企业自己又不懂技术，出了问题只能干着急。我给周老板总结了一个最简单的自查清单：第一，看后台有没有伪静态开关，打开网站随便点一个文章页，看看网址是不是带问号和等号；第二，把域名输入site:你的域名，看看收录数，如果只有首页和几个栏目页，别怀疑，肯定有东西挡住了蜘蛛；第三，检查robots文件，看看里面有没有写着什么奇怪的路径别让搜索引擎抓；第四，换手机浏览器打开网站，看看能不能正常加载，很多老站的移动端有问题，搜索引擎也会降权重。

这个周老板最后是花了四千多块，让我做了个彻底排查和整改，包括清理死链、重新配置robots、做sitemap、优化内链结构，还帮他把服务器换到了国内BGP机房。改完之后不到两个月，网站关键词有了排名，表单开始有线索了，他自己也说，早知道这钱一开始就花，不用浪费前面那两万多的投放。话虽这么说，但这种情况碰得多了也就习惯了，中小企业建站就是这样，永远是在踩坑里长大的。

其实写这篇文章的时候我也在想，很多企业老板对网站不收录的事，第一反应就是“要不要花钱发外链”“要不要找人写软文”。但真正常见到的情况，就是最基础的几个文件配置错了，或者后台设置不对。你让百度蜘蛛进不来你家门，你发再多外链、写再多软文都是白搭。先把技术层面的事情捋顺了，再谈推广营销才有效。

当然，每个网站的情况都不一样，有的可能是服务器IP被连累，有的可能是备案掉了，还有的是内容质量太低导致蜘蛛不抓取。你如果也遇到类似的收录问题，别急着花钱找人做推广，先从最基础的URL格式、robots、sitemap这三个地方查一遍，大概率能找到答案。要是这三个都没问题，那再考虑别的方向，咱们一步步来，不踩坑。