AI来抓你官网了

先说一个马上要生效的变化：9月15日起，全球约两成网站流量的「守门人」Cloudflare，要给AI爬虫立新规矩了。

按照公开披露的新政，所有AI公司必须把「搜索引擎爬虫」和「AI训练爬虫」的身份彻底分开；新接入的网站，默认策略反转——搜索类爬虫照常放行，训练类和代理类默认拦截。想被AI读到，得自己动手开门。

很多老板听到这新闻的第一反应是：「好事啊，总算有人管管这些乱抄内容的了。」

这个反应对了一半。管，是真管；但另一半天机是——当你把门关死的时候，AI也顺手把你从答案里删掉了。

一、你网站的「读者」，正在换成机器人

先看一组数。Cloudflare的监测显示，2026年上半年，机器人产生的网络流量已经正式超过真人流量，比业界预测整整提前了一年。照这个趋势推下去，五年内机器和真人的访问比会拉开到一千比一。

SEO时代，你讨好的是搜索引擎的排名算法——它把你的网页排前面，把访客送回来。GEO时代，站在你网站门口的换成了AI爬虫——它们读完就走，不带回访客，只带走认知。AI嘴里的你什么样，就是它们读出来什么样。

读者换了，待客方式就得换。可大多数企业的网站，还是按「给人类看」的标准装修的。

二、AI爬虫到你家门口，先摸门卫

爬虫访问一个网站，第一个打交道的是谁？不是你的首页，是门卫——robots.txt文件和防火墙规则。

robots.txt是放在网站根目录的一份「接待守则」，逐条写着哪类爬虫可以进、哪类免进。很多企业的守则是多年前写的，里面躺着一句老规矩：「User-agent: * Disallow: /」——所有爬虫一律免进。当年这么写是为了省流量、防攻击，没毛病。但放到今天，它把GPTBot、ClaudeBot这些AI爬虫也一并挡在了门外。

还有更隐蔽的：CDN和防火墙的安全策略。不少企业开了「严格防爬」模式，AI爬虫一露头就被人机验证拦住。防火墙日志里那一条条被拦截的记录，很可能就是一家家AI公司派来「认识你」的访客——你花钱做安防，它们替你谢客。

新政策下，这件事从「可以不管」变成了「必须表态」：训练类爬虫（拿内容去练模型的）放不放行，企业可以自己权衡；但代理类爬虫（用户在AI里提问时，AI现去网上查资料用的）一定要放——那是客户正在提问的时刻，是AI把你的名字带进答案的直接通道。把这类爬虫拦了，等于客户问AI的时候，AI连你官网的门都敲不开。

三、门开了，AI进店抄什么

门卫放行了，爬虫进店。它逛了一圈，抄走什么？

很多老板的直觉是：我官网做得漂亮，视频、大图、动画一应俱全，AI肯定印象深刻。恰恰相反——AI抄不动这些。它读的是文字结构：定义句、参数表、对比页、更新日期。你的宣传片再精美，在AI眼里约等于一张海报；你页面里一句「我们只做商用净水工程，服务连锁餐饮与工厂」，反而会被它原样抄进语料。

我们服务过的客户里，做净水的外资品牌3M、做暖通压缩机的谷轮、做空气净化器的爱优特，起步时官网都不缺「门面」，缺的是「货架」——AI能直接摘走的货。

给AI备货四件套：

① 定义句。一句话说清做什么、服务谁、覆盖哪。AI写答案最爱抄现成的定义。

② 参数表。型号、规格、适用场景、价格区间，做成干净的表格。AI引用表格比引用段落更准。

③ 对比页。「为什么选我们、跟传统方案差别在哪」。没有对比素材，AI拿你跟竞品比时，只好凭全网印象发挥——比如把只有30年历史的客户说成「80年老牌」，这个我们真碰到过。

④ 更新日期。页面标注「最后更新于」。AI偏好新鲜信息，没日期的内容容易被当旧闻压秤。

这四样没有一样是新技术，全是老实的案头工作。难的不是写，是坚持把官网每一页都写成像「答案」的样子——AI爱引用长得像答案的内容。

四、GEO的完整闭环：开门→备货→站外布点

看到这里你会发现，GEO这件事的顺序比想象中朴素：先让AI能进来（开门），再让AI有东西可抄（备货）。这两步都在自家一亩三分地里，是站内的功夫。

但只做站内，不够。AI认识一个品牌，官网只是很小一块拼图，它更信的是全网对你的共同描述——权威媒体怎么写你、百科词条怎么定义你、问答社区里用户怎么议论你。这些站外信源，是AI的「信任名单」：它反复回去核对的那些地方。内容布不到那里，AI核对你的时刻就只有你自说自话。

站内开门备货、站外布点背书，两件事拼在一起，才是完整的GEO施工图。市面上有些服务只做其中一环就敢承诺「进AI推荐」，客户钱花了，AI的答案里还是没有你。判断方法也简单：只出报告不开工的，是体检机构不是施工队；GEO要做的是排查、施工、验收的闭环。

五、三个自查动作，十分钟摸清现状

不用懂技术，打开电脑十分钟就能做完三步：

第一步，查通行。浏览器打开「你的网站域名/robots.txt」，看里面有没有把所有爬虫一律拒之门外，再想想防火墙是不是也开了严格防爬。

第二步，查引用。打开豆包或者DeepSeek，问你行业里「哪些品牌靠谱」这类宽问题，看它列的名单里有没有你；再追问一句「你的信息来自哪些网站」，看它引用的是谁。

第三步，查口径。接着问「你了解某某品牌吗」（换成你自己的牌子），听AI怎么介绍你——业务说得对不对、历史有没有编。说得不对的地方，就是AI手里关于你的「假背景」。

三步的结果对应三件事：门没开，先改门卫；名没提，先补货架；话说错，先纠口径。这一轮自查查出的问题清单，就是你的GEO施工顺序表。

六、别等客人来敲门

回到开头那个9月15日的新政。它表面上是给AI公司立规矩，实际上是给所有企业提了个醒：AI可见性，从「顺其自然」变成了「需要表态」。

过去二十年，大多数企业对搜索引擎的态度是「等」——等客户来搜，等排名自己爬。那套打法在「人有耐心翻十页结果」的时代勉强够用。现在客户的耐心只剩一屏答案，你的信息还锁在门里，等就是把这个市场让给同行。

从「等」到「动」，中间隔的就是一扇门、四件货、一圈站外布点。都不贵，都别等。