核心结论：Cloudflare 在 2026 年度创始人公开信中判断，互联网正经历 2010 年以来最大变革。自动化流量已于 2026 年 5 月超过人类流量，按当前趋势，5 年后可能达到人类流量的 1000 倍。AI Agent 不只是新流量入口，也在制造两个新问题：网站被大量爬取却得不到回报，以及存量品牌更容易被 Agent 推荐、新入局者更难被发现。Cloudflare 给出的方向是“减少无效抓取 + 让内容调用产生付费回报”，而普通开发者、创作者和企业应尽快把内容、服务和权限规则做成 Agent 可识别、可授权、可结算的形态。【AI时代的搜索引擎优化－MCP】
一、背景：为什么这封信值得技术人、创作者和老板一起读？
2026 年 9 月 27 日，Cloudflare 迎来成立 16 周年。联合创始人 Matthew Prince 与 Michelle Zatlyn 按照惯例发布年度公开信。与以往更多谈产品、网络和安全不同，这一封信的重点已经从“保护网站”扩展到“重新安排互联网的价值分配”。
Cloudflare 的特殊之处在于，它同时拥有全球流量观测、爬虫治理、开发者平台和内容交付网络。它看到的不只是单网站访问日志，而是网页总量、机器人流量、AI 爬虫行为和 Agent 调用趋势的整体变化。因此，这封信对开发者、内容创作者、中小企业和平台决策者都有参考意义。
可以把这一轮变化压缩成 4 个信号：
| 关键信号 | 公开信中的判断 | 影响 |
|---|---|---|
| 网页重新爆发 | 2012—2025 年网页总量停滞，2025 年年中开始爆发增长 | AI 降低创作门槛，新供给大量出现 |
| 流量结构切换 | 2026 年 5 月自动化流量超过人类流量 | 产品不能只服务人类浏览器 |
| 成本错配 | 超过一半优质爬虫抓取的内容自上次访问没有变化 | 网站承担负载，收益却未必增加 |
| 分配重构 | Agent 使用内容时，内容方应获得回报 | “流量—广告/订阅”之外需要新模式 |
二、变化一：网页规模重新爆发，AI 释放的不只是垃圾内容
公开信提到一个容易被误解的现象：2025 年年中之后，新网站出现了爆发式增长。很多人第一反应是“AI 批量生成低质量内容”，但 Cloudflare 的观察更倾向另一个解释——AI 正在释放大量原本不会写代码的创作者。
这些人有想法、有服务经验、有行业理解，但过去缺少把想法变成产品的编程能力。所谓“vibe coding”工具，让他们可以用自然语言描述需求，再通过生成式开发流程快速完成网站、应用或内部工具。Cloudflare 公开信中的数据是：已有超过 700 万开发者在其开发者平台上构建应用。这个数字未必全部代表传统职业工程师，反而说明开发主体正在扩大。
对技术从业者来说，这里有两个层次：
- 做出来的门槛下降：一个想法从“写在备忘录里”到“上线可访问”的时间被大幅压缩。
- 被找到的难度上升：供给变多后，分发、检索、信任和付费转化并不会自动发生。
所以，“技术红利”不等于“生态红利”。你可以更快做出产品，但如果 Agent、搜索引擎和推荐系统无法理解你的产品，或者你的服务无法被结构化调用，新机会仍然很难落到你手里。
三、变化二：自动化流量已经超过人类流量
公开信中的另一个关键判断是：Cloudflare 原本预测自动化流量会在 2027 年下半年超过人类流量，但 AI Agent 和 AI 爬虫把这一时间点提前到了 2026 年 5 月。
这不是简单的“机器人变多”。过去很多机器人是为了搜索索引、漏洞扫描或批量采集；现在 Agent 会替用户完成更复杂的任务，例如找餐厅、比较价格、阅读文档、总结内容、调用 API、完成预订或生成报告。一个用户请求背后，可能对应几十次甚至上百次网页抓取和接口调用。
Cloudflare 进一步判断，如果趋势持续，5 年后自动化流量可能达到人类流量的 1000 倍。这个预测的重点不是人类消失了，而是 Agent 成了新的中间层：人类表达意图，Agent 负责检索、比较、决策和执行。
过去，网站要回答的问题是：“人类访客能不能看懂我？”
现在，还要回答：“Agent 能不能准确读取我？我允不允许它读？读完后谁能获得收益？”
四、风险一：爬虫负载的“公地悲剧”
公开信用一个很形象的例子解释了问题：你让 AI Agent 推荐附近的午餐，它可能查询 1000 家餐厅的菜单，最后只推荐 1 家。被推荐的餐厅获得订单，另外 999 家餐厅却承担了响应查询的成本，却没有得到任何回报。
这就是典型的“公地悲剧”：
- Agent 用户希望得到全面、实时、准确的结果；
- Agent 为了完成任务，会尽可能扩大抓取和比较范围；
- 网站承担带宽、计算、数据库查询和维护成本；
- 绝大多数被抓取的网站没有转化，也没有收益；
- 每个参与方都在理性使用公共资源，但整体生态成本被外部化。
Cloudflare 还给出了一个具体数据：超过一半优质机器人抓取的内容，自上次访问后没有发生变化。也就是说，很多抓取并不带来新信息，只是在重复消耗源站资源。
这解释了为什么“只抓增量”很重要。如果爬虫能明确知道哪些内容已经更新，就无须反复读取完整页面。这样既能保持 Agent 结果的新鲜度，也能减少源站压力。
五、风险二：Agent 可能加剧垄断，让新入局者更难突围
第二个风险更隐蔽：Agent 依据已有信息做推荐。谁的历史内容更多、结构化数据更完整、品牌曝光更久，谁就更容易进入候选集。人类消费者可能因为位置、人情、装修、服务体验、朋友推荐而选择一家小店；Agent 则更依赖可读取的信息存量。
公开信用 Cloudflare 自己的创业经历举例：如果当年已经有 Agent 替用户筛选公司，一家没有历史数据的新公司可能很难被推荐。Cloudflare 能成长起来，很大程度上是因为人类愿意尝试新东西、愿意承担不确定性。
这会给生态带来两个后果：
- 强者自我强化：老牌主体信息更多、引用更多，Agent 又更容易推荐它们。
- 新供给难以被看见：新产品、新商家、新创作者即使质量更好，也可能缺少被 Agent 理解的入口。
所以，问题不只是“AI 会不会抢走流量”，而是“AI 决策链路会不会压缩新人的机会”。一个健康的互联网，必须给新入局者留出被发现、被引用、被付费的通道。
六、旧商业模式为什么会失效？
过去互联网的常见闭环是：
创作者生产内容 → 内容获得搜索/社交流量 → 流量进入网站 → 通过广告、订阅、电商或线索转化变现这个闭环的前提是：用户必须到达网页，创作者才有机会展示内容或商业信息。
Agent 时代发生了变化：
用户提出意图 → Agent 检索多个来源 → Agent 抽取、总结、比较 → Agent 直接给出答案或执行动作 → 用户可能不再访问源网页当用户不再点击，广告曝光减少；当 Agent 直接总结内容，订阅页和付费墙也更容易被绕过；当 Agent 只推荐少数结果，转化会更集中。于是，“内容生产者承担成本、平台或 Agent 获得价值”的错配会继续放大。
公开信的判断是，未来 5 年最重要的命题之一，就是建立替代性的可持续商业模式。它不再只是内容行业的问题，而会扩展到线下商家、SaaS 产品、数据服务、专业知识和长尾创作者。
七、Cloudflare 给出的解法：降低无效负载，让调用产生回报
Cloudflare 的方案可以拆成两层。
7.1 技术层：让爬虫只抓取更新内容
对网站来说，最直接的成本是重复抓取。Cloudflare 正在推动爬虫“看见更多网页，但只抓取新内容”。逻辑上可以理解为一个增量同步协议：
Agent 请求内容
↓
判断内容是否更新
├── 未更新 → 返回轻量状态，不重复传输完整页面
└── 已更新 → 返回新增或变更内容，并记录授权/计费信息这能减少带宽、CPU、数据库查询和缓存压力，同时让 Agent 获得更及时的数据。
7.2 商业层：Agent 使用内容时，内容方获得付费回报
第二层更关键：Cloudflare 希望让把内容或应用放到网上的人，在 Agent 使用其成果时获得报酬。这里的价值不一定只有“按次付费”，也可能包括授权订阅、API 调用计费、数据授权、转化分成等多种形式。
理想模型大致是这样：
{
"content": "OPCGrow 技术学习文章",
"allowed_use": ["summary", "quotation", "api_call"],
"attribution_required": true,
"pricing_model": "per_call_or_subscription",
"payment_recipient": "content_owner"
}重点不是某一种固定协议，而是三个能力必须成立：
- 可识别：网站能知道是谁、哪个 Agent、为了什么用途访问内容。
- 可授权：内容方能决定允许总结、引用、训练、实时调用，还是拒绝访问。
- 可结算：使用发生时，收益能回流到内容方或应用方。
Cloudflare 也强调，这个变革不会由一家公司完成，而是需要更多企业、机构、创作者和开发者共同参与。
八、我们能做什么？给四类读者的行动清单
8.1 开发者：把“人类可读”升级为“Agent 可读”
开发者不应只面向浏览器设计页面，也要面向 Agent 和自动化系统设计接口。最低成本可以从三件事开始：
- 提供清晰的产品说明、接口文档、价格和限制；
- 使用结构化数据描述页面和业务实体；
- 区分允许的公开内容、需要授权的内容和禁止访问的内容。
例如，可以在站点根目录提供一个面向 AI 爬虫的说明文件：
# llms.txt 示例
Site: OPCGrow
Purpose: Publish technical learning notes and business system guides.
Public content: /articles, /guides
API docs: /docs/api
Contact: [email protected]
Policy: Attribution required for quotations. Commercial reuse requires permission.再用 JSON-LD 描述核心业务对象：
{
"@context": "https://schema.org",
"@type": "Course",
"name": "Cloudflare 入门到精通",
"description": "从域名接入、缓存、安全到 Workers 部署的实战课程。",
"provider": {
"@type": "Organization",
"name": "OPCGrow"
},
"offers": {
"@type": "Offer",
"price": "29",
"priceCurrency": "USD"
}
}同时，建议接入 Cloudflare AI Audit 或类似观测工具，看清哪些 AI 爬虫在访问你，抓取频率是多少，哪些路径被调用最多。
8.2 内容创作者：不要把所有内容免费暴露给未授权爬取
创作者需要从“发布文章”转向“管理内容资产”。可以先做 4 个判断：
- 哪些内容希望被公开索引，以获得品牌曝光？
- 哪些内容只允许摘要和署名引用？
- 哪些内容必须付费或订阅后访问？
- 哪些内容禁止被商业模型或商业 Agent 使用？
如果没有这些规则，网站很容易默认承担全部成本，却失去收益谈判空间。
8.3 中小企业：让服务信息进入 Agent 可理解的决策链路
对餐厅、工作室、门店、本地服务商来说，口碑和位置依然重要，但 Agent 还需要能读取的标准化信息。至少要整理：
- 营业时间、地址、联系方式；
- 服务项目、价格区间、库存状态；
- 预约方式、取消规则、支持地区；
- 评价、资质、案例图片和常见问题。
如果这些信息只存在于图片、短视频或口头介绍里，Agent 就很难准确推荐你。
8.4 决策者和创业者：关注 Agent 经济基础设施
除了模型本身，未来还会出现一批围绕 Agent 的基础设施机会：爬虫治理、内容确权、身份与信任、微支付、授权管理、Agent 行为审计、调用计费和反作弊。谁能降低“Agent 使用他人资源”的摩擦，同时保证价值回流，谁就有机会成为新生态的关键节点。
九、结论：互联网需要新的价值分配机制
Cloudflare 这封公开信最重要的提醒是：AI 不只带来效率提升，也带来隐性成本。爬虫负载是显性成本，市场集中和新者难入是结构性成本。如果只追求回答速度和自动化体验，却让内容方、数据方和中小商家长期无收益，整个生态最终会失去新供给。
Cloudflare 的愿景不是让 5 家巨头赢得所有机会，而是让 50 万家 AI 创新企业有成长空间，让创作者获得报酬，让新产品有公平竞争的机会。它的使命也不是独自建造完美互联网，而是“帮助共建更好的互联网”。
对我们来说，行动也很明确：
把内容做成可被理解的结构，把权限写成可执行的规则，把价值回流设计进产品闭环。
Agent 时代的第一批赢家，未必是最会写提示词的人，而是那些既懂得降低协作成本，又能保护自身价值的建设者。
评论区
0 条评论 · 评论需审核通过后显示
发表评论