方法论:先把尺子造准,再谈优化
GEO 最常见的失败不是没效果,而是用了错的尺子——用 5 次提问得出了一个被噪声主导的结论,然后据此做了三个月错的内容。这页公开我们怎么测、为什么这么测。
测量协议:AEMP-1 = AI Engine Mention Protocol(AI 引擎提及度测量协议),-1 为版本号。这是我们的内部代号,不是行业标准,也不是国家标准。
一、协议的基本约束
固定 720 条样本
6 家引擎 × 24 道题 × 5 次重复 = 720 条。
关键:总数不因通道变化而变。哪怕某家引擎只能用人工跑、只能抽检,协议总量仍然是 720。这个约束是为了保证 T0 / T+30 / T+90 三个时点的数据可比。
引擎必须锁版本
例如豆包锁定 doubao-seed-2-1-pro-260628。
不使用周级自动更新的型号——否则测出来的差异分不清是「内容起作用了」还是「模型换版本了」。配置前须核对厂商的模型下线公告。
跨引擎指标不可加总
火山方舟给的是答案级引用,通义给的是检索候选面,DeepSeek 官方 API 不提供托管搜索。
口径不同,混加就是假数。只做同引擎纵向对比(这个引擎今天 vs 30 天后),不做跨引擎加总。
失败必须显式降级
引擎跑不满就把口径改成抽检,并在报告正文写明「超出口径未计入 N 行」。
T0 实测中元宝与 DeepSeek 各24 条就是抽检降级的结果——如实标注,不凑数。台账里超口径的行保留不删,但不计入指标。
二、六项指标怎么定义
指标定义里藏着最容易出事的地方——下面第② 条是行业里最常见的自欺手法。
| 编号 | 指标 | 定义与口径说明 |
|---|---|---|
| ①a | 品类题提及率 | 问题中不含任何品牌名时(如「做 GEO 哪家好」),AI 主动提到你的比例。这是唯一能反映真实认知的指标。 |
| ①b | 品牌题复述率 | 问题已自带品牌名时(如「AI上榜是什么」),AI 能否复述出来。注意:这是复述不是推荐,混合值不可单独引用。 |
| ② | 首位推荐率 | 你的品牌出现在推荐名单第一位的比例。这个指标容易被小样本放大,需结合①a 一起看。 |
| ③ | 信源引用率 | 核心北极星指标。AI 回答所引用的来源里,有没有我们的内容。注意分母是「引用来源」,不是「回答条数」。 |
| ④ | 平台命中结构 | 各引擎实际在引用哪些平台的多少条引用 URL。这是排产依据,不是印象判断。 |
| ⑤ | 情感倾向 | 正面 / 中性 / 负面占比。需人工评审,评审样本数会一并报出。 |
| ⑥ | 事实准确率 | AI 复述你的信息时是否准确。同样需人工评审。 |
为什么① 必须拆开
如果把品牌题和品类题混算,就等于拿「复述」冒充「认知」。问题里已经写了「AI上榜是什么」,AI 答得出来天经地义——这个 100% 不含任何信息量。而真正该问的是「做 GEO 哪家好」,六个引擎一个都没提到我们,这才是 0.0% 的真实含义。
所以任何只给一个混合提及率的报告,都是不可信的。
三、让数据不可被追溯性美化:集合指纹
这是整套协议里最重要的一条工程纪律。
目标 URL 分两路,不可互替
domains 路:自有域名(如本站在册的 ai4boss.cn)——域名下任意页面命中都算。
urls 路:第三方平台稿件,必须精确 URL,绝不退化成域名匹配。
为什么 urls 路不许按域名算
因为谁都能发。按域名算会把别人的帖子算成「我们被引用了」——这是虚高,也就是编造数据。
还有一条容易漏的:公众号的短链与长链互不认识,两种形态都必须各登记一条,否则会出现「明明被引用了却统计成 0」的静默假阴性,而系统状态仍显示正常。
指纹机制
报告每次打印目标 URL 集合的 SHA1 指纹(例如 T0 阶段某个前缀为 b21fd441)。集合定稿后只增不删。
一旦指纹变了,说明口径变了,纵向对比即不成立,必须重跑基线。这条规则的全部目的就是:让「数字变好了」这件事,无法通过悄悄改口径来伪造。
四、我们明确不承诺什么
依据团体标准 T/CAPT 026—2026。这一节不是免责声明,是我们主动划出的能力边界。
不承诺排名与收录
第 8.3 条明令:不得承诺保第一、稳前三、永久收录、必然被引用、官方推荐。这一类表述我们一个字都不写进合同和宣传。
不宣称官方身份
第 10.6 条:不得把服务说成官方认证、平台背书或排他资格。我们引用团标是因为依据它,不是因为它认证我们。
不投毒、不伪共识
不制造虚假口碑、不伪造用户评价、不做答案霸权、不抹黑竞品。竞品对比只讲方法论差异。
不夸大能力形态
第 10.2 条允许自报实际具备的能力形态,我们据实描述服务范围,不把「能测」说成「能操控」。
不用未授权方法论做对外产品
内部自用的第三方方法论不直接对外售卖,对外产品一律用自研口径,避免授权边界问题。
不自证
自建监测自证属于循环论证。我们建议客户用第三方 SaaS 互证,也接受客户用自己的口径复核。
五、这套口径的实际代价
写出来是为了让客户判断我们是不是真在做事——下面这些成本是真的,不是包装。
| 项目 | 实测值 | 说明 |
|---|---|---|
| 单条自动采样耗时 | 文心 34s / 通义 45s / 豆包 80s | 豆包某题单条合法耗时可达 95~330 秒,超时阈值已从 120s 放宽到 300s |
| 自动通道 360 条一轮 | 约 40 分钟 | 首次实测 70 分钟,其中约 34 分钟是无效重试,修复后回落 |
| 人工通道 360 条一轮 | 约 4.5 小时 | 串行+录屏需 13.8 小时;并行不录屏约 4.5 小时 |
| 工程侧 | 537 项回归测试 | 四套测试合计,全部离线运行,每次改动后一起跑 |
也说说走过的弯路
- 脚本通道整个停用。曾用脚本驱动 Kimi / 元宝 / DeepSeek 的网页版采数据,3 天内两家被平台处置(元宝冻结、DeepSeek 禁言)。现在判定标准是「能否在不改变用户实际看到的界面的前提下拿到来源清单」,改走人工通道。
- 元宝用API 替代是错的。元宝的独家信源是微信公众号,而腾讯云联网搜索 API 官方明确不支持公众号内容——换API 会恰好漏掉最该抓的那一类信源,属于系统性假阴性,不是精度损失。
- 别把风险读成数据缺失。看到「某平台欠费」就以为数据要补,核实台账后发现采样早就跑完了,欠费发生在跑完之后。