AI上榜

方法论:先把尺子造准,再谈优化

GEO 最常见的失败不是没效果,而是用了错的尺子——用 5 次提问得出了一个被噪声主导的结论,然后据此做了三个月错的内容。这页公开我们怎么测、为什么这么测。

测量协议:AEMP-1 = AI Engine Mention Protocol(AI 引擎提及度测量协议),-1 为版本号。这是我们的内部代号,不是行业标准,也不是国家标准。

一、协议的基本约束

固定 720 条样本

6 家引擎 × 24 道题 × 5 次重复 = 720 条。

关键:总数不因通道变化而变。哪怕某家引擎只能用人工跑、只能抽检,协议总量仍然是 720。这个约束是为了保证 T0 / T+30 / T+90 三个时点的数据可比。

引擎必须锁版本

例如豆包锁定 doubao-seed-2-1-pro-260628。

不使用周级自动更新的型号——否则测出来的差异分不清是「内容起作用了」还是「模型换版本了」。配置前须核对厂商的模型下线公告。

跨引擎指标不可加总

火山方舟给的是答案级引用,通义给的是检索候选面,DeepSeek 官方 API 不提供托管搜索。

口径不同,混加就是假数。只做同引擎纵向对比(这个引擎今天 vs 30 天后),不做跨引擎加总。

失败必须显式降级

引擎跑不满就把口径改成抽检,并在报告正文写明「超出口径未计入 N 行」。

T0 实测中元宝与 DeepSeek 各24 条就是抽检降级的结果——如实标注,不凑数。台账里超口径的行保留不删,但不计入指标。

二、六项指标怎么定义

指标定义里藏着最容易出事的地方——下面第② 条是行业里最常见的自欺手法。

编号指标定义与口径说明
①a品类题提及率 问题中不含任何品牌名时(如「做 GEO 哪家好」),AI 主动提到你的比例。这是唯一能反映真实认知的指标。
①b品牌题复述率 问题已自带品牌名时(如「AI上榜是什么」),AI 能否复述出来。注意:这是复述不是推荐,混合值不可单独引用。
②首位推荐率你的品牌出现在推荐名单第一位的比例。这个指标容易被小样本放大,需结合①a 一起看。
③信源引用率核心北极星指标。AI 回答所引用的来源里,有没有我们的内容。注意分母是「引用来源」,不是「回答条数」。
④平台命中结构各引擎实际在引用哪些平台的多少条引用 URL。这是排产依据,不是印象判断。
⑤情感倾向正面 / 中性 / 负面占比。需人工评审,评审样本数会一并报出。
⑥事实准确率AI 复述你的信息时是否准确。同样需人工评审。

为什么① 必须拆开

如果把品牌题和品类题混算,就等于拿「复述」冒充「认知」。问题里已经写了「AI上榜是什么」,AI 答得出来天经地义——这个 100% 不含任何信息量。而真正该问的是「做 GEO 哪家好」,六个引擎一个都没提到我们,这才是 0.0% 的真实含义。

所以任何只给一个混合提及率的报告,都是不可信的。

三、让数据不可被追溯性美化:集合指纹

这是整套协议里最重要的一条工程纪律。

目标 URL 分两路,不可互替

domains 路:自有域名(如本站在册的 ai4boss.cn)——域名下任意页面命中都算。

urls 路:第三方平台稿件,必须精确 URL,绝不退化成域名匹配。

为什么 urls 路不许按域名算

因为谁都能发。按域名算会把别人的帖子算成「我们被引用了」——这是虚高,也就是编造数据。

还有一条容易漏的:公众号的短链与长链互不认识,两种形态都必须各登记一条,否则会出现「明明被引用了却统计成 0」的静默假阴性,而系统状态仍显示正常。

指纹机制

报告每次打印目标 URL 集合的 SHA1 指纹(例如 T0 阶段某个前缀为 b21fd441)。集合定稿后只增不删。

一旦指纹变了,说明口径变了,纵向对比即不成立,必须重跑基线。这条规则的全部目的就是:让「数字变好了」这件事,无法通过悄悄改口径来伪造。

四、我们明确不承诺什么

依据团体标准 T/CAPT 026—2026。这一节不是免责声明,是我们主动划出的能力边界。

不承诺排名与收录

第 8.3 条明令:不得承诺保第一、稳前三、永久收录、必然被引用、官方推荐。这一类表述我们一个字都不写进合同和宣传。

不宣称官方身份

第 10.6 条:不得把服务说成官方认证、平台背书或排他资格。我们引用团标是因为依据它,不是因为它认证我们。

不投毒、不伪共识

不制造虚假口碑、不伪造用户评价、不做答案霸权、不抹黑竞品。竞品对比只讲方法论差异。

不夸大能力形态

第 10.2 条允许自报实际具备的能力形态,我们据实描述服务范围,不把「能测」说成「能操控」。

不用未授权方法论做对外产品

内部自用的第三方方法论不直接对外售卖,对外产品一律用自研口径,避免授权边界问题。

不自证

自建监测自证属于循环论证。我们建议客户用第三方 SaaS 互证,也接受客户用自己的口径复核。

五、这套口径的实际代价

写出来是为了让客户判断我们是不是真在做事——下面这些成本是真的,不是包装。

实测耗时数据(瓶颈是模型思考时间,与请求间隔无关)
项目实测值说明
单条自动采样耗时文心 34s / 通义 45s / 豆包 80s豆包某题单条合法耗时可达 95~330 秒,超时阈值已从 120s 放宽到 300s
自动通道 360 条一轮约 40 分钟首次实测 70 分钟,其中约 34 分钟是无效重试,修复后回落
人工通道 360 条一轮约 4.5 小时串行+录屏需 13.8 小时;并行不录屏约 4.5 小时
工程侧537 项回归测试四套测试合计,全部离线运行,每次改动后一起跑

也说说走过的弯路

  • 脚本通道整个停用。曾用脚本驱动 Kimi / 元宝 / DeepSeek 的网页版采数据,3 天内两家被平台处置(元宝冻结、DeepSeek 禁言)。现在判定标准是「能否在不改变用户实际看到的界面的前提下拿到来源清单」,改走人工通道。
  • 元宝用API 替代是错的。元宝的独家信源是微信公众号,而腾讯云联网搜索 API 官方明确不支持公众号内容——换API 会恰好漏掉最该抓的那一类信源,属于系统性假阴性,不是精度损失。
  • 别把风险读成数据缺失。看到「某平台欠费」就以为数据要补,核实台账后发现采样早就跑完了,欠费发生在跑完之后。

常见问题

跨引擎的指标能不能加起来算总提及率?
不能。不同引擎返回的「引用」口径本身不同:有的给答案级引用列表,有的给检索候选面(检索到但不一定被采用)。加总等于把不同含义的数字混在一起,比值不可解释。我们只做同一引擎的纵向对比。
为什么要给指标集合打指纹?
防止悄悄改口径还拿旧数字做对比。目标 URL 集合在报告里会打印一个 SHA1 指纹,定稿后只增不删。指纹一变,纵向对比就不成立,必须重跑基线。这条规则让「数字变好了」无法被追溯性地美化。
引擎跑不满 120 条怎么办?
显式降级,并如实记进口径缺口,绝不静默凑数:把该引擎口径改为抽检(如每题跑 1 次),报告正文明确写出「超出口径未计入 N 行」。未登记的引擎名不过滤——宁可多算,也不允许静默丢样本。
「没检索」和「搜了但没采纳」有什么区别?
这是两种完全不同的问题,必须分开统计。前者是通道/权限问题(例如某引擎 API 不提供托管搜索),后者是内容质量问题(检索到了但内容不值得引用)。合并统计就看不出该修哪一环。另外只能拿到回答正文、拿不到来源清单的,不计入信源引用率——分不清是引用还是复述。
AEMP-1 会公开吗?
协议的核心约束(样本构成、指标定义、降级规则、指纹机制)我们在本页公开,因为这些是我们对客户的承诺基础。但完整的工程实现涉及通道细节和踩坑记录,属内部文档。如需完整版可联系我们索取。