封面

系列:小智AI 实战连载 · 第 11 篇
承接第 09 篇《小智AI自定义唤醒词:把「你好小智」改成任意中文词(MultiNet7本地实测)》。

换完唤醒词之后,最常被问到的一个问题是"能不能把门限调低一点,让它更灵敏"。

这个问题看起来是个参数调整,其实是个判定问题:调低门限会让"该唤醒的"更容易命中,也会让"不该唤醒的"更容易命中——两边同时放大。如果没有分母,你永远不知道自己是赚了还是亏了。

这篇记录我怎么做完这个判定的:先写死判据,再上机跑 30 次配对剂量,最后结论是保留 0.20,不降到 0.08。过程里还踩废了一版仪器,那段可能比结论更有用。

一、先给结论

保留 threshold 0.20。

臂threshold唤醒尝试命中
A(门限 20)0.203019(63.3%)
B(门限 8)0.083020(66.7%)

Fisher 精确检验 p = 1.000。也就是说:在这套剂量下,把门限砍掉 0.12,没有换来任何可观测的召回收益。

而代价是明确的——判决线从 0.20 降到 0.08,等于把所有 0.08~0.20 之间的声音都当成"可能是唤醒词",无偿扩大误触面。收益 0、代价非 0,这个交换不该做。

门限 0.20 与 0.08:30 次配对实验的结果

二、为什么"降门限"是最诱人的错答案

直觉是这样的:门限 0.20,现场三次命中的置信度是 0.302 / 0.501 / 0.371,最低那次只比门限高 0.10。看着"余量很薄",于是想下调。

但有一组数把这个直觉打穿了:

证据读数说明
现场 3 次真人命中prob 0.302 / 0.501 / 0.371门限 0.20 下能过
1 kHz 纯音长音prob 0.5637一次误触发,分数比真人命中还高

纯音能打到 0.56,真人命中最低只有 0.30。

这说明 MultiNet 输出的置信度不是"真人语音高、非语音低"的干净分离器。它更像一个"这句话有多像唤醒词"的相似度分,而不是"这是不是人在喊我"的概率。既然如此,“最低命中只比门限高 0.10,所以门限太高"这个推理根本不成立——真正的余量不是 0.10,而是"真人下限 0.30 与噪声上限 0.56 之间的重叠区”。

重叠区存在,降门限就是在重叠区里做交易。要做这个交易,只能靠同一台架、同一批话、只换 threshold 的配对实验,不能靠单点读数。

三、单变量设计:只动 assets 里的一个字段

唤醒词的门限不在 app 里,在 assets 分区(0x800000)的 index.json 中。这一点决定了实验可以做得非常干净:

资产大小shathreshold
delivery_assets_wheat.bin(现役交付)2,951,622 B9884c94a…0.20
assets_thr8.bin(对照)2,951,623 B7bae81ab…0.08

两个文件只差 index.json 里的 "threshold": 0.08 这一处,app 逐字节不变。所以整个实验是真正的单变量:换的不是固件,是一个 JSON 字段。

烧录纪律(这条别省):

# 只烧 assets 分区,不动 NVS(里面是 WiFi 凭据),不 erase flash
python -m esptool --chip esp32s3 -p COM15 -b 460800 --before default-reset --after hard-reset ^
  write-flash 0x800000 C:\Users\34586\esp\elf_archive\assets_thr8.bin

# 复原时换回交付资产
python -m esptool --chip esp32s3 -p COM15 -b 460800 --before default-reset --after hard-reset ^
  write-flash 0x800000 C:\Users\34586\esp\elf_archive\delivery_assets_wheat.bin

顺序是 A1(0.20)→ B(0.08)→ A2(0.20)。A2 不是重复劳动,它是漂移对照:同一句话、同一个位置,中间隔一次烧录再测一遍。如果 A2 和 A1 差得太多,说明这次会话的嗓音/位置/环境在漂移,A1 与 B 的比较直接作废,不解释成门限效应。

开机门控每次都要看这三行,少一行这次数据就不要:

Model 1: mn7_cn
detector: MultiNet
Command: xiao mai xiao mai
Reset reason: 1

四、仪器作废:开口环会把分母偷走

第一版仪器很朴素:固定间隔直接放 TTS 语料,放一条、等一会儿、再放一条。

跑完发现 20 条语料只产生 2 次有效 idle 尝试。日志里 listening -> speaking 出现 24 次,server goodbye 0 次——设备根本没进待机,一直在会话里。

原因是这块板没有 AEC:设备自己的回复被自己的麦克风回采,只要外部还在连续出声,会话就一直续着,永远回不到 idle。而唤醒检测只在 idle(state 3)工作(WAKE_WORD_DETECTION_IN_LISTENING=n)。

后果很隐蔽:那些"放出去了但设备在说话"的尝试,静默变成了会话内 ASR,不进分母。分母假性缩小,命中率就会被算高。

改法是把仪器从"定时放音"改成"看状态放音",三条门控:

  1. 只在日志出现 State: idle 后发声;
  2. idle 必须已稳定 4 秒(避免刚进 idle 就被自己上一句话的余音打断);
  3. 命中后等 listening -> idle 再继续下一次,每次记录 state_before、是否命中、prob。

脚本叫 wake_tts_dose.py:同一进程读串口 + winsound 放 WAV,状态机和放音在一条时间线上,不会互相抢时序。那一版作废的数据只保留两条事实——唤醒链路是通的:PC 中文语音两次命中,prob=0.546 和 prob=0.394,两次都发生在 idle。

五、预注册判据:跑之前就写死

这条是我认为最值得抄走的部分。判据必须在看到数据之前写死,否则你一定会为已有数据找一个能通过的解读。

门限 8 的接受条件,三条同时满足才算过:

判据定义
① 命中数严格更高B ≥ A + 1(B = A 就是没有收益,保留 20)
② 误触不增加B 的聊天窗口命中数 ≤ A 的聊天窗口命中数(A 为 0 时 B 必须为 0)
③ 反例词仍为 0旧唤醒词「你好小智」5 次,命中 0

另外两条是止损线:

  • 漂移作废:A2 与 A1 命中数相差 ≥ 2 次,A1↔B 的比较作废(VOID)。
  • 复位作废:任一相位出现 Guru Meditation / assert failed / 非开机 Rebooting / rst:0x,该相位作废,先查复位原因。

注意判据 ① 写的是"严格更高",不是"更高或差不多"。差不多在工程上等于没换。

六、结果

臂threshold唤醒尝试命中反例「你好小智」非唤醒语句
A10.201060/50/5
A2(漂移对照)0.202013—0/10
B0.081070/50/5
B(扩展)0.082013—0/10

合并后:

  • A(0.20):19/30 = 63.3%,Wilson 95% 区间 45.5%–78.1%
  • B(0.08):20/30 = 66.7%,Wilson 95% 区间 48.8%–80.8%
  • Fisher 精确检验 p = 1.000

误触这一侧:每臂 5 次反例词 + 15 段非唤醒语句,全部 0 次唤醒;另有一段 1190 秒无人说话的静置窗口,0 次唤醒、0 次复位。所有抓取 CAP-DROP=0,唯一的复位是打开串口那一次 rst:0x1 (POWERON),不落在任何两次尝试之间——数据是干净的。

漂移对照 A2 是 13/20(65%),A1 是 6/10(60%),差 1 次,未触发 VOID。

判据对照:

判据结果
① B ≥ A + 120 vs 19 → 不满足
② 误触不增加两臂均 0 → 满足
③ 反例词 0/5满足
漂移(相差 ≥ 2)差 1 次 → 未触发

一条不满足,判定拒绝 B,维持 0.20。

七、三个反直觉的发现

1. prob 不能跨门限比较

看 0.08 那两轮的分布:最高一次打到 0.500,但大量命中落在 0.096–0.183(20 次那一轮有 10 次落在这个区间)。

在 0.20 那一档,所有命中都 ≥ 0.241,两轮分布一致。

也就是说:同一个门限下,两轮读数稳定;一换门限,整体分布下移。 报告出来的 prob 值本身是被门限塑造的——它不是一把固定的尺子。

所以千万不能拿 0.08 档那些 0.1x 的命中去说"看,这些真实唤醒在 0.20 下会被丢掉"。它们不是"被丢掉的真实唤醒",它们是同一个声音在更低判决线下给出的另一个分数。跨臂只能比命中次数,不能比分数高低。

至于"低门限让解码更早提交、所以分数整体偏低"——这是推断。MultiNet 是预编译库,本机没法回源证实,只能当假设记着。

2. 分母会被你自己的声音偷走

就是第四节那件事。任何"用手放音"的唤醒实验,只要板子没有 AEC,都会遇到同一个坑:设备一边说话一边听自己,永远进不了 idle。

症状是"跑得很快、命中率很高",因为大部分尝试根本没算进分母。

如果你也在做类似测试,先看日志里 State: idle 出现了几次,再决定信不信自己的命中率。

3. n=30 只够分"量级",不够分"几个点"

Wilson 区间摆在这里:63.3% 的下界是 45.5%,66.7% 的下界是 48.8%,两条区间重叠得厉害。

n=30/臂只够分开 60% 与 85% 这种量级差。要分开 63% 与 67%,需要 300+ 次/臂。这条实验不追求那个精度——它要回答的是"要不要降门限",而"降门限有没有收益"这个问题的答案,20 对 19、p=1.000 已经够判了。

八、能直接抄走的部分

东西位置
状态机放音仪器wake_tts_dose.py(读串口 + winsound 放 WAV)
语料生成gen_tts_wav.ps1 → tts_wav\{wake,neg,chat1..5}.wav
判词wake_judge.py <capture> --threshold 0.08,命中以 Application: Wake word detected 为准
抓取mon_cap2.py COM15 <秒> <out> --no-reset(不自动复位,冷启动手动断电)
烧录只写 0x800000(assets)或 0x20000(app),不动 NVS

两个计数细节值得单独说:

  • 同一命中会在日志里打多行,按行数计数会重复计数,必须按 Wake word detected 事件数计。
  • 交付镜像的 prob= 日志是常驻的,不需要开 esp-sr verbose 也能拿到分数。

九、边界:这篇不能证明什么

写清楚边界,比写结论重要:

  1. 63.3% / 66.7% 不能当"真人唤醒率"写出去。 这轮用的是合成语音(Huihui TTS + 笔记本喇叭),不是人声。
  2. "误触 0"是剂量事实,不是概率。 5 次反例词 + 15 段非唤醒语句 + 1190 秒静置,只能说明"这些条件下没发生",不能说"误触率为 0"。
  3. 门限 8 对"远场 / 小声真人"有没有收益,这条回答不了。 那需要人场 A1/B/A2 三臂,目前仍待跑。
  4. 纯音只测了 3 次,是线索不是结论。

下一步有两条:一是把人场那三臂补上(10 次喊 + 5 次反例 + 聊天窗口),二是把 038 里那条音量的平滑与 NVS 去抖整理出来——那个是另一个正交的问题,别和门限混在一起谈。

十、小结

  • 门限调整是个判定问题,先写死判据再跑,不然一定会自欺。
  • 只烧 assets 的 threshold 字段,app 逐字节不变,是最干净的单变量。
  • 没有 AEC 的板子,放音测试必须有状态门控,否则分母被自己的声音偷走。
  • prob 不能跨门限比较——它随判决线变化,不是固定的尺子。
  • 本轮结论:保留 0.20。换 8 在这套剂量下没有召回收益,却把判决线降了 0.12,等于无偿扩大误触面。

如果你也在给小智AI 换唤醒词,欢迎在评论区说说你的门限设成了多少、有没有做过配对测试。下一篇我会写音量切换的平滑和 NVS 去抖,那条坑更深。


实验环境:ESP32-S3(N16R8)+ 小智AI 固件(ESP-IDF 5.4),唤醒词模型 MultiNet7 中文(mn7_cn),唤醒词「小麦小麦」,阈值实验只更换 assets 分区 index.json 中的 threshold 字段,app 固件与 NVS 均未改动。

Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐