ESP32-S3 小智AI:唤醒词总喊不醒,门限该不该从 0.20 调到 0.08?30 次台架实验的完整判定

系列:小智AI 实战连载 · 第 11 篇
承接第 09 篇《小智AI自定义唤醒词:把「你好小智」改成任意中文词(MultiNet7本地实测)》。
换完唤醒词之后,最常被问到的一个问题是"能不能把门限调低一点,让它更灵敏"。
这个问题看起来是个参数调整,其实是个判定问题:调低门限会让"该唤醒的"更容易命中,也会让"不该唤醒的"更容易命中——两边同时放大。如果没有分母,你永远不知道自己是赚了还是亏了。
这篇记录我怎么做完这个判定的:先写死判据,再上机跑 30 次配对剂量,最后结论是保留 0.20,不降到 0.08。过程里还踩废了一版仪器,那段可能比结论更有用。
一、先给结论
保留 threshold 0.20。
| 臂 | threshold | 唤醒尝试 | 命中 |
|---|---|---|---|
| A(门限 20) | 0.20 | 30 | 19(63.3%) |
| B(门限 8) | 0.08 | 30 | 20(66.7%) |
Fisher 精确检验 p = 1.000。也就是说:在这套剂量下,把门限砍掉 0.12,没有换来任何可观测的召回收益。
而代价是明确的——判决线从 0.20 降到 0.08,等于把所有 0.08~0.20 之间的声音都当成"可能是唤醒词",无偿扩大误触面。收益 0、代价非 0,这个交换不该做。

二、为什么"降门限"是最诱人的错答案
直觉是这样的:门限 0.20,现场三次命中的置信度是 0.302 / 0.501 / 0.371,最低那次只比门限高 0.10。看着"余量很薄",于是想下调。
但有一组数把这个直觉打穿了:
| 证据 | 读数 | 说明 |
|---|---|---|
| 现场 3 次真人命中 | prob 0.302 / 0.501 / 0.371 | 门限 0.20 下能过 |
| 1 kHz 纯音长音 | prob 0.5637 | 一次误触发,分数比真人命中还高 |
纯音能打到 0.56,真人命中最低只有 0.30。
这说明 MultiNet 输出的置信度不是"真人语音高、非语音低"的干净分离器。它更像一个"这句话有多像唤醒词"的相似度分,而不是"这是不是人在喊我"的概率。既然如此,“最低命中只比门限高 0.10,所以门限太高"这个推理根本不成立——真正的余量不是 0.10,而是"真人下限 0.30 与噪声上限 0.56 之间的重叠区”。
重叠区存在,降门限就是在重叠区里做交易。要做这个交易,只能靠同一台架、同一批话、只换 threshold 的配对实验,不能靠单点读数。
三、单变量设计:只动 assets 里的一个字段
唤醒词的门限不在 app 里,在 assets 分区(0x800000)的 index.json 中。这一点决定了实验可以做得非常干净:
| 资产 | 大小 | sha | threshold |
|---|---|---|---|
delivery_assets_wheat.bin(现役交付) | 2,951,622 B | 9884c94a… | 0.20 |
assets_thr8.bin(对照) | 2,951,623 B | 7bae81ab… | 0.08 |
两个文件只差 index.json 里的 "threshold": 0.08 这一处,app 逐字节不变。所以整个实验是真正的单变量:换的不是固件,是一个 JSON 字段。
烧录纪律(这条别省):
# 只烧 assets 分区,不动 NVS(里面是 WiFi 凭据),不 erase flash
python -m esptool --chip esp32s3 -p COM15 -b 460800 --before default-reset --after hard-reset ^
write-flash 0x800000 C:\Users\34586\esp\elf_archive\assets_thr8.bin
# 复原时换回交付资产
python -m esptool --chip esp32s3 -p COM15 -b 460800 --before default-reset --after hard-reset ^
write-flash 0x800000 C:\Users\34586\esp\elf_archive\delivery_assets_wheat.bin
顺序是 A1(0.20)→ B(0.08)→ A2(0.20)。A2 不是重复劳动,它是漂移对照:同一句话、同一个位置,中间隔一次烧录再测一遍。如果 A2 和 A1 差得太多,说明这次会话的嗓音/位置/环境在漂移,A1 与 B 的比较直接作废,不解释成门限效应。
开机门控每次都要看这三行,少一行这次数据就不要:
Model 1: mn7_cn
detector: MultiNet
Command: xiao mai xiao mai
Reset reason: 1
四、仪器作废:开口环会把分母偷走
第一版仪器很朴素:固定间隔直接放 TTS 语料,放一条、等一会儿、再放一条。
跑完发现 20 条语料只产生 2 次有效 idle 尝试。日志里 listening -> speaking 出现 24 次,server goodbye 0 次——设备根本没进待机,一直在会话里。
原因是这块板没有 AEC:设备自己的回复被自己的麦克风回采,只要外部还在连续出声,会话就一直续着,永远回不到 idle。而唤醒检测只在 idle(state 3)工作(WAKE_WORD_DETECTION_IN_LISTENING=n)。
后果很隐蔽:那些"放出去了但设备在说话"的尝试,静默变成了会话内 ASR,不进分母。分母假性缩小,命中率就会被算高。
改法是把仪器从"定时放音"改成"看状态放音",三条门控:
- 只在日志出现
State: idle后发声; idle必须已稳定 4 秒(避免刚进 idle 就被自己上一句话的余音打断);- 命中后等
listening -> idle再继续下一次,每次记录state_before、是否命中、prob。
脚本叫 wake_tts_dose.py:同一进程读串口 + winsound 放 WAV,状态机和放音在一条时间线上,不会互相抢时序。那一版作废的数据只保留两条事实——唤醒链路是通的:PC 中文语音两次命中,prob=0.546 和 prob=0.394,两次都发生在 idle。
五、预注册判据:跑之前就写死
这条是我认为最值得抄走的部分。判据必须在看到数据之前写死,否则你一定会为已有数据找一个能通过的解读。
门限 8 的接受条件,三条同时满足才算过:
| 判据 | 定义 |
|---|---|
| ① 命中数严格更高 | B ≥ A + 1(B = A 就是没有收益,保留 20) |
| ② 误触不增加 | B 的聊天窗口命中数 ≤ A 的聊天窗口命中数(A 为 0 时 B 必须为 0) |
| ③ 反例词仍为 0 | 旧唤醒词「你好小智」5 次,命中 0 |
另外两条是止损线:
- 漂移作废:A2 与 A1 命中数相差 ≥ 2 次,A1↔B 的比较作废(VOID)。
- 复位作废:任一相位出现
Guru Meditation/assert failed/ 非开机Rebooting/rst:0x,该相位作废,先查复位原因。
注意判据 ① 写的是"严格更高",不是"更高或差不多"。差不多在工程上等于没换。
六、结果
| 臂 | threshold | 唤醒尝试 | 命中 | 反例「你好小智」 | 非唤醒语句 |
|---|---|---|---|---|---|
| A1 | 0.20 | 10 | 6 | 0/5 | 0/5 |
| A2(漂移对照) | 0.20 | 20 | 13 | — | 0/10 |
| B | 0.08 | 10 | 7 | 0/5 | 0/5 |
| B(扩展) | 0.08 | 20 | 13 | — | 0/10 |
合并后:
- A(0.20):19/30 = 63.3%,Wilson 95% 区间 45.5%–78.1%
- B(0.08):20/30 = 66.7%,Wilson 95% 区间 48.8%–80.8%
- Fisher 精确检验 p = 1.000
误触这一侧:每臂 5 次反例词 + 15 段非唤醒语句,全部 0 次唤醒;另有一段 1190 秒无人说话的静置窗口,0 次唤醒、0 次复位。所有抓取 CAP-DROP=0,唯一的复位是打开串口那一次 rst:0x1 (POWERON),不落在任何两次尝试之间——数据是干净的。
漂移对照 A2 是 13/20(65%),A1 是 6/10(60%),差 1 次,未触发 VOID。
判据对照:
| 判据 | 结果 |
|---|---|
| ① B ≥ A + 1 | 20 vs 19 → 不满足 |
| ② 误触不增加 | 两臂均 0 → 满足 |
| ③ 反例词 0/5 | 满足 |
| 漂移(相差 ≥ 2) | 差 1 次 → 未触发 |
一条不满足,判定拒绝 B,维持 0.20。
七、三个反直觉的发现
1. prob 不能跨门限比较
看 0.08 那两轮的分布:最高一次打到 0.500,但大量命中落在 0.096–0.183(20 次那一轮有 10 次落在这个区间)。
在 0.20 那一档,所有命中都 ≥ 0.241,两轮分布一致。
也就是说:同一个门限下,两轮读数稳定;一换门限,整体分布下移。 报告出来的 prob 值本身是被门限塑造的——它不是一把固定的尺子。
所以千万不能拿 0.08 档那些 0.1x 的命中去说"看,这些真实唤醒在 0.20 下会被丢掉"。它们不是"被丢掉的真实唤醒",它们是同一个声音在更低判决线下给出的另一个分数。跨臂只能比命中次数,不能比分数高低。
至于"低门限让解码更早提交、所以分数整体偏低"——这是推断。MultiNet 是预编译库,本机没法回源证实,只能当假设记着。
2. 分母会被你自己的声音偷走
就是第四节那件事。任何"用手放音"的唤醒实验,只要板子没有 AEC,都会遇到同一个坑:设备一边说话一边听自己,永远进不了 idle。
症状是"跑得很快、命中率很高",因为大部分尝试根本没算进分母。
如果你也在做类似测试,先看日志里 State: idle 出现了几次,再决定信不信自己的命中率。
3. n=30 只够分"量级",不够分"几个点"
Wilson 区间摆在这里:63.3% 的下界是 45.5%,66.7% 的下界是 48.8%,两条区间重叠得厉害。
n=30/臂只够分开 60% 与 85% 这种量级差。要分开 63% 与 67%,需要 300+ 次/臂。这条实验不追求那个精度——它要回答的是"要不要降门限",而"降门限有没有收益"这个问题的答案,20 对 19、p=1.000 已经够判了。
八、能直接抄走的部分
| 东西 | 位置 |
|---|---|
| 状态机放音仪器 | wake_tts_dose.py(读串口 + winsound 放 WAV) |
| 语料生成 | gen_tts_wav.ps1 → tts_wav\{wake,neg,chat1..5}.wav |
| 判词 | wake_judge.py <capture> --threshold 0.08,命中以 Application: Wake word detected 为准 |
| 抓取 | mon_cap2.py COM15 <秒> <out> --no-reset(不自动复位,冷启动手动断电) |
| 烧录 | 只写 0x800000(assets)或 0x20000(app),不动 NVS |
两个计数细节值得单独说:
- 同一命中会在日志里打多行,按行数计数会重复计数,必须按
Wake word detected事件数计。 - 交付镜像的
prob=日志是常驻的,不需要开 esp-sr verbose 也能拿到分数。
九、边界:这篇不能证明什么
写清楚边界,比写结论重要:
- 63.3% / 66.7% 不能当"真人唤醒率"写出去。 这轮用的是合成语音(Huihui TTS + 笔记本喇叭),不是人声。
- "误触 0"是剂量事实,不是概率。 5 次反例词 + 15 段非唤醒语句 + 1190 秒静置,只能说明"这些条件下没发生",不能说"误触率为 0"。
- 门限 8 对"远场 / 小声真人"有没有收益,这条回答不了。 那需要人场 A1/B/A2 三臂,目前仍待跑。
- 纯音只测了 3 次,是线索不是结论。
下一步有两条:一是把人场那三臂补上(10 次喊 + 5 次反例 + 聊天窗口),二是把 038 里那条音量的平滑与 NVS 去抖整理出来——那个是另一个正交的问题,别和门限混在一起谈。
十、小结
- 门限调整是个判定问题,先写死判据再跑,不然一定会自欺。
- 只烧 assets 的
threshold字段,app 逐字节不变,是最干净的单变量。 - 没有 AEC 的板子,放音测试必须有状态门控,否则分母被自己的声音偷走。
prob不能跨门限比较——它随判决线变化,不是固定的尺子。- 本轮结论:保留 0.20。换 8 在这套剂量下没有召回收益,却把判决线降了 0.12,等于无偿扩大误触面。
如果你也在给小智AI 换唤醒词,欢迎在评论区说说你的门限设成了多少、有没有做过配对测试。下一篇我会写音量切换的平滑和 NVS 去抖,那条坑更深。
实验环境:ESP32-S3(N16R8)+ 小智AI 固件(ESP-IDF 5.4),唤醒词模型 MultiNet7 中文(mn7_cn),唤醒词「小麦小麦」,阈值实验只更换 assets 分区 index.json 中的 threshold 字段,app 固件与 NVS 均未改动。
更多推荐

所有评论(0)