前些日子自己刷到不少ai小智的短视频,发现带显示器代喇叭的设备也才百来块钱,且现在烧录固件比以前方便太多,遂下单了一台某雪的设备,拿到手聊聊不得不说百来块钱有这样的一块Amoled触摸屏就感到很惊喜了,然后直接在小智官网下载了最新固件,进行烧录,但是实际体验却有些让自己恼火,因此所以和大家一起聊聊自己的想法。在这里插入图片描述当前使用暴露出的最大两个毛病:念着念着突然闭嘴,音量越大断得越勤;特容易被噪音弄得开始自言自语答非所问。背后的原理我也明白,一个是回声问题,一个是噪音问题,而且通过Ai去查找源码里找到问题所在。
一、症状一:是它为什么把自己打断?
设备回答你的时候,麦克风其实一直醒着。它自己念出来的声音,会漏进自己的耳朵——就像戴着没开降噪的耳机听歌,自己说话也被自己听得清正常产品里有个叫回声消除(AEC)的东西在兜底。原理是减法:系统知道自己正在播什么,把这段声音从麦克风录音里减掉,剩下的才可能是人说的。你和耳机那头的人能边说边听互不打断,靠的就是它。所以AEC是个吃算力和内存的活儿。去翻了这套开源固件(xiaozhi-esp32)的最新源码,AEC不仅编译进去,还是默认开启的,那为什么还会自打断?两个线索拼起来1,它用的AEC算法在源码里标着"低功耗"模式,省算力的代价是减的没那么干净。2,源码里注释明文要求:想正常工作,需要喇叭参考信号干净,以及麦克风和喇叭之间的物理声学隔离-这种小板子上麦和喇叭挨得近,这条先天不达标。我这台设备的实测行为也印证了AEC在工作,它念的时候我插嘴,它会立刻停下听我说,如果AEC真没开,固件会退回半双工,它说话时捂着耳朵,物理上不会自打断,且我插不了嘴。所以准确的病根不是没AEC,而是AEC是"丐版",在物理隔离没跟上,音量越大,漏回麦克风的自己的声音越响,丐版减法减不动,多出来的部分被当成了"主人插嘴"。
如果你的设备表现不同,看它念着的时候你插嘴,能立刻停下听你说,说明 AEC在工作,自打断是"喊不干净"的问题,不能,则是半双工模式的根本不会自打断,但也不让你插嘴。不少固件给AEC留了按键开关,可以切换试试。
二、症状二:它为什么把电视声当人话?
声音从进麦克风到变成回答,中间要过五道闸门:

闸门干什么缺了会怎样
1 物理声学麦克风防泡棉、麦和喇叭错开声音在壳子内部串来串去
2 降噪先滤掉背景噪声噪音直进识别
3 说话检测 VAD判断真有人在说话才开始录电视声被当人声录进去
4 识别置信度转出来的字太离谱就整句丢弃乱码传给大模型
5 大模型兜底胡言乱语只回“没听清,请再说一遍”一本正经地胡说八道

VDA全称Voice Activity Detection,它判断现在有没有人在说话,你天天在用:微信按住说话时,你没开口它就不会发出一条空白语音。老派VAD看能量和人声频段(300-3400hz);新派用神经网络直接学人声长什么样,它的两大猫是拧太灵,电视说句话它就醒;拧太钝,你正常喊它它装聋。
翻开源码,这套代码开源固件在音频算法上的家底是这样的,VAD有,和AEC绑在同一套音频流水线里,和AEC一起启用,降噪没有–源码注释原文是"因为本项目不提供NSNet模型",不是配置没开,而是模型没带。这个组合的短板正好卡在噪音误听上,降噪的职责就是把电视声键盘声先过滤再往下传,它一缺席VAD就得裸奔上阵,所以噪音误听是硬伤。

三,如何降噪
先一句话:降噪本质是软件(算法),但它是“吃算力的软件”——硬件决定你有没有本钱跑、跑得多好。和 VAD 的区别在于:VAD 轻得随便什么设备都带得动,降噪重得多,所以才会出现“接口在,模型没带”的取舍。
软件路线:把缺的模型补上。
你板子的实锤是:乐鑫的音频前端库(ESP-AFE)支持降噪,接口都留好了,小智只是没把 NSNet 模型文件打包进去(源码注释原话“本项目不提供 NSNet 模型”),所以纯软件补法是存在的;

做法说明
找现成模型乐鑫生态里有量化好的降噪模型,塞进 assets 分区、编译时打开开关
理论代价降噪是小神经网络,S3 + 8MB PSRAM 属于“勉强够到门槛”,吃了算力可能挤占别的,得实测

硬件路线:帮不上“处理”,但能帮“少干活”
硬件不能电子化地“滤掉”噪音,但三件事能让进来的噪音先天就少:

做法性质
麦克贴防风泡棉纯物理,挡挡气流和壳内串声
麦和喇叭物理错位纯物理,主要是帮 AEC 减负
双麦阵列 + 波束成形硬件+软件配合:两个麦对比同一声音的时间差,算出“人从哪个方向来”,只听那个方向——你板子双麦是现成的,波束成形是算法,理论上能开,但要改源码,属进阶

注意波束成形的特殊性:它是软件算法,前提却是双麦硬件——这就是“硬件和软件谁处理降噪”这个问题最好的答案:好些软件招式,硬件不到位连上场资格都没有。

四、硬件和软件,各管一段
常见的误会是把锅全甩给硬件。实际分工是:
· 硬件决定上限:麦克风像耳朵的听力和耳廓,决定收进来的声音有多干净
· 软件决定下限:闸门像大脑的注意力,决定多脏的声音能被滤成多干净。
换句更狠的:硬件像房间隔音,软件像房间里的闸门;隔音差当然吃亏,但闸门没装,再好的隔音也白搭。所以同一套电路,不同的固件表现天差地别——这正是为什么很多“硬件问题刷个固件就好了大半。
五、如果你手上也有一台,能做什么。
按便宜到贵排序:

  1. 刷新固件——很多“硬件问题”其实是固件省算力关掉了 AEC/降噪
  2. 音量降一档——漏进耳朵的自己变小,自打断自然变少
  3. 贴泡棉、错位麦克风和喇叭——几块钱的物理改进
  4. 降噪模型缺席的,可以自己补-芯片配套算法库本来就支持降噪,只是固件没把模型打包进去,编译时加上就能用。
  5. 都无效,才轮到换数字麦、加麦克风阵列这一节存在的意义是:下次再刷到翻车视频,你可以先猜是哪道闸门的问题,再去评论区验证——比单纯看乐子多一层乐趣。

写在最后
拆开看这两问题全是有名有姓的技术约束:AEC是低功耗实现,减不干净;VAD拦得住声音拦不住噪声,降噪模型干脆缺席,每一项都是行业里的成熟方案,但是在这个价位这个体积大小的工业商品上,只能说这是取舍,不是缺陷。

Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐