🎙️ 语音助手:曼波时代与控制指令全集
JuJu音乐内置端侧离线语音唤醒:唤醒词「曼波 / Mambo」由本机 33KB ONNX 模型检测,唤醒本身不依赖网络。唤醒后的指令识别支持两类引擎:
- 系统引擎:交给 Android 系统或设备厂商提供的语音识别服务。界面提供「系统默认」与自动检测到的具体引擎(按应用名列出);系统默认指向的服务不可用、或只是厂商空壳时,App 会自动退到可用引擎,并显示实际使用的是哪一个。是否联网、录音是否上传由所选引擎决定,App 不控制、也不保存。
- 大模型引擎(即原「在线识别」):App 在本机录音,在内存中编码为 WAV 后直接发送给你自己配置的 AI 服务商(Google Gemini / OpenAI / OpenRouter / 阿里云百炼)转文字。需要联网并填写你自己的 API Key;正式发布包不会将录音写入磁盘。
⚡ 一、「曼波时代」双语唤醒引擎
- 专属唤醒词:标准中文 “曼波” / 英文 “Mambo”
- 超轻量声学模型:采用仅 33KB 的轻量级 ONNX 深度声学模型,常驻内存,内存与 CPU 占用都很低。
- 只在 App 前台生效:唤醒词检测仅在 App 界面处于前台时进行 —— 切到后台 / 熄屏后自动暂停 (这是刻意的取舍:后台重建录音链路会让正在播放的音乐卡顿),回到 App 立即恢复; 常驻通知栏会同步显示「唤醒已暂停 · 回到 App 后才能用」。此期间的本地指令可回到 App 后再说, 或用通知栏的播放控制。
- 时序多帧确认与防抖(以下为当前实现的实际取值):
- 标准确认:近 400ms 滑动窗口内至少 3 帧 ≥ 0.65,且当前帧 ≥ 0.60;
- 高饱和确认:窗口内至少 2 帧 ≥ 0.65、窗口均值 ≥ 0.50、峰值 ≥ 0.85;
- 冷却防抖:唤醒后 1.5 秒冷却,避免歌曲人声或尾音造成二次误触发;
- 特征预热:唤醒或切歌后需重新积累约 2.6 秒声学特征(76 个 mel 帧 + 16 个 embedding 帧), 预热期内不会触发唤醒——这是当前实现的真实限制。切歌时还会额外抑制约 1.2 秒,所以切歌后合计约 3.8 秒内无法唤醒。
📖 二、本地即时执行的控制短语(常用清单)
当识别结果与以下短语匹配时,命令由本机直接执行:不需要大模型解析,也无需大模型 Key,识别完成后立即响应。识别本身是否联网取决于所选引擎:系统引擎由系统 / 厂商决定,大模型引擎需要网络。
下面列的是常用说法;匹配器还收录了更多同义说法(包括带「吧」的口语式,如「下一首吧」「切歌吧」),以及「音量调到 50」这类带数字的绝对音量指令。
除了清单里的原话,口语说法也能本地执行(2026-11 起):带呼语与礼貌语(「曼波,下一首」「帮我暂停一下」)、 带语气词或量词(「暂停一下」「下一首歌」「换一首」)、音量程度词(「声音大一点」「调响一点」)都可以; 但只要句子里带明确对象(歌名、歌手、歌单,或不在白名单里的风格词),一律交大模型引擎 —— 本地不会猜。 英文口语同样支持:「next one」「skip this」「pause the music」「stop playing」「turn it up」 「a bit louder」「lower the volume」「favorite this song」「whats the time」(撇号可有可无)都能本地执行。
「0 延迟」指的是命令分发:唤醒本身仍需人声持续约 240ms 以上;识别耗时则取决于所选引擎(系统语音服务或大模型服务商)与网络状况。
1. 播放与切歌控制
- 下一首:
“下一首”、“下一首吧”、“下一曲”、“切歌”、“切歌吧”、“换歌”、“换歌吧”、“播放下一首”、“next”、“skip” - 上一首:
“上一首”、“上一首吧”、“上一曲”、“前一首”、“倒回去”、“previous” - 暂停播放:
“暂停”、“暂停吧”、“停止”、“别放了”、“停止放歌”、“pause”、“stop” - 继续播放:
“播放”、“继续”、“继续播放”、“开始放歌”、“play”、“resume”
2. 播放模式切换
- 随机播放:
“随机播放”、“随机”、“换随机”、“随机模式”、“shuffle”、“random” - 单曲循环:
“单曲循环”、“单曲”、“单曲模式”、“循环这首”、“repeat one” - 列表循环:
“列表循环”、“顺序播放”、“循环播放”、“全部循环”、“repeat all”
3. 音量调节
- 增大音量:
“大点声”、“大声一点”、“调高音量”、“调大音量”、“音量加”、“volume up”、“louder”、“turn up” - 减小音量:
“小点声”、“小声一点”、“调低音量”、“调小音量”、“音量减”、“volume down”、“quieter”、“turn down” - 静音 / 取消静音:
“静音”、“闭嘴”、“mute”、“silence”/“取消静音”、“恢复声音”、“unmute” - 直接设定音量:
“音量调到 50”、“音量设为 80”、“音量 100”、“set volume to 50”、“volume 80%”
4. 流派点歌与收藏
- 流派 / 场景点歌:
“听摇滚”、“播放流行”、“听爵士乐”、“来点纯音乐”、“放古典”、“听电子乐”; 也支持场景与情绪词:“放点放松的”、“来点健身的”、“听治愈”、“播放派对”; 也接受“播放摇滚歌曲”、“放点摇滚音乐”这类带后缀的说法。中英文标签双向匹配,播报标签跟随回复语言(中文回复念「摇滚」,英文回复念rock) - 同名歌优先:如果曲库里正好有一首歌就叫这个标签词(例如有一首《孤独》、英文库里有首
Happy), 说「播放孤独」/“play happy”会直接放那首歌,而不是按情绪/流派去筛曲库 —— 避免"歌在库里却提示没找到"。 - 歌曲收藏:
“收藏”、“喜欢这首歌”、“添加我喜欢”、“添加收藏”、“like”、“favorite”、“add favorite”、“add to favorites” - 查询信息:
“这是什么歌”、“谁唱的”、“几点了”、“现在几点”、“现在时间”、“当前时间”、“报时”; 口语式“现在是什么时间”、“几点了现在”、“报个时”、“帮我看看几点了”也已本地执行(2026-11 起)
5. 队列与曲库
- 清空队列:
“清空队列”、“清空播放队列”、“clear queue” - 移出队列:
“移出队列”、“把这首歌移出队列”、“remove from queue” - 重新扫描曲库:
“重新扫描”、“重新扫描曲库”、“rescan”、“rescan library”
6. 界面与助手控制
- 显示歌词:
“歌词”、“显示歌词”、“看歌词”、“打开歌词界面” - 回到主界面:
“主界面”、“打开主界面”、“返回主页”、“回到首页” - 打开播放界面:
“播放界面”、“打开播放界面” - 关闭语音助手:
“关闭语音助手”、“退出语音助手”
7. 需要大模型解析(非本地,需 API Key + 网络)
- 按歌名/歌手点歌:
“播放周杰伦的晴天”、“来首适合雨天听的慢歌” - 加入队列 / 从队列移除指定歌曲或歌手:
“把周杰伦的歌加进播放队列”、“把晴天从播放队列移除” - 带对象的复杂说法:含歌名/歌手/歌单,或用了白名单之外的风格词(例如
“我想听点安静的”、“放点钢琴曲”)—— 这类故意留给大模型:本地只做确定性识别,宁可多一次请求,也不猜错对象。
切歌请用「下一首 / 播放下一首 / next」 —— 这些是本地指令,不需要说出歌名,也不消耗流量或大模型。
界面跳转类指令里,「打开设置 / 打开云盘 / 打开均衡器 / 打开歌单」这四类暂无对应指令: 本地不会误命中,大模型也会明确回复「暂不支持」,不会假装执行。
🌐 三、语言策略
语音助手把「界面语言」「语音识别 / 播报语言」「本次说话语言」拆成三层,互不绑死:
| 项目 | 跟随什么 | 说明 |
|---|---|---|
| 界面文案 | 应用内语言 | 设置里的「应用语言」,例如系统英文但 App 用中文。 |
| 语音助手语言(设置 →「AI 配置」→「语音识别」顶部) | 跟随系统 / 中文 / English | 只影响系统引擎的识别语言与语音播报(TTS)的首选语言;默认「跟随系统」。大模型引擎由提示词自动识别中英文,不读这一项;文本无法判语言时(如纯数字)回复语言也回落到这一项。 |
| 本地回复 / 大模型 prompt / AI 回复 / TTS 文本 | 本次说话语言(自动检测) | 说中文回中文、说英文回英文;中英混说按主语言——汉字数与英文词数比较,汉字多(含相等)按中文。 |
| 标签匹配与播报 | 中英双向 | 曲库字段是中文(「摇滚」)还是英文(Rock)都能命中;播报标签跟随回复语言(中文回复念「摇滚」,英文回复念 rock)。 |
| 大模型引擎识别语言 | 中英文自动识别 | 由提示词自动识别中英文(可混说);回复语言跟随本次说话语言。 |
举例:
- 系统英文 + 语音助手语言「跟随系统」,你说 “play rock” → 英文回复与英文播报。
- 系统英文 + 语音助手语言「中文」,你说“来首安静的歌” → 系统识别强制中文模型,回复中文。
- 系统中文 + 语音助手语言「English」,你说 “play some rock” → 识别 / 播报优先英文,回复英文。
- 中英混说:“播放 Lemon Tree”按主语言判为中文(汉字 2、英文词 2,tie 归中文)→ 中文回复;标签匹配仍能命中英文标签与英文歌名。 开启唤醒前会先说明代价:开启的入口只有工具箱开关(每次开启都会提示耗电与误唤醒);只想偶尔语音控制时,完全不用开启它 —— 双击标题 JuJu 即可手动唤醒(Pad 横屏另有左侧导轨底部的语音按钮)。
🎚️ 四、硬件音频增强与 AEC 调优
进入设置 →「AI 配置」:AEC 在「语音唤醒」区块,静音判定电平在「语音识别」区块。可按环境调整的就是这两项,其余声学处理由 App 自动完成:
- 硬件回声消除 (AEC):
- 选择「硬件AEC(通话源)」:扬声器播放大音量音乐时,硬件会从麦克风中消除歌曲回声,显著提升边放歌边唤醒的成功率。
- 硬件降噪 (NoiseSuppressor) 与自动增益 (AGC)(自动开启,无开关):
- App 每次初始化音频链路时都会自动尝试挂载这两项(通话源模式下会跳过 AGC,避免双重增益);能否真正生效取决于设备的硬件 / 驱动支持。
- 自动过滤风扇气流声、车载发动机底噪,提升远场收音清晰度。
- 静音判定电平(自适应噪声底):
- 大模型引擎单次最多录音 8 秒;说完后约 1 秒静音会自动截断并送识别,正常说话不会等满 8 秒。
- 设置里只有 低 / 标准 / 高 三档(界面不显示数字):档位越低,说完后越早判定为静音、截断越快; 档位越高,要更大声才算人声,嘈杂环境下不易被背景噪声打断,但可能录得更久。安静环境可用「低」,嘈杂环境建议「高」。
- 三档的具体阈值不是固定数字,而是随当前环境噪声自适应(按噪声底动态计算),换设备或换环境都不需要手动调数字。
🤖 五、大模型智能对话点歌 (可选进阶)
当用户说出复杂意图(如 “播放一首适合雨天听的慢歌”、“来首周杰伦和孙燕姿合唱的歌曲”)时,本地规则未命中会自动路由至大模型语义解析引擎:
- 支持的大模型提供商:
- 阿里云百炼(通义千问;当前对话模型
qwen3.8-flash) - OpenAI(文本
gpt-6-luna、在线语音识别gpt-transcribe,只支持 GPT-6 系列与gpt-transcribe) - OpenRouter(模型与 OpenAI 相同:
openai/gpt-6-luna与gpt-transcribe,但使用 OpenRouter 自己的 Key,地址固定不用填) - Google Gemini(当前走
gemini-flash-latest别名,即 Google 维护的“最新 flash”) - DeepSeek 暂时撤下(代码与 Key 都保留,等它支持语音后放回)
- 阿里云百炼(通义千问;当前对话模型
- 配置方法:
- 进入设置 →「AI 配置」→「API 密钥」,填入对应平台的 API Key 即可。不需要选模型名称:模型由 App 预设,型号下线时会自动切换;App 会自动将复杂的自然语言指令转换为精确的曲库播放操作。
- OpenAI 可以填自定义 API 地址(默认
api.openai.com):接自建网关或中转域名时填上即可,支持带路径前缀(如https://gateway.example.com/openai/v1);填错会提示「地址格式无效」。OpenRouter 的地址固定,无需填写。 - 百炼(阿里云)的 API Key 分地域:北京 Key 只能走北京域名、新加坡 Key 只能走新加坡域名,填错地域会提示 API Key 无效。默认按渠道:Google Play 版走新加坡、官网版走北京;若 Key 与默认地域不一致,在「AI 配置」里把控制台的 API Host 填上(如
xxx.ap-southeast-1.maas.aliyuncs.com),留空即用默认域名。