🎙️ 语音助手:曼波时代与控制指令全集

JuJu音乐内置端侧离线语音唤醒:唤醒词「曼波 / Mambo」由本机 33KB ONNX 模型检测,唤醒本身不依赖网络。唤醒后的指令识别支持两类引擎:

  • 系统引擎:交给 Android 系统或设备厂商提供的语音识别服务。界面提供「系统默认」与自动检测到的具体引擎(按应用名列出);系统默认指向的服务不可用、或只是厂商空壳时,App 会自动退到可用引擎,并显示实际使用的是哪一个。是否联网、录音是否上传由所选引擎决定,App 不控制、也不保存。
  • 大模型引擎(即原「在线识别」):App 在本机录音,在内存中编码为 WAV 后直接发送给你自己配置的 AI 服务商(Google Gemini / OpenAI / OpenRouter / 阿里云百炼)转文字。需要联网并填写你自己的 API Key;正式发布包不会将录音写入磁盘。

⚡ 一、「曼波时代」双语唤醒引擎

  • 专属唤醒词:标准中文 “曼波” / 英文 “Mambo”
  • 超轻量声学模型:采用仅 33KB 的轻量级 ONNX 深度声学模型,常驻内存,内存与 CPU 占用都很低。
  • 只在 App 前台生效:唤醒词检测仅在 App 界面处于前台时进行 —— 切到后台 / 熄屏后自动暂停 (这是刻意的取舍:后台重建录音链路会让正在播放的音乐卡顿),回到 App 立即恢复; 常驻通知栏会同步显示「唤醒已暂停 · 回到 App 后才能用」。此期间的本地指令可回到 App 后再说, 或用通知栏的播放控制。
  • 时序多帧确认与防抖(以下为当前实现的实际取值):
    • 标准确认:近 400ms 滑动窗口内至少 3 帧 ≥ 0.65,且当前帧 ≥ 0.60;
    • 高饱和确认:窗口内至少 2 帧 ≥ 0.65、窗口均值 ≥ 0.50、峰值 ≥ 0.85;
    • 冷却防抖:唤醒后 1.5 秒冷却,避免歌曲人声或尾音造成二次误触发;
    • 特征预热:唤醒或切歌后需重新积累约 2.6 秒声学特征(76 个 mel 帧 + 16 个 embedding 帧), 预热期内不会触发唤醒——这是当前实现的真实限制。切歌时还会额外抑制约 1.2 秒,所以切歌后合计约 3.8 秒内无法唤醒。

📖 二、本地即时执行的控制短语(常用清单)

当识别结果与以下短语匹配时,命令由本机直接执行:不需要大模型解析,也无需大模型 Key,识别完成后立即响应。识别本身是否联网取决于所选引擎:系统引擎由系统 / 厂商决定,大模型引擎需要网络。

下面列的是常用说法;匹配器还收录了更多同义说法(包括带「吧」的口语式,如「下一首吧」「切歌吧」),以及「音量调到 50」这类带数字的绝对音量指令。

除了清单里的原话,口语说法也能本地执行(2026-11 起):带呼语与礼貌语(「曼波,下一首」「帮我暂停一下」)、 带语气词或量词(「暂停一下」「下一首歌」「换一首」)、音量程度词(「声音大一点」「调响一点」)都可以; 但只要句子里带明确对象(歌名、歌手、歌单,或不在白名单里的风格词),一律交大模型引擎 —— 本地不会猜。 英文口语同样支持:「next one」「skip this」「pause the music」「stop playing」「turn it up」 「a bit louder」「lower the volume」「favorite this song」「whats the time」(撇号可有可无)都能本地执行。

「0 延迟」指的是命令分发:唤醒本身仍需人声持续约 240ms 以上;识别耗时则取决于所选引擎(系统语音服务或大模型服务商)与网络状况。

1. 播放与切歌控制

  • 下一首:“下一首”、“下一首吧”、“下一曲”、“切歌”、“切歌吧”、“换歌”、“换歌吧”、“播放下一首”、“next”、“skip”
  • 上一首:“上一首”、“上一首吧”、“上一曲”、“前一首”、“倒回去”、“previous”
  • 暂停播放:“暂停”、“暂停吧”、“停止”、“别放了”、“停止放歌”、“pause”、“stop”
  • 继续播放:“播放”、“继续”、“继续播放”、“开始放歌”、“play”、“resume”

2. 播放模式切换

  • 随机播放:“随机播放”、“随机”、“换随机”、“随机模式”、“shuffle”、“random”
  • 单曲循环:“单曲循环”、“单曲”、“单曲模式”、“循环这首”、“repeat one”
  • 列表循环:“列表循环”、“顺序播放”、“循环播放”、“全部循环”、“repeat all”

3. 音量调节

  • 增大音量:“大点声”、“大声一点”、“调高音量”、“调大音量”、“音量加”、“volume up”、“louder”、“turn up”
  • 减小音量:“小点声”、“小声一点”、“调低音量”、“调小音量”、“音量减”、“volume down”、“quieter”、“turn down”
  • 静音 / 取消静音:“静音”、“闭嘴”、“mute”、“silence” / “取消静音”、“恢复声音”、“unmute”
  • 直接设定音量:“音量调到 50”、“音量设为 80”、“音量 100”、“set volume to 50”、“volume 80%”

4. 流派点歌与收藏

  • 流派 / 场景点歌:“听摇滚”、“播放流行”、“听爵士乐”、“来点纯音乐”、“放古典”、“听电子乐”; 也支持场景与情绪词:“放点放松的”、“来点健身的”、“听治愈”、“播放派对”; 也接受 “播放摇滚歌曲”、“放点摇滚音乐” 这类带后缀的说法。中英文标签双向匹配,播报标签跟随回复语言(中文回复念「摇滚」,英文回复念 rock)
  • 同名歌优先:如果曲库里正好有一首歌就叫这个标签词(例如有一首《孤独》、英文库里有首 Happy), 说「播放孤独」/“play happy”会直接放那首歌,而不是按情绪/流派去筛曲库 —— 避免"歌在库里却提示没找到"。
  • 歌曲收藏:“收藏”、“喜欢这首歌”、“添加我喜欢”、“添加收藏”、“like”、“favorite”、“add favorite”、“add to favorites”
  • 查询信息:“这是什么歌”、“谁唱的”、“几点了”、“现在几点”、“现在时间”、“当前时间”、“报时”; 口语式 “现在是什么时间”、“几点了现在”、“报个时”、“帮我看看几点了” 也已本地执行(2026-11 起)

5. 队列与曲库

  • 清空队列:“清空队列”、“清空播放队列”、“clear queue”
  • 移出队列:“移出队列”、“把这首歌移出队列”、“remove from queue”
  • 重新扫描曲库:“重新扫描”、“重新扫描曲库”、“rescan”、“rescan library”

6. 界面与助手控制

  • 显示歌词:“歌词”、“显示歌词”、“看歌词”、“打开歌词界面”
  • 回到主界面:“主界面”、“打开主界面”、“返回主页”、“回到首页”
  • 打开播放界面:“播放界面”、“打开播放界面”
  • 关闭语音助手:“关闭语音助手”、“退出语音助手”

7. 需要大模型解析(非本地,需 API Key + 网络)

  • 按歌名/歌手点歌:“播放周杰伦的晴天”、“来首适合雨天听的慢歌”
  • 加入队列 / 从队列移除指定歌曲或歌手:“把周杰伦的歌加进播放队列”、“把晴天从播放队列移除”
  • 带对象的复杂说法:含歌名/歌手/歌单,或用了白名单之外的风格词(例如 “我想听点安静的”、“放点钢琴曲”)—— 这类故意留给大模型:本地只做确定性识别,宁可多一次请求,也不猜错对象。

切歌请用「下一首 / 播放下一首 / next」 —— 这些是本地指令,不需要说出歌名,也不消耗流量或大模型。

界面跳转类指令里,「打开设置 / 打开云盘 / 打开均衡器 / 打开歌单」这四类暂无对应指令: 本地不会误命中,大模型也会明确回复「暂不支持」,不会假装执行。


🌐 三、语言策略

语音助手把「界面语言」「语音识别 / 播报语言」「本次说话语言」拆成三层,互不绑死:

项目 跟随什么 说明
界面文案 应用内语言 设置里的「应用语言」,例如系统英文但 App 用中文。
语音助手语言(设置 →「AI 配置」→「语音识别」顶部) 跟随系统 / 中文 / English 只影响系统引擎的识别语言与语音播报(TTS)的首选语言;默认「跟随系统」。大模型引擎由提示词自动识别中英文,不读这一项;文本无法判语言时(如纯数字)回复语言也回落到这一项。
本地回复 / 大模型 prompt / AI 回复 / TTS 文本 本次说话语言(自动检测) 说中文回中文、说英文回英文;中英混说按主语言——汉字数与英文词数比较,汉字多(含相等)按中文。
标签匹配与播报 中英双向 曲库字段是中文(「摇滚」)还是英文(Rock)都能命中;播报标签跟随回复语言(中文回复念「摇滚」,英文回复念 rock)。
大模型引擎识别语言 中英文自动识别 由提示词自动识别中英文(可混说);回复语言跟随本次说话语言。

举例:

  • 系统英文 + 语音助手语言「跟随系统」,你说 “play rock” → 英文回复与英文播报。
  • 系统英文 + 语音助手语言「中文」,你说“来首安静的歌” → 系统识别强制中文模型,回复中文。
  • 系统中文 + 语音助手语言「English」,你说 “play some rock” → 识别 / 播报优先英文,回复英文。
  • 中英混说:“播放 Lemon Tree”按主语言判为中文(汉字 2、英文词 2,tie 归中文)→ 中文回复;标签匹配仍能命中英文标签与英文歌名。 开启唤醒前会先说明代价:开启的入口只有工具箱开关(每次开启都会提示耗电与误唤醒);只想偶尔语音控制时,完全不用开启它 —— 双击标题 JuJu 即可手动唤醒(Pad 横屏另有左侧导轨底部的语音按钮)。

🎚️ 四、硬件音频增强与 AEC 调优

进入设置 →「AI 配置」:AEC 在「语音唤醒」区块,静音判定电平在「语音识别」区块。可按环境调整的就是这两项,其余声学处理由 App 自动完成:

  1. 硬件回声消除 (AEC):
    • 选择「硬件AEC(通话源)」:扬声器播放大音量音乐时,硬件会从麦克风中消除歌曲回声,显著提升边放歌边唤醒的成功率。
  2. 硬件降噪 (NoiseSuppressor) 与自动增益 (AGC)(自动开启,无开关):
    • App 每次初始化音频链路时都会自动尝试挂载这两项(通话源模式下会跳过 AGC,避免双重增益);能否真正生效取决于设备的硬件 / 驱动支持。
    • 自动过滤风扇气流声、车载发动机底噪,提升远场收音清晰度。
  3. 静音判定电平(自适应噪声底):
    • 大模型引擎单次最多录音 8 秒;说完后约 1 秒静音会自动截断并送识别,正常说话不会等满 8 秒。
    • 设置里只有 低 / 标准 / 高 三档(界面不显示数字):档位越低,说完后越早判定为静音、截断越快; 档位越高,要更大声才算人声,嘈杂环境下不易被背景噪声打断,但可能录得更久。安静环境可用「低」,嘈杂环境建议「高」。
    • 三档的具体阈值不是固定数字,而是随当前环境噪声自适应(按噪声底动态计算),换设备或换环境都不需要手动调数字。

🤖 五、大模型智能对话点歌 (可选进阶)

当用户说出复杂意图(如 “播放一首适合雨天听的慢歌”、“来首周杰伦和孙燕姿合唱的歌曲”)时,本地规则未命中会自动路由至大模型语义解析引擎:

  1. 支持的大模型提供商:
    • 阿里云百炼(通义千问;当前对话模型 qwen3.8-flash)
    • OpenAI(文本 gpt-6-luna、在线语音识别 gpt-transcribe,只支持 GPT-6 系列与 gpt-transcribe)
    • OpenRouter(模型与 OpenAI 相同:openai/gpt-6-luna 与 gpt-transcribe,但使用 OpenRouter 自己的 Key,地址固定不用填)
    • Google Gemini(当前走 gemini-flash-latest 别名,即 Google 维护的“最新 flash”)
    • DeepSeek 暂时撤下(代码与 Key 都保留,等它支持语音后放回)
  2. 配置方法:
    • 进入设置 →「AI 配置」→「API 密钥」,填入对应平台的 API Key 即可。不需要选模型名称:模型由 App 预设,型号下线时会自动切换;App 会自动将复杂的自然语言指令转换为精确的曲库播放操作。
    • OpenAI 可以填自定义 API 地址(默认 api.openai.com):接自建网关或中转域名时填上即可,支持带路径前缀(如 https://gateway.example.com/openai/v1);填错会提示「地址格式无效」。OpenRouter 的地址固定,无需填写。
    • 百炼(阿里云)的 API Key 分地域:北京 Key 只能走北京域名、新加坡 Key 只能走新加坡域名,填错地域会提示 API Key 无效。默认按渠道:Google Play 版走新加坡、官网版走北京;若 Key 与默认地域不一致,在「AI 配置」里把控制台的 API Host 填上(如 xxx.ap-southeast-1.maas.aliyuncs.com),留空即用默认域名。