Nanobot语音识别：Whisper模型集成教程

1. 引言

想象一下，你的AI助手不仅能看懂你的文字消息，还能听懂你的语音指令。早上起床说一句"今天有什么安排？"，开车时问"帮我查一下路况"，做饭时喊"记录这个菜谱"——这才是真正自然的交互方式。

今天我们就来实现在Nanobot中集成Whisper语音识别模型，让你的AI助手获得"听力"能力。不需要复杂的配置，不需要深厚的技术背景，跟着本教程一步步来，30分钟内就能让Nanobot听懂你的声音。

2. 环境准备与安装

2.1 基础环境要求

在开始之前，确保你的系统满足以下要求：

• Python 3.8 或更高版本
• 至少4GB可用内存（用于运行Whisper模型）
• 稳定的网络连接（用于下载模型权重）

2.2 安装必要依赖

首先安装Nanobot（如果尚未安装）：

pip install nanobot-ai

然后安装Whisper相关依赖：

pip install openai-whisper
pip install sounddevice pydub

这些包分别负责语音识别、音频录制和处理功能。

3. Whisper模型基础

3.1 为什么选择Whisper

Whisper是OpenAI开源的语音识别模型，有以下几个突出优点：

• 多语言支持：支持99种语言的语音识别
• 高准确率：在多种口音和环境下表现稳定
• 易于使用：几行代码就能实现专业级语音识别
• 多种尺寸：从轻量版的tiny到高精度的large，满足不同需求

3.2 模型选择建议

根据你的硬件条件选择合适的模型：

• tiny：最快，精度一般，适合测试和简单场景
• base：平衡速度和精度，推荐大多数场景
• small：精度较好，速度适中
• medium：高精度，需要更多资源
• large：最高精度，需要大量内存

对于大多数个人使用场景，base或small模型是最佳选择。

4. 集成Whisper到Nanobot

4.1 创建语音处理模块

在Nanobot项目中创建一个新的Python文件voice_module.py：

import whisper
import sounddevice as sd
import numpy as np
from scipy.io.wavfile import write
import tempfile
import os

class VoiceRecognizer:
    def __init__(self, model_size="base"):
        self.model = whisper.load_model(model_size)
        
    def record_audio(self, duration=5, sample_rate=16000):
        """录制音频"""
        print("开始录音...")
        audio_data = sd.rec(int(duration * sample_rate), 
                           samplerate=sample_rate, 
                           channels=1, 
                           dtype='float32')
        sd.wait()
        print("录音结束")
        return audio_data, sample_rate
    
    def transcribe_audio(self, audio_data, sample_rate):
        """转录音频为文字"""
        # 保存临时音频文件
        with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as tmp_file:
            write(tmp_file.name, sample_rate, (audio_data * 32767).astype(np.int16))
            
            # 使用Whisper进行转录
            result = self.model.transcribe(tmp_file.name)
            
        # 清理临时文件
        os.unlink(tmp_file.name)
        
        return result["text"]

4.2 修改Nanobot配置

在Nanobot的配置文件~/.nanobot/config.json中添加语音识别配置：

{
  "voice": {
    "enabled": true,
    "model_size": "base",
    "record_duration": 5
  },
  "channels": {
    "telegram": {
      "enabled": true,
      "token": "你的Telegram机器人Token",
      "allowFrom": ["你的用户ID"]
    }
  }
}

5. 实现语音交互功能

5.1 创建语音命令处理器

扩展Nanobot的消息处理能力，添加语音消息支持：

from nanobot.agent.loop import AgentLoop

class VoiceEnabledAgentLoop(AgentLoop):
    def __init__(self, config):
        super().__init__(config)
        self.voice_recognizer = VoiceRecognizer(
            config.get("voice", {}).get("model_size", "base")
        )
    
    async def handle_voice_message(self, audio_file_path):
        """处理语音消息"""
        try:
            # 使用Whisper转录语音
            transcription = self.voice_recognizer.transcribe_audio_file(audio_file_path)
            
            # 将转录文本交给常规消息处理器
            response = await self.handle_message(transcription)
            
            return f"语音转录: {transcription}\n\n回复: {response}"
            
        except Exception as e:
            return f"语音处理失败: {str(e)}"

5.2 添加实时语音监听

创建实时语音监听功能，让Nanobot能够随时响应语音指令：

import threading
import time

class VoiceListener:
    def __init__(self, agent_loop, check_interval=2):
        self.agent_loop = agent_loop
        self.check_interval = check_interval
        self.listening = False
        
    def start_listening(self):
        """开始监听语音指令"""
        self.listening = True
        thread = threading.Thread(target=self._listen_loop)
        thread.daemon = True
        thread.start()
        
    def stop_listening(self):
        """停止监听"""
        self.listening = False
        
    def _listen_loop(self):
        """监听循环"""
        while self.listening:
            try:
                # 录制短音频
                audio_data, sample_rate = self.agent_loop.voice_recognizer.record_audio(
                    duration=3
                )
                
                # 转录并检查是否包含唤醒词
                transcription = self.agent_loop.voice_recognizer.transcribe_audio(
                    audio_data, sample_rate
                )
                
                if "小助手" in transcription or "hey bot" in transcription.lower():
                    # 提取实际指令
                    command = transcription.replace("小助手", "").replace("hey bot", "").strip()
                    if command:
                        response = self.agent_loop.handle_message(command)
                        print(f"语音指令响应: {response}")
                        
            except Exception as e:
                print(f"语音监听错误: {e}")
                
            time.sleep(self.check_interval)

6. 完整集成示例

6.1 主程序入口

创建一个完整的语音增强型Nanobot应用：

import asyncio
import json
import os
from voice_module import VoiceRecognizer
from voice_agent import VoiceEnabledAgentLoop

class VoiceNanobot:
    def __init__(self, config_path="~/.nanobot/config.json"):
        self.config = self._load_config(config_path)
        self.agent_loop = VoiceEnabledAgentLoop(self.config)
        self.voice_listener = VoiceListener(self.agent_loop)
        
    def _load_config(self, config_path):
        """加载配置文件"""
        config_path = os.path.expanduser(config_path)
        with open(config_path, 'r') as f:
            return json.load(f)
    
    def start(self):
        """启动语音Nanobot"""
        print("启动语音增强版Nanobot...")
        
        # 启动语音监听
        if self.config.get("voice", {}).get("enabled", False):
            self.voice_listener.start_listening()
            print("语音监听已启动，尝试说'小助手'唤醒")
        
        # 保持程序运行
        try:
            asyncio.run(self._main_loop())
        except KeyboardInterrupt:
            print("\n正在关闭...")
            self.voice_listener.stop_listening()
    
    async def _main_loop(self):
        """主循环"""
        while True:
            await asyncio.sleep(1)

if __name__ == "__main__":
    bot = VoiceNanobot()
    bot.start()

6.2 使用示例

运行你的语音增强版Nanobot：

python voice_nanobot.py

现在你可以：

1. 直接对麦克风说"小助手，今天天气怎么样？"
2. 发送语音消息到Telegram机器人
3. 实时与你的AI助手语音交流

7. 进阶功能与优化

7.1 支持多种音频格式

扩展语音识别器以支持更多音频格式：

def transcribe_any_audio(self, audio_input, input_type="file"):
    """支持多种音频输入格式"""
    if input_type == "file":
        result = self.model.transcribe(audio_input)
    elif input_type == "numpy":
        # 处理numpy数组格式的音频
        with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as tmp_file:
            write(tmp_file.name, 16000, (audio_input * 32767).astype(np.int16))
            result = self.model.transcribe(tmp_file.name)
            os.unlink(tmp_file.name)
    elif input_type == "url":
        # 支持在线音频URL
        # 需要先下载音频文件
        pass
        
    return result["text"]

7.2 性能优化建议

对于生产环境使用，考虑以下优化：

# 使用更高效的模型加载方式
model = whisper.load_model("base", device="cuda")  # 使用GPU加速

# 批量处理音频文件
def batch_transcribe(self, audio_files):
    """批量转录音频文件"""
    results = []
    for file_path in audio_files:
        result = self.model.transcribe(file_path)
        results.append(result["text"])
    return results

# 添加缓存机制
import hashlib
from functools import lru_cache

@lru_cache(maxsize=100)
def cached_transcribe(self, audio_file_path):
    """带缓存的语音转录"""
    file_hash = self._get_file_hash(audio_file_path)
    # 检查缓存...
    return self.model.transcribe(audio_file_path)["text"]

8. 常见问题解决

8.1 音频录制问题

如果遇到音频录制问题，可以尝试：

def check_audio_devices():
    """检查可用的音频设备"""
    devices = sd.query_devices()
    print("可用音频设备:")
    for i, device in enumerate(devices):
        print(f"{i}: {device['name']}")
    
    # 设置默认设备
    sd.default.device = 0  # 使用第一个设备

8.2 模型加载失败

如果模型下载失败，可以手动下载：

# 手动下载模型
python -c "import whisper; whisper.load_model('base')"

或者指定模型路径：

model = whisper.load_model("base", download_root="/path/to/models")

8.3 内存不足问题

对于内存有限的设备：

# 使用更小的模型
model = whisper.load_model("tiny")

# 释放不需要的资源
import gc
gc.collect()

9. 总结

通过本教程，我们成功将Whisper语音识别模型集成到Nanobot中，为AI助手添加了强大的语音交互能力。从环境配置到代码实现，再到性能优化，我们覆盖了语音集成的主要环节。

实际使用下来，语音识别的准确率相当不错，特别是对于清晰的语音指令。响应速度也很快，基本上说完就能得到回复。如果你想要更快的响应，可以选用tiny模型；如果需要更高的准确率，特别是对于专业术语，建议使用small或medium模型。

下一步你可以考虑添加语音合成功能，让Nanobot不仅能听懂你说话，还能用语音回复，实现真正的语音对话。也可以探索更多的应用场景，比如语音控制智能家居、语音记录会议内容等。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。