免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

由 DALL·E 3 生成，prompt：A person and a machine are engaged in two-way communication through a microphone and speakers. The person, standing on the left, speaks into the microphone while the machine on the right, resembling a sleek, futuristic robot, responds through speakers. The setting is a modern, well-lit room with a professional atmosphere. The person looks focused and engaged, and the machine's digital display shows sound waves indicating speech.

語音交互系統(tǒng)簡(jiǎn)介

語音交互系統(tǒng)主要由自動(dòng)語音識(shí)別（Automatic Speech Recognition, 簡(jiǎn)稱 ASR）、自然語言處理（Natural Language Processing, 簡(jiǎn)稱 NLP）和文本到語音合成（Text to Speech，簡(jiǎn)稱 TTS）三個(gè)環(huán)節(jié)構(gòu)成。ASR 相當(dāng)于人的聽覺系統(tǒng)，NLP 相當(dāng)于人的大腦語言區(qū)域，TTS 相當(dāng)于人的發(fā)聲系統(tǒng)。

如何構(gòu)建語音對(duì)話機(jī)器人

本文將完全利用開源方案構(gòu)建語音對(duì)話機(jī)器人。

• ASR 采用 OpenAI Whisper，同時(shí)支持中、英文。更多技術(shù)細(xì)節(jié)可以看這篇《跟著 Whisper 學(xué)說正宗河南話》；

• NLP 采用 DeepSeek v2，由于本地運(yùn)行所需的 GPU 資源不足，我們調(diào)用云端 API 實(shí)現(xiàn)這一步；

• TTS 采用 ChatTTS，它是專門為對(duì)話場(chǎng)景設(shè)計(jì)的文本轉(zhuǎn)語音模型，支持英文和中文兩種語言。

本文基于 Gradio 實(shí)現(xiàn)的交互界面如圖：

你可以基于系統(tǒng)麥克風(fēng)采集音頻，通過 Whisper 轉(zhuǎn)錄為文本，調(diào)用 DeepSeek v2 API 后，再將對(duì)話輸出經(jīng)過 ChatTTS 合成為語音，點(diǎn)擊播放即可聽到來自機(jī)器人的聲音。

硬件環(huán)境：RTX 3060， 12GB 顯存

軟件環(huán)境信息（Miniconda3 + Python 3.8.19）：

WebUI 代碼如下（目前只是演示基本功能，比較簡(jiǎn)陋）：

import gradio as grfrom transformers import pipelineimport numpy as np
from ChatTTS.experimental.llm import llm_apiimport ChatTTS
chat = ChatTTS.Chat()chat.load_models(compile=False) # 設(shè)置為True以獲得更快速度

API_KEY = 'sk-xxxxxxxx' # 需要自行到 https://platform.deepseek.com/api_keys 申請(qǐng)client = llm_api(api_key=API_KEY,        base_url='https://api.deepseek.com',        model='deepseek-chat')

transcriber = pipeline('automatic-speech-recognition', model='openai/whisper-base')
def transcribe(audio):    sr, y = audio    y = y.astype(np.float32)    y /= np.max(np.abs(y))    user_question = transcriber({'sampling_rate': sr, 'raw': y})['text']    text = client.call(user_question, prompt_version = 'deepseek')    wav = chat.infer(text, use_decoder=True)    audio_data = np.array(wav[0]).flatten()    sample_rate = 24000
    return (sample_rate, audio_data)

demo = gr.Interface(    transcribe,    gr.Audio(sources=['microphone']),    'audio',)
demo.launch()

在此基礎(chǔ)上，可以增加更多功能：

• ASR 模型這里只使用 openai/whisper-base，可以在頁面上選擇多種模型；

• DeepSeek v2 API 使用了默認(rèn)參數(shù)配置，可以在頁面上增加一些額外參數(shù)，如 temperature 和 system prompt 等；

• ChatTTS 可以增加如 speaker 身份，打斷和笑聲控制，實(shí)現(xiàn)更豐富的輸出；

• 支持流式對(duì)話，像 GPT-4o 那樣自然打斷；
  

如果環(huán)境搭建遇到困難，可以私信獲取完整項(xiàng)目。

點(diǎn)擊下方卡片，關(guān)注“慢慢學(xué)AIGC”