合肥法語(yǔ)培訓(xùn)：虛擬主持人研發(fā)團(tuán)隊(duì)負(fù)責(zé)人郜靜文:通過(guò)個(gè)性化多語(yǔ)言合成技術(shù)合成

【同期】AI小青，虛擬主播

大家好，我是科大訊飛。AI虛擬主播小青，我可以用多種語(yǔ)言和方言廣播。現(xiàn)在我用廣東話為你廣播；現(xiàn)在用英語(yǔ)為你廣播；現(xiàn)在用俄語(yǔ)為你廣播；現(xiàn)在用日語(yǔ)為你廣播；現(xiàn)在用韓語(yǔ)為你廣播；現(xiàn)在用法語(yǔ)為你廣播。祝你身心健康，工作順利。

【說(shuō)明】據(jù)了解，原有AI虛擬錨是一個(gè)單維語(yǔ)音提示。如果你想實(shí)現(xiàn)流暢的語(yǔ)言，豐富和愉快的語(yǔ)言，自然和生動(dòng)的身體動(dòng)作和表達(dá)，你需要通過(guò)個(gè)性化的多語(yǔ)言合成技術(shù)合成你想要廣播的內(nèi)容。

【同期】虛擬主持人R&D團(tuán)隊(duì)負(fù)責(zé)人高靜文

目前，我們的虛擬主播已經(jīng)支持播放30多種語(yǔ)言。它是通過(guò)幾種技術(shù)實(shí)現(xiàn)的。首先，它需要收集一些人類材料。我們需要大約半小時(shí)的信息來(lái)建模這個(gè)虛擬人。在未來(lái)，我們只需要輸入文本，它就可以開(kāi)始視頻輸出。

解釋說(shuō)起來(lái)很簡(jiǎn)單，但訓(xùn)練過(guò)程非常困難。定制錨定部分音頻和視頻同步視頻數(shù)據(jù)后，將數(shù)據(jù)的語(yǔ)音和視頻分開(kāi)，用語(yǔ)音數(shù)據(jù)培訓(xùn)個(gè)性化語(yǔ)言生成模型，提取面部識(shí)別、表情捕獲等視頻參數(shù)；在多模態(tài)生成模型培訓(xùn)中，涉及深度學(xué)習(xí)、機(jī)器翻譯、多語(yǔ)言生成等關(guān)鍵技術(shù)。

【同期】虛擬主持人R&D團(tuán)隊(duì)負(fù)責(zé)人高靜文

然后，通過(guò)虛擬人和語(yǔ)音合成的一些組合，它已經(jīng)成為一個(gè)多模式的虛擬人結(jié)構(gòu)。在這里，我們不僅要表現(xiàn)聲音的實(shí)現(xiàn)，還要表現(xiàn)一些情緒，包括情緒中的聲音表現(xiàn)，包括虛擬人的嘴唇和面部情緒，以及身體動(dòng)作的靈活表現(xiàn)。在這個(gè)過(guò)程中，我們需要克服人工智能對(duì)文本的分析，情感分析與多維度的結(jié)合。

【說(shuō)明】目前，研發(fā)部門已經(jīng)開(kāi)發(fā)出來(lái)AI虛擬主播、AI虛擬客服、AI虛擬教師等，已廣泛應(yīng)用于媒體、金融、客戶服務(wù)等領(lǐng)域。

【同期】虛擬主持人R&D團(tuán)隊(duì)負(fù)責(zé)人高靜文

劉鴻和張軍報(bào)道安徽合肥