想象一下，用戶在智能手機(jī)上編輯視頻時(shí)需要完美的音效，或者希望為自己的鈴聲、鬧鐘或社交媒體帖子生成自定義聲音。用戶無(wú)需在線搜索或購(gòu)買音頻片段，只需輸入描述——“日落時(shí)輕柔的海浪聲”——幾秒鐘內(nèi)，設(shè)備便能生成完美的聲音，甚至無(wú)需連接互聯(lián)網(wǎng)。這種無(wú)縫、即時(shí)的音頻生成完全在設(shè)備上完成，這已經(jīng)成為現(xiàn)實(shí)，這要?dú)w功于Arm與Stability AI的一項(xiàng)新合作。

Arm與Stability AI合作加速文本到音頻的響應(yīng)時(shí)間  

為了實(shí)現(xiàn)這一目標(biāo)，開發(fā)圖像、視頻、3D和音頻AI模型的Stability AI利用了Arm KleidiAI，后者提供了針對(duì)Arm CPU優(yōu)化的性能關(guān)鍵例程——稱為微內(nèi)核。通過(guò)將KleidiAI集成到XNNPack庫(kù)和ExecuTorch框架中，并結(jié)合Stability AI自身的優(yōu)化，團(tuán)隊(duì)在Stability AI的文本到音頻開源模型“Stable Audio Open”上實(shí)現(xiàn)了顯著的AI性能提升。

結(jié)果非常顯著。文本到音頻AI生成的時(shí)間從幾分鐘大幅縮短至幾秒鐘，響應(yīng)速度提升了30倍。這一切都是在Arm CPU的智能手機(jī)設(shè)備上完全運(yùn)行Stable Audio Open模型實(shí)現(xiàn)的——這是文本到音頻AI的首次突破——且無(wú)需互聯(lián)網(wǎng)連接。

Stability AI利用KleidiAI的自動(dòng)加速功能加快了模型響應(yīng)速度，從而提升了設(shè)備上的AI性能，同時(shí)不犧牲質(zhì)量。 這些KleidiAI的性能提升無(wú)需Stable Audio Open模型的用戶進(jìn)行額外的開發(fā)工作，節(jié)省了時(shí)間和成本。Arm和Stability AI將繼續(xù)合作，實(shí)施更多性能改進(jìn)，進(jìn)一步提升這一卓越的AI用戶體驗(yàn)。

這些顯著的改進(jìn)表明，通過(guò)有針對(duì)性的硬件和軟件集成，以前無(wú)法實(shí)現(xiàn)的AI應(yīng)用在移動(dòng)設(shè)備上變得可行，為未來(lái)的創(chuàng)新機(jī)會(huì)提供了動(dòng)力。這也意味著，先進(jìn)的AI音頻功能現(xiàn)在可以被全球數(shù)十億智能手機(jī)用戶使用，而全球99%的智能手機(jī)都基于Arm技術(shù)。

共同解決復(fù)雜的AI挑戰(zhàn)

盡管Stable Audio Open模型效率很高，但直接在智能手機(jī)CPU上運(yùn)行它仍面臨重大挑戰(zhàn)。最初的嘗試導(dǎo)致單個(gè)音頻樣本的生成時(shí)間超過(guò)四分鐘，這使得用戶體驗(yàn)變得不切實(shí)際。

通過(guò)與Arm合作，Stability AI將模型精簡(jiǎn)到適合移動(dòng)設(shè)備的可訓(xùn)練參數(shù)數(shù)量。隨后，Stability AI利用XNNPack和ExecuTorch集成中的KleidiAI性能加速功能，使該模型能夠在Arm CPU上在幾秒鐘內(nèi)生成音頻片段。

Stability AI首席執(zhí)行官Prem Akkaraju表示：

“隨著越來(lái)越多的專業(yè)創(chuàng)作者和企業(yè)采用生成式AI來(lái)推動(dòng)他們的生產(chǎn)流程，我們的模型和工作流程必須隨處可用，以便開發(fā)者開發(fā)和創(chuàng)作者創(chuàng)作。我們很高興與Arm合作，正是因?yàn)檫@一點(diǎn)。Arm在從服務(wù)器到智能手機(jī)的生態(tài)系統(tǒng)中的普及性，以及通過(guò)將Arm Kleidi集成到軟件棧中來(lái)加速所有流行框架中的AI模型的工作，使其成為我們的不二之選。”

文本到音頻AI的崛起

自2022年以來(lái)，Stability AI一直處于生成式AI革命的前沿，最初憑借行業(yè)領(lǐng)先的圖像模型Stable Diffusion引起了廣泛關(guān)注。在此基礎(chǔ)上，該公司隨后推出了Stable Audio，這是首批完全授權(quán)的音頻模型之一，旨在從文本提示生成高質(zhì)量的音樂(lè)和音效。這些模型在Hugging Face等領(lǐng)先平臺(tái)上名列前茅，吸引了數(shù)百萬(wàn)用戶使用這些工具。

Arm與Stability AI在MWC上的展示

在2025年世界移動(dòng)通信大會(huì)（MWC）上，Arm和Stability AI將在2號(hào)館I60展位的Arm展臺(tái)上展示KleidiAI加速在Stable Audio Open模型上的成果。演示使用Stability AI的模型和工作流程生成，并全部在基于Arm的硬件上離線執(zhí)行，其中包括搭載最新Armv9 CPU的聯(lián)發(fā)科天璣9400的vivo X200系列旗艦智能手機(jī)。

先進(jìn)的音頻AI體驗(yàn)觸手可及

這只是Arm與Stability AI合作的開始，未來(lái)還將有更多性能優(yōu)化計(jì)劃，以進(jìn)一步提升用戶體驗(yàn)。通過(guò)合作，我們正在為設(shè)備上的AI在音頻、圖像、視頻和3D領(lǐng)域的應(yīng)用奠定基礎(chǔ)，重塑每個(gè)人創(chuàng)建內(nèi)容以及與數(shù)字媒體互動(dòng)的方式。通過(guò)精簡(jiǎn)高級(jí)模型并利用優(yōu)化軟件在無(wú)處不在的硬件上運(yùn)行，我們正在為一個(gè)未來(lái)鋪平道路，在這個(gè)未來(lái)中，復(fù)雜的AI應(yīng)用、模型和體驗(yàn)將觸手可及，直接來(lái)自我們口袋中的設(shè)備。

雖然許多AI驅(qū)動(dòng)的應(yīng)用程序（如Suno和Udio）可以生成音頻，但大多數(shù)依賴于云處理，這意味著它們無(wú)法離線使用。此外，一些音頻生成模型是在受版權(quán)保護(hù)的內(nèi)容上訓(xùn)練的，這帶來(lái)了知識(shí)產(chǎn)權(quán)風(fēng)險(xiǎn)。Stability聲稱，Stable Audio Open的訓(xùn)練集完全由免版稅的音頻和歌曲組成。

需要明確的是，優(yōu)化后的Stable Audio Open模型目前還不能下載——至少現(xiàn)在還不能。但Stability首席執(zhí)行官Prem Akkaraju在一份聲明中暗示，Stability未來(lái)將努力將其模型（包括Stable Audio Open）引入消費(fèi)者應(yīng)用程序和設(shè)備中。

Stability是廣受歡迎的圖像生成模型Stable Diffusion背后的公司，盡管近年來(lái)面臨困境，但去年該公司獲得了包括埃里克·施密特（Eric Schmidt）和Napster創(chuàng)始人肖恩·帕克（Sean Parker）在內(nèi)的投資者的新資金注入，試圖扭轉(zhuǎn)局面。據(jù)報(bào)道，Stability的聯(lián)合創(chuàng)始人兼前首席執(zhí)行官Emad Mostaque將公司管理不善，導(dǎo)致財(cái)務(wù)崩潰，員工辭職，與Canva的合作破裂，投資者對(duì)公司的前景感到擔(dān)憂。

在過(guò)去的幾個(gè)月里，Stability聘請(qǐng)了一位新CEO，任命《泰坦尼克號(hào)》導(dǎo)演詹姆斯·卡梅隆（James Cameron）為其董事會(huì)成員，并發(fā)布了多個(gè)新的圖像生成模型。作為少數(shù)特別重視聲音制作的大導(dǎo)演，期待卡梅隆。