閃電配音

先想象這樣一個場景：當(dāng)你看到一個畫面時，通過一個小應(yīng)用，能隨時配上一首契合圖像意境的音樂，是不是看起來更酷？

有這樣一種假象：當(dāng)音樂響起，結(jié)合畫面圖景，會讓你產(chǎn)生一種遠(yuǎn)離辦公室或臥室，坐在森林旁邊的潺潺流水中，甚至分身到暴露的山坡上的情景感。

日本研究人員的一個新項目就利用了這種想象力的潛力，并將其與AI算法結(jié)合，實現(xiàn)了這種奇妙的效果。

具體說來，是通過一款叫“Imaginary Soundscape” 的網(wǎng)絡(luò)應(yīng)用程序，使用機器學(xué)習(xí)來將您上傳的任何圖片和最符合的音頻配對。

上圖為這款產(chǎn)品的首頁，簡單明了，你要做的就是上傳一張圖片，然后進入另外一個頁面，顯示你上傳的圖片同時，同時就會放出經(jīng)過AI算法匹配后的背景音樂。

例如，上傳日本的漁船木刻，這個系統(tǒng)會匹配波浪和水聲；加載一幅抽象的夜鶯畫作，人工智能會給你搭配一首風(fēng)鈴和鳥叫的音景音樂。

再比如上傳上面這個畫面，系統(tǒng)匹配的音樂就是一首相當(dāng)古典的交響樂。

通常來說，結(jié)果正如你所期望的那樣，畫面什么樣，匹配的音樂也近乎切合。但更有意思的是，當(dāng)系統(tǒng)接收到你上傳一些稀奇古怪的元素時，系統(tǒng)反饋的配音也會帶來驚喜，比如將擎天柱與拖拉機聲音配對。

所有這些都是一個相對簡單的AI算法的產(chǎn)物。它使用物體識別來識別圖像中的元素，然后將這些元素與超過52,000個聲音文件的數(shù)據(jù)集進行匹配。

這個產(chǎn)品的研究人員，東京大學(xué)的Yuma Kajihara，Shoya Dozono和Nao Tokui多年來一直在研究這種“交叉模式”模型。 

Imaginary Soundscapes的早期版本于1月份推出，旨在將音頻與Google街景視圖中的圖像進行匹配。

這是一個有趣的小應(yīng)用程序，也是AI支持的新型創(chuàng)意表達的絕佳示例。該系統(tǒng)并不完美，比如模糊識別會造成錯誤，而聲音數(shù)據(jù)庫無可避免地不完整，但這也是其魅力和神奇所在，你永遠(yuǎn)不知道它會給你匹配什么美妙的音樂。

如果有的話，它產(chǎn)生的偶然和意想不到的音樂背景比“正確”的匹配更有趣。