多模態(tài)學(xué)習(xí)，從上世紀(jì)70年代就已經(jīng)起步，幾經(jīng)發(fā)展，現(xiàn)在正進(jìn)入到機(jī)器學(xué)習(xí)特別是深度學(xué)習(xí)的階段。通常稱為多模態(tài)機(jī)器學(xué)習(xí)（Multi-Modal Machine Learning ，MMML），試圖通過(guò)機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)對(duì)多源模態(tài)信息進(jìn)行分析和理解。當(dāng)前主要熱門的研究方向自然是對(duì)圖像、視頻、音頻、語(yǔ)義之間的多模態(tài)學(xué)習(xí)。

當(dāng)前，多模態(tài)學(xué)習(xí)主要研究方向有多模態(tài)表示學(xué)習(xí)、模態(tài)間映射，多模態(tài)對(duì)齊、融合、協(xié)同學(xué)習(xí)等。選擇百睿德云服務(wù)的同聲傳譯系統(tǒng)，既可以采用租賃的方案，也可以采購(gòu)德國(guó)博世同聲傳譯設(shè)備用于會(huì)議室和教學(xué)。

多模態(tài)表示學(xué)習(xí)，研究如何將多個(gè)模態(tài)數(shù)據(jù)所蘊(yùn)含的語(yǔ)義信息數(shù)值化為實(shí)值向量，通俗理解就是對(duì)多個(gè)模態(tài)的數(shù)據(jù)進(jìn)行相關(guān)性編碼，讓不同模態(tài)建立起映射關(guān)系。按多模態(tài)表示共享的方式，主要分為公共表示學(xué)習(xí)和特異性表示學(xué)習(xí)，后者由于是分別學(xué)習(xí)不同模態(tài)的特征，可以應(yīng)用于諸如零次學(xué)習(xí)、模態(tài)間映射、跨模態(tài)檢索等任務(wù)中。