賈浩楠 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
在遷移學(xué)習(xí)任務(wù)中，一直存在這樣的問題：
目標(biāo)域由于沒有標(biāo)簽，常常導(dǎo)致分界面附近混淆較多的數(shù)據(jù)。
中科院計算所的在讀研究生崔書豪等，提出了一種新的解決方法：批量核范數(shù)最大化 （Batch Nuclear-norm Maximization，BNM）。
在典型的標(biāo)簽不足場景下(如半監(jiān)督學(xué)習(xí)等)，BNM可以有效地提升學(xué)習(xí)效果。
并且，大量實驗表明，BNM的性能要優(yōu)于目前主流的一些方法，并且搭配起來使用，效果也很不錯。
這篇論文已被接收為CVPR 2020 Oral。
主要思路類別預(yù)測的判別性與多樣性同時指向批量響應(yīng)矩陣的核范數(shù)，這樣就可以最大化批量核范數(shù)來提高遷移問題中目標(biāo)域的性能。
可以通過分析批量類別響應(yīng)組成的批量矩陣A，嘗試從判別性和遷移性進(jìn)行優(yōu)化。
判別性
所謂判別性，指的是預(yù)測類別的過程是否堅定。比如對于二類問題的響應(yīng)：1、[0.9,0.1]判別性較高2、[0.6,0.4]判別性較低。
常見的方法采用最小化熵來得到較高的判別性。我們發(fā)現(xiàn)矩陣A的F范數(shù)與熵有著相反的單調(diào)性，從而可以通過最大化A的F范數(shù)來提升判別性。
多樣性
多樣性可以近似表達(dá)為批量矩陣中預(yù)測的類別數(shù)量，即預(yù)測的類別數(shù)量多則響應(yīng)多樣性大。
考慮不同類別響應(yīng)的線性相關(guān)性，如果兩個響應(yīng)屬于不同類別，那么響應(yīng)會差別較大線性無關(guān)，如果屬于相同類別則近似線性相關(guān)：1、[0.9,0.1]與[0.1,0.9]線性無關(guān)2、[0.9,0.1]與[0.8,0.2]近似線性相關(guān)。
那么預(yù)測類別數(shù)也就是矩陣中最大的線性無關(guān)向量數(shù)，即矩陣的秩。
BNM
核范數(shù)是矩陣奇異值的和，在數(shù)學(xué)上有兩點結(jié)論：
1、核范數(shù)與F范數(shù)相互限制界限2、核范數(shù)是矩陣秩的凸近似
所以類別預(yù)測的判別性與多樣性同時指向矩陣的核范數(shù)，我們可以最大化矩陣核范數(shù)（BNM）來提升預(yù)測的性能。
比如上圖中，如果使用熵最小化（EntMin）和BNM來優(yōu)化，當(dāng)熵相同的時候，使用BNM優(yōu)化更容易使得核范數(shù)更大，從而預(yù)測對擁有較少數(shù)量的類別（綿羊）。
實現(xiàn)
在常用的框架Pytorch與Tensorflow中，均可通過一行代碼實現(xiàn)BNM。
Pytorch:
TensorFlow：
應(yīng)用
我們將BNM應(yīng)用到三個標(biāo)簽不足的場景中：半監(jiān)督學(xué)習(xí)、領(lǐng)域適應(yīng)和開放域物體識別。
實驗表明，在半監(jiān)督學(xué)習(xí)中可以提升現(xiàn)有方法；在領(lǐng)域適應(yīng)中BNM約束明顯優(yōu)于EntMin，并且單一的BNM約束可以達(dá)到與現(xiàn)有方法相近的性能，如下圖：
在開放域物體識別中單一的BNM約束超過有著冗雜損失函數(shù)的UODTN，達(dá)到SOTA性能，如下圖：
同時在開放域物體識別中，我們統(tǒng)計了隨機采樣的批量響應(yīng)中未知類所占比例，如圖：
我們發(fā)現(xiàn)BNM確實可以保持未知類所占比例，從而保障整體預(yù)測的類別數(shù)量與準(zhǔn)確性，從而保持多樣性。
此方法主要針對的是缺少標(biāo)簽場景下分界面附近數(shù)據(jù)密度較大的問題，對于遷移相關(guān)的任務(wù)有著較為普遍的改善價值。
作者介紹論文作者包括中科院計算所學(xué)生崔書豪，卓君寶；計算所副研究員王樹徽，李亮；國科大講席教授黃慶明和華為諾亞方舟實驗室田奇博士。
本文第一作者崔書豪，2018年本科畢業(yè)于清華大學(xué)自動化系，現(xiàn)在是中科院計算所VIPL實驗室二年級碩士生，研究方向為深度領(lǐng)域適應(yīng)學(xué)習(xí)與開放域?qū)W習(xí)技術(shù)。指導(dǎo)老師王樹徽，長期從事跨模態(tài)、跨域分析推理技術(shù)研究
值得一提的是，崔書豪以第一作者向CVPR 2020提交了兩篇論文，另一篇是Gradually Vanishing Bridge for Adversarial Domain Adaptation，目前也被接收。
傳送門論文原址：https://arxiv.org/pdf/2003.12237.pdf
第二篇CVPR:https://arxiv.org/abs/2003.13183
BNM項目Github主頁：https://github.com/cuishuhao/BNM
崔書豪知乎：https://zhuanlan.zhihu.com/p/121507249
— 完 —
量子位 QbitAI · 頭條號簽約
關(guān)注我們，第一時間獲知前沿科技動態(tài)
