IC694MDL230

IC694MDL230· 預(yù)訓(xùn)練策略的探索

在深度學(xué)習(xí)中，使用ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練已成為一種廣泛使用的策略。然而，近期研究表明，這種方法對于特定的相機(jī)標(biāo)定任務(wù)（如廣角相機(jī)標(biāo)定）會起到負(fù)面作用。這主要由兩個原因造成：數(shù)據(jù)差距和任務(wù)差距。此外，據(jù)我們所知，對于超過單個圖像和單個模態(tài)的標(biāo)定預(yù)訓(xùn)練策略，相關(guān)領(lǐng)域尚未進(jìn)行深入研究。因此，我們認(rèn)為探索面向相機(jī)標(biāo)定的深度學(xué)習(xí)預(yù)訓(xùn)練策略是一個有趣且有價值的研究方向。

· 隱式、統(tǒng)一模型的構(gòu)建

基于深度學(xué)習(xí)的相機(jī)標(biāo)定方法大多使用傳統(tǒng)的參數(shù)化相機(jī)模型，這種模型缺乏適應(yīng)復(fù)雜情況的靈活性。非參數(shù)化相機(jī)模型將每個像素與其對應(yīng)的三維入射光線相關(guān)聯(lián)，克服了參數(shù)化模型的限制。此外，它們允許隱式和統(tǒng)一的標(biāo)定，通過像素級回歸適配所有相機(jī)類型，避免了顯式特征提取和幾何求解等過程。深度學(xué)習(xí)方法顯示出對重建式標(biāo)定任務(wù)的潛力，使得非參數(shù)化模型值得重新審視，并有可能在未來代替參數(shù)化模型。

另一方面，研究人員將隱式、統(tǒng)一表示的優(yōu)勢與神經(jīng)輻射場（NeRF）相結(jié)合，用于重建三維結(jié)構(gòu)和合成新視角。其中，自標(biāo)定NeRF方法可用于具有任意非線性畸變的通用相機(jī)，探索了無需標(biāo)定目標(biāo)學(xué)習(xí)深度和自運(yùn)動的端到端流程。

本綜述認(rèn)為，隱式和統(tǒng)一相機(jī)模型在未來可以用于優(yōu)化基于學(xué)習(xí)的標(biāo)定算法，也可集成到下游的三維視覺任務(wù)中。同時，該領(lǐng)域中精心設(shè)計的幾何先驗、標(biāo)定策略、優(yōu)化方式、學(xué)習(xí)表征等也可用于啟發(fā)NeRF等領(lǐng)域的發(fā)展，以進(jìn)一步擺脫對相機(jī)參數(shù)和相機(jī)模型的依賴。

更多的未來研究方向，特別是相機(jī)標(biāo)定的實際應(yīng)用研究點，詳見本綜述補(bǔ)充材料的第三章。

IC694MDL230