【分(fēn)享】攝影(yǐng)測量中的(de)七大(dà)核心問題

　　攝影(yǐng)測量的(de)中心問題是從獲取的(de)影(yǐng)像來(lái)得(de)到成像像素在影(yǐng)像中的(de)世界點的(de)三維坐(zuò)标和(hé)語義屬性的(de)過程。其核心問題如下(xià)：
　　1、 如何建立相機和(hé)外部世界坐(zuò)标之間的(de)關系。這(zhè)裏需要兩步：1)确定内參數;2)确定外參數。其中内參數用(yòng)來(lái)描述相機在小孔成像過程中的(de)一些重要參數值(焦距、主點、畸變...);外參數用(yòng)來(lái)描述相機怎麽擺在外部世界坐(zuò)标系裏(三個(gè)旋角組成的(de)旋轉矩陣，三個(gè)線元素組成的(de)相機中心在世界坐(zuò)标系的(de)位置)。這(zhè)個(gè)關系在 A)攝影(yǐng)測量的(de)共線方程和(hé) B)幾何計算(suàn)機視覺的(de)投影(yǐng)方程裏得(de)以表達。從這(zhè)裏可(kě)以衍生的(de)一點是，如果你知道外部世界點坐(zuò)标，又能在影(yǐng)像上高(gāo)精度定位出相應的(de)成像點坐(zuò)标，那麽你就可(kě)以算(suàn)出内外參數了(le)，從而完成相機标定。當然，标定還(hái)有更多(duō)變種，但萬變不離該宗。
　　2、 弄清了(le)相機和(hé)外部世界的(de)坐(zuò)标關系怎麽擺，接下(xià)來(lái)就要考慮怎麽通(tōng)過相片來(lái)算(suàn)點坐(zuò)标了(le)。通(tōng)過可(kě)能你已經發現，當你的(de)外部世界坐(zuò)标點在成像的(de)光(guāng)線上(即相機中心向像點發出的(de)射線)來(lái)回竄動的(de)時(shí)候，它對(duì)應的(de)影(yǐng)像像點坐(zuò)标是不變的(de)!!這(zhè)說明(míng)從物(wù)方點到像點的(de)映射從線到點的(de)對(duì)射，一條光(guāng)線對(duì)應一個(gè)像點，所以需要加入第二張影(yǐng)像來(lái)交會确定出世界點的(de)坐(zuò)标。這(zhè)引入了(le)兩個(gè)問題：1)兩個(gè)相機之間的(de)幾何關系怎麽表達?這(zhè)是用(yòng)相對(duì)定向模型(攝影(yǐng)測量)或者基礎矩陣(計算(suàn)機視覺)來(lái)表達的(de);2)怎麽确定某個(gè)像點在另一張影(yǐng)像上的(de)同源點(同名點/匹配點)?這(zhè)個(gè)通(tōng)過影(yǐng)像匹配來(lái)獲取。 當幾何關系被确定之後，通(tōng)過前方交會就可(kě)以算(suàn)兩張影(yǐng)像上的(de)同名點世界點的(de)坐(zuò)标。
　　3、 在2的(de)基礎上，要完成一片區(qū)域或者一個(gè)目标(建築物(wù)、雕塑)的(de)攝影(yǐng)測量，需要多(duō)張影(yǐng)像來(lái)完成。此時(shí)，可(kě)在剛才确定的(de)相對(duì)定向的(de)基礎上進行連續的(de)相對(duì)定向，即以某兩幅影(yǐng)像相對(duì)定向的(de)初始相機坐(zuò)标系爲參考坐(zuò)标系，不斷加入影(yǐng)像進行相對(duì)定向并放在第一幅影(yǐng)像表達的(de)初始相機坐(zuò)标系裏面，所以進行完連續相對(duì)定向之後的(de)坐(zuò)标系還(hái)是初始的(de)相機坐(zuò)标系，由于相對(duì)定向的(de)過程需要同名像點，所以實際上這(zhè)個(gè)過程之後既得(de)到了(le)相機的(de)姿态(位置、朝向)，又得(de)到了(le)一部分(fēn)用(yòng)于定向的(de)匹配同名像點在相機坐(zuò)标系下(xià)的(de)三維坐(zuò)标(結構)。由于在這(zhè)個(gè)過程中相機位置不斷變化(huà)，形成了(le)motion，所以這(zhè)個(gè)過程在計算(suàn)機視覺裏又稱爲Structure From Motion(SFM)。把一系列影(yǐng)像都放在某個(gè)相機坐(zuò)标下(xià)之後，此時(shí)通(tōng)過少量地面控制點就可(kě)以把它與物(wù)方世界坐(zuò)标之間的(de)轉換關系解算(suàn)出來(lái)，完成絕對(duì)定向。這(zhè)種思路稱之爲相對(duì)定向-絕對(duì)定向法。
　　通(tōng)過以上的(de)方法解算(suàn)的(de)過程一般都是漸進的(de)，誤差會不斷積累和(hé)傳播，爲了(le)提高(gāo)精度，在最後會進行整體的(de)再一次優化(huà)，優化(huà)的(de)目标一般是最小化(huà)重投影(yǐng)誤差。由于成像模型裏的(de)旋轉矩陣是高(gāo)度非線性的(de)，這(zhè)個(gè)優化(huà)問題是非線性優化(huà)問題，需要通(tōng)過叠代來(lái)完成。通(tōng)過叠代來(lái)優化(huà)的(de)過程自然涉及到更新步長(cháng)和(hé)更新方向(梯度)的(de)問題，叠代步長(cháng)和(hé)更新方向的(de)确定用(yòng)到了(le)介于牛頓法(二階梯度)和(hé)标準梯度下(xià)降(一階梯度)之間的(de)LM算(suàn)法來(lái)完成，我們稱這(zhè)個(gè)過程叫光(guāng)束法平差。
　　4、至此，你完成了(le)把多(duō)幅影(yǐng)像對(duì)應的(de)相機放到外部世界坐(zuò)标系裏，并在此過程中得(de)到了(le)一部分(fēn)用(yòng)于定向的(de)匹配像點的(de)3D坐(zuò)标(稀疏定向點點雲)。下(xià)一步就是密集地恢複深度，密集地測出影(yǐng)像上的(de)點位坐(zuò)标。以前我們叫立體匹配、多(duō)視立體匹配，現在匹配算(suàn)法進步了(le)，能逐像素匹配，我們幹脆就叫它密集匹配了(le)(Dense Matching)。其過程如下(xià)：
　　先生成核線影(yǐng)像，讓視差集中到水(shuǐ)平方向，也(yě)就是說一對(duì)核線影(yǐng)像上坐(zuò)标(x1,y1)來(lái)說，它在對(duì)應的(de)影(yǐng)像上的(de)同名點坐(zuò)标(x2,y2)總滿足y1=y2. 所以你隻需要去估計影(yǐng)像1上每個(gè)點的(de)視差值x1-x2.注意，視差值決定深度(世界3D 點到成像平面的(de)距離)。
　　每算(suàn)一個(gè)可(kě)能的(de)位置，都有一個(gè)匹配代價(交叉相關、互信息....)，這(zhè)樣就形成了(le)一個(gè)視差代價函數空間，它對(duì)應著(zhe)影(yǐng)像1上每個(gè)像素取每個(gè)潛在可(kě)能視差值的(de)匹配代價。

   　估計每個(gè)像素點的(de)視差。這(zhè)個(gè)估計的(de)過程就是在取每一個(gè)視差值的(de)時(shí)候，你就有一個(gè)匹配代價，這(zhè)項稱爲數據項。同時(shí)，你還(hái)得(de)考慮領域，也(yě)就是說當某個(gè)像素值與鄰近像素相近時(shí)，我們也(yě)認爲它們的(de)深度更相近，如果他(tā)們的(de)深度不相近，我們就懲罰它們;同理(lǐ)，當鄰近像素的(de)灰度值變化(huà)很大(dà)的(de)，我們也(yě)認爲它們的(de)深度值傾向于有更大(dà)的(de)變化(huà)，那麽就會對(duì)灰度值變化(huà)很大(dà)而視差值差别不大(dà)的(de)情況進行懲罰。完成這(zhè)個(gè)懲罰設計出來(lái)的(de)代價函數就是平滑項。平滑項和(hé)數據項一起構成了(le)匹配優化(huà)的(de)目标函數，也(yě)稱作能量函數，最優化(huà)求解這(zhè)個(gè)函數使得(de)代價(cost)最小的(de)解就是求解的(de)每個(gè)像素的(de)視差值。當然，有一部分(fēn)點可(kě)能不能同時(shí)被兩張影(yǐng)像看到(遮擋)，這(zhè)部分(fēn)像素深度無法得(de)到。
　　多(duō)個(gè)密集匹配的(de)立體像對(duì)的(de)結果進行融合，得(de)到整體的(de)視差值和(hé)三維點雲。
　　5、幹完這(zhè)步，你可(kě)以開心的(de)獲取：
　　i) 數字地表模型
　　ii)數字正射影(yǐng)像
　　iii)獲取 數字高(gāo)程模型 DEM (要自動得(de)把植被和(hé)建築從DSM上分(fēn)類出來(lái)剔除掉，然後插值格網化(huà))

　　iiii)數字線劃圖 (還(hái)不是自動地
　　6、走到這(zhè)裏，我們做(zuò)的(de)還(hái)是幾何問題。那麽語義屬性在哪裏呢(ne)
　　屬性通(tōng)過分(fēn)類來(lái)算(suàn)。輸入值是影(yǐng)像(可(kě)加入深度)(或特征)，輸出值是類别，中間過程用(yòng)監督學習(xí)下(xià)的(de)分(fēn)類器來(lái)完成。或者用(yòng)非監督學習(xí)壓縮數據，然後用(yòng)監督學習(xí)得(de)到分(fēn)類器。
　　屬性怎麽算(suàn)呢(ne)?如果用(yòng)上我們辛辛苦苦得(de)到的(de)深度值，那我們依靠的(de)還(hái)是馬爾提出的(de)視覺問題框架，通(tōng)過深度值爲跳闆來(lái)解決視覺問題。現階段以我的(de)知識，能理(lǐ)解到的(de)需要解決的(de)核心問題是：
　　如何設計出好的(de)特征，這(zhè)裏面又分(fēn)爲采用(yòng)經典的(de)手動設計特征和(hé)現在火熱(rè)的(de)基于深度神經網絡的(de)自動特征表達學習(xí)，其核心問題是找出區(qū)分(fēn)力高(gāo)的(de)特征表達。
　　如何表達先驗，如何融合已有的(de)知識，如GIS數據庫、地圖等信息，如何融合多(duō)平台的(de)測量數據(衛星影(yǐng)像、航空影(yǐng)像、地面車載數據，UAV數據以及網絡大(dà)數據）。
　　不同地區(qū)的(de)訓練數據往往類别規定和(hé)類别分(fēn)布不一緻，如何有效的(de)統一和(hé)遷移學習(xí)到的(de)知識;以及如何建立高(gāo)效海量的(de)數據庫來(lái)加速這(zhè)一領域的(de)發展。這(zhè)個(gè)問題還(hái)是現在進行時(shí)。
　　7、 航空影(yǐng)像的(de)分(fēn)類解決好了(le)，還(hái)是土地的(de)覆蓋分(fēn)類，土地的(de)利用(yòng)類别呢(ne)?國土資源的(de)管理(lǐ)、地圖的(de)制作依靠的(de)是土地的(de)利用(yòng)類别(荒地可(kě)能是荒地，可(kě)能是閑置的(de)商業用(yòng)地，這(zhè)區(qū)别太大(dà)了(le))。解決這(zhè)個(gè)問題一方面需要加入合理(lǐ)的(de)先驗;另一方面需要更加先進的(de)分(fēn)類模型和(hé)大(dà)數據的(de)支撐。