|
近日，來自德國埃爾蘭根-紐倫堡大學的學者提出了一種新穎的神經網路方法，用於3D圖像的場景細化和新視圖合成。 研究人員表示，高效的單圖元點光柵化讓他們能夠即時顯示超過 1 億個圖元點的點雲場景。 一億個像素點是什麼概念？ 說白了，這些3D圖像太逼真了。 再看看合成圖和原圖的對比，簡直和拍照沒啥區別。 這項研究最近在推特上收到了很大的關注，網友紛紛回應：impressive 同時，也有網友表示，這項研究確實利用了大規模動態輸入點雲的優勢，而這原本是「超級難」的問題。 如下圖所示，給定一組RGB圖像和初始3D重建（圖左），該渲染方法能夠合成新的幀，並優化場景參數（圖右 用神經網路自動學習合成高清3D圖像已有成效，但之前還難以做到大動態的視角變換，他們是怎麼實現的呢化 合成逼真的虛擬環境是計算機圖形學和計算機視覺研究的熱門領域之一。 其中，3D 形狀的編碼形式是非常關鍵的部分，人們通常會考慮三角形網格、體素網格、隱函數和點雲，每種表示法都有各自的優缺點。 從左到右，分別是點雲、體素、三角網格形式的兔子3D圖像。 為了有效渲染不透明表面，人們通常選擇三角形網格。 體素網格常用於容量表示，而隱函數適用於精確描述非線性分析表面（比如a^2+b^2+c^2=1，就是一個單位球面）。 另一方面，點雲具有易於使用的優點，因為不必考慮拓撲性質，非常便於作為3D圖像合成的中間輸出階段。 不必考慮拓撲性質是指，無論是圓環還是球體，其表示形式都是一樣的。
在2000年左右，點雲渲染，尤其是點散佈，已在計算機圖形學中得到廣泛研究。 與此同時，人們越來越關注基於圖像的渲染技術。 也就是基於粗略的、重建的3D模型以及已有的一組物體圖像，來合成新的視圖。 這些方法存在輸入不精確的問題，例如，如果幾何圖形包含孔或輸入圖像沒有完全對齊，則會出現偽影。 而基於神經圖像的渲染方法使用神經網路來去除這些偽影，可以生成前所未有的如照片般逼真的高品質新視圖。 Aliev等人則表明，將傳統的點光柵化器與深度神經網路配對也是可行的。 圖源：HTTPs：//arxiv.org/pdf/1906.08240.pdf（Aliev et al.） 這一發現對3D重建尤其有益，因為其通常使用密集點雲作為初始輸出。 因此，我們可以跳過不必要的、可能出現錯誤的三角測量，直接可視化重建的場景。 點的HDR神經渲染管道概覽。 如上圖所示，由紋理點雲和環境圖組成的場景被光柵化為一組具有多種解析度的稀疏神經圖像。 深度神經網路重建HDR圖像。 然後通過一個基於物理的可微色調映射器將其轉換為給定新視點場景的 LDR圖像
| 
300x180 AD