“燈光”在影視作品、游戲和虛擬環(huán)境中的作用至關重要，它是一種重要的造型手段，在影片中起著傳達信息、表達情緒、烘托氣氛、刻畫人物性格和心理變化等作用。它影響著影片基調的形成和影片風格的展現(xiàn)，與影片基調形成對立統(tǒng)一的關系，與其它造型手段結合表現(xiàn)影片的節(jié)奏和旋律。

影視作品里許多特效場景都需要借助綠幕完成，在技術不過硬的時候，常會發(fā)生“五毛特效”的慘案。

想要復制完美的光效更是個難題。隨著計算機視覺技術的演進，計算機已經(jīng)能夠比較“自然”地還原人臉形狀、皮膚紋路，但是在模擬燈光條件這一塊還是缺乏寫實感。

而谷歌最近公布了一項基于燈光的全新技術——Relightables。能夠完美解決這一點。

Relightables 系統(tǒng)工作流程可分為三個部分：捕捉、重建和渲染。

該系統(tǒng)的核心依賴于一個包含多視角（主動）立體深度傳感器的燈光球面裝置，球面裝置安裝有 331 個可編程的燈以及 90 個高分辨率 12.4MP 重建相機。

捕捉人體所用的相機包含 32 個紅外（IR）相機和 58 個 RGB 相機。紅外傳感器提供準確、可信賴的 3D 數(shù)據(jù)，RGB 相機捕捉高質量幾何法線貼圖和紋理。這些相機以 60Hz 的頻率記錄原始視頻，研究者基于球面梯度照明交替使用兩種不同的照明條件。

接下來，研究者將數(shù)據(jù)上傳到公共存儲庫中，第一個階段是生成每個“機位”的深度圖、分割圖和 3D 網(wǎng)格[Kazhdan 和 Hoppe 2013]。

他們用一個對齊算法來處理重建網(wǎng)格的序列，如此一來，長的子序列就可以共享常見的三角定位（triangulation）。研究者提出了一種新的方法來解決關鍵幀的選擇問題，將其轉變?yōu)橐粋€ MRF 推理問題來解決。每個獨特的三角定位都被參數(shù)化為普通的 2D 紋理空間，該空間可以和所有共享該三角定位的幀共享。

最后每個網(wǎng)格都有兩個可用的梯度球形照明圖像，從中可以生成反照率、法線、光澤度和環(huán)境光遮擋圖。這些圖與標準渲染引擎兼容，可用在任何設定的光線條件下重新生成渲染圖像。

谷歌這個全新的系統(tǒng)可以完美還原人物周圍的光影效果，使得合成的影像看起來更加逼真。可以無縫地將捕捉到的人體融合到現(xiàn)實世界中或電影、游戲等中的數(shù)字場景。它可能會徹底變革 3D 捕獲技術領域。