LyFee 萊菲光場 光場影像，愛恨交織的深度圖與光場影像 - 光場影像
LyFee 萊菲光場 光場影像，愛恨交織的深度圖與光場影像
取得光場影像的同時，有一個附產品，也會一同生產出來。 黑白的「深度圖」，一個對許多人夢寐以求的圖像，讓人可以從平面影像轉換成立體影像的捷徑。
原文(2015) - 裸眼3D廣告的愛恨情仇 – 2D轉3D
曾經，對深度圖有深刻的經驗，進入光場影像的領域後，對這一張張黑白圖像，有了不同的延伸與思考。
「深度圖」對於做3D動畫或特效的人應該都不陌生，常常拿來做為光影、糢糊….許多效果的依據。
第一次聽到深度圖用在裸視3D，是在一個業界的老前輩的口中聽到，他總是說：「只要你有深度圖，要幾個視角都可以給你」。 那時候剛進入裸視3D的產業，對於能永遠解決多視點的問題，真的好高興一陣子。當時候需要多視點的算圖工作，正困擾整個團隊，有一個只算一張，然後在加一張深度圖(2D+D)，就可以看到裸眼3D影像的方法，當然非常興奮。
裸眼3D動畫製作，少掉多視點算圖，利用2D轉3D深度圖轉製，太方便!
裸眼立體用深度圖，就如同上圖範例，用來告訴電腦，這張圖的距離或者是立體效果的依據。所以，裸眼立體的2D轉3D(2D轉多視點)，如果沒有意外的話，9成都是走這個程序。不管是全自動轉製、半自動轉製、全人工繪製，都一定要把深度圖產生出來，才能讓原本的2D畫面變成戴眼鏡或裸眼3D多視點的影像。過程大概就是「分區追像」、「上灰」、「加漸層」、「穩定降噪」，有些2D轉3D團隊還會加上「多視點分算」及「補圖像」。上面這張圖示大概就會批為不合格，毛邊太嚴重，根本分不出邊! CG的裸眼3D，因為在生產的過程中就在軟體內部，所以深度圖很穩定(如下圖示)比對上一張，差很多吧。
實際拍攝就比較難產生毛邊少的深度圖，所以大部分都會視機器轉製 一半，然後在經過人工修整。或者就完全人工繪製深度圖，這就會需要大量的人力與時間，印度在這個領域還蠻利害的，難怪美國人會把整家公司搬過去。
裸眼3D影片2D轉3D深度圖轉製，很多客戶愛到翻!
用深度圖當做「規格」的裸眼3D影像(2D+D)，對於現在裸眼3D內容缺乏的狀況，是一個降低成本的好選擇。 客戶一般都沒有預算，但是又希望有3D效果，所以2D轉3D就提供一個很好的捷徑。
1) 用深度圖可以允許後製做調整3D效果，甚至可以讓那些拍攝距離物件太近或者是拍攝3D效果失敗的狀況下，調整3D效果。
2) 原有的2D影片，利用這個程序，直接轉成裸眼3D多視點的影片，馬上可以解決內容不足的問題。
3) 符合「電視」戴眼鏡3D等級內容的製作轉製成本，快速、方便、技術成本低!
4) 深進螢幕的立體效果自然，不會讓人感到暈眩。
所以現有裸眼3D電視螢幕，用這樣的程序，是最符合經濟效益的商業模式，也是製作裸眼3D內容的團隊，最基本入門檻的技術能力!
裸眼立體影像與光場影像「最初」的關聯 - 深度圖
裸眼立體影像的年代，深度圖不是用人工「轉製」、要不然就是機器「轉製」。 「轉製」就是透過圖像的辨識，來判定距離，並不是依據實際距離得到的數據來製做。 但是接下來透過光場技術，是在光場攝影機攝影的同時，就已將「光」的數據(距離、方向、色彩等)存下來，再透過運算，就可以產生真正距離感知的深度圖。
2D轉3D深度圖，雖然很”快速”，但是有缺陷!
經過幾次經驗，剛開始的興奮，漸漸的被疑惑所取代。 裸眼3D在大尺寸的螢幕上，立體效果與小螢幕差很多，尺寸越大，效果越明顯。 但是，隨著尺寸越大，原本小尺寸看不出的破綻，也會隨著大尺寸而放大。 再來就是視點的增加與FOV的增大，就慢慢放大2D轉3D深度圖的缺陷。 當裸眼3D(Autostereoscopic)接近全像(Holographic)時，就不會有人提出2D轉3D，這點真得讓人蠻意外。 我顯少聽到雷射全像用2D轉3D，而且每個的雷射攝影技術設備，都是貴到不行，也沒客戶抱怨要廠商降低成本使用2D轉3D的技術。
製做深度圖的時候，要很清楚幾件事。
1) 毛邊
一般會出現在機器或軟體轉製時發生的情況，沒有經過人工修整，但是速度最快。小尺寸的裸眼3D螢幕，在3D成像後，或許看不到物體的毛邊與小瑕疵。 可是在大尺寸或電視牆，這樣可是會讓物體周為充滿”氣場”。毛邊的厚大會隨著螢幕增大，呈現放大顯示，所以小尺寸可以看的2D轉3D影像(沒有氣場毛邊)，不一定能在大尺寸上一體適用。
2) 半透明
深度圖這點算是他的瓶頸，你只能選其中一個為你的重點，無法同時展現兩個以上的立體效果。 不過有許多解決方案啦，像是另外讀取透明數據，或者是乾脆放棄”透明”。
如果你有紅藍眼鏡，你會發現玻璃瓶與船是分開的，船真正是在瓶子內!! 如果是深度圖，2D轉3D，那就要放棄一個。
3) 黏著感與補圖
黏著感是用深度圖2D轉3D時會一直想解決的問題，如果是左右(2D+D)的格式，就得靠裸眼3D軟硬體「播放器」解決。 只做到2D+D格式的部分，是無法解決強烈的黏著感問題。 你只能利用類似Displacement Map的工具，可以不經過裸眼3D螢幕就可看見立體的狀態，這可以稍微預估一下效果。 可是黏著感就得要經過「分算」與「補圖」，立體效果才會好! 題外話，如果視點越多FOV越大….你得補越多!
4) 動態模糊與大單色塊
任何的模糊與大單色塊都是裸眼3D的大忌，會破壞立體效果的呈現，一般只要出現這兩個，我們就會認為這個裸眼3D內容製作團隊不專業。
深度圖用在裸眼3D的領域至少有二十幾年，用在戴影鏡的3D更是久。 曾經在運用深度圖的過程中，幾年前有人提出深度圖用在裸眼3D是否有”專利”的問題。 被問到的那一刻，還真的嚇了一跳，真沒想過這件事情。 看在大家用的這麼賣力，也沒人提出告訴，應該是沒有專利的問題吧。
5) 立體影像的變型
既然是透過深度圖的轉換，就會有好壞之分。好的轉換，會完整表現實際情況，但是有些圖像在轉換的過程，會產「變形」，與實際的物體不符。變形、拉扯、擠壓或液化，這些都是在轉換的過程中會出現的狀況，感覺起來就好像星際迷航記裡的傳送裝置失敗後，人被變形的模樣。
進入「光場影像」的領域後，取得影像的同時「深度圖」就自然生成。 所以就可以直接滿足實拍時的2D轉3D轉換。 這是一條非常聰明的捷徑，讓需要高成本的裸眼立體拍攝，一下子可減少90%的成本。 也可以透過「深度圖」的2D轉換成3D，輸出成可以符合各種不同格式的立體影像。
有關現在在2D轉3D深度圖領域，會碰到兩個問題：
製造端
追圖，黑白圖抹，枯燥無味的工作，一定要依據原始2D影片，沒有創作空間。這樣的業態，使得人員流動大，做起來像作業員。但是又需要大量的繪製人員，而且品質控制又要把關使用工具要研發，非一般中型或小型團隊適用。 但是做單張影像不在此限，台灣有世界級裸眼3D的2D轉3D技術，他們的技術真得很棒。
觀眾端
在有些觀眾的眼裡，用深度圖轉製的裸眼3D影像，是一種偽3D的欺騙行為。
對於我們來說，深度圖是一個過程，2D轉3D也是一種程序與工具。 它有它適合的地方，也有它的缺陷。之所以裸眼3D影像內容迷人，就是它的變化多，讓人捉摸不定，需要整個團隊不斷摸索探索。畢竟裸眼3D與戴眼鏡的3D的歷史，也有170幾年，好老!
經過我們這幾年的經驗，透過深度圖的轉換，立體效果與實際多視點產出的立體影像，有著顯著的差異，但是，確是現在，大家聽的懂、可以用於實拍，馬上應用的技術。
LyFee 萊菲光場 對於深度圖的定義，它還是屬於平面影像的應用，並未真正進入立體影像的範疇。 但是，它的確是個很好用的製作「程序」，可以讓我們控制成本，針對不同專案，決定最好的解決途徑。
