Jon McCormack 在 Apple 擔任軟件副總裁。他的重要工作：進一步提升 iPhone 的影像系統。

iPhone 12和iPhone 12 Pro系列進一步增強了照片和視頻拍攝能力

在測試了 iPhone 12 和 12 Pro 之后，我對影像系統中的改進大感興奮，計算攝影的加成功不可沒。同時，我也產生了不少疑問。在和 Jon McCormack 的越洋電話中，他進行了盡可能詳盡的回答。同時參與訪問的還有 iPhone 12 的產品經理 Vitor Silva。

- 我在這幾天試用 iPhone 12 系列的過程中，感受到了照片和視頻拍攝質量的大幅提升，令人非常高興。能不能先請 Vitor 簡單介紹一下今年 iPhone 12 系列的改進？

首先，我們在 iPhone 12 和 12 Pro 上放入了 f/1.6 光圈的主攝像頭。這是 iPhone 上光圈最大的攝像頭。所以你的照片和視頻都會有更明亮的畫面和更少的噪點。而且我們這次采用了 7 片的鏡頭片租，讓畫面得到了進一步提升。

然后，我們在 iPhone 12 Pro 上放入了全新的科技——LiDAR。它的全稱是‘light detection and ranging’。通過檢測一束光發射再返回的時間，判斷物體的距離。因為 LiDAR 可以在黑夜里工作，我們可以用它加快相機在夜景中的對焦時間，最快能夠提升 6 倍。

這些新功能的背后，都是 iPhone 最新的 A14 仿生芯片，這是所有只能手機里最快的芯片。以及全新的圖像信號處理器，能夠更好地進行畫面融合，減少早點，并帶來了更好的 HDR 視頻能力。

在這些硬件的支持下，我們走向了第三步，也就是軟件系統。Jon McCormack 將會為你進一步介紹。

- 我們在今年的 iPhone 發布會上聽到了很多次‘計算攝影’（computational photography）。Jon 是負責軟件的副總裁。請您告訴我，Apple 如何看待‘計算’和‘攝影’之間的關系？

在過去，我們要創作出畫質更好的照片，只能在‘拍攝’這個環節去提升硬件。我們買非常非常大的膠片——大畫幅相機的底片真的很大一張，安裝起來也很麻煩——去買非常非常貴的鏡頭，去手動控制景深和曝光，慎重地按下快門。

但是我們現在用的 iPhone，鏡頭只有這么小，感光元件也只有指甲蓋大。那么我們如何找回模擬時代的體驗？我們要靠‘計算’，讓手機做很多的數學題，通過各個傳感器——比如最新加入的 LiDAR——獲得的信息，讓手機自動完成過去‘數碼暗房’里手動完成的工作。

- 那么，‘打贏專業的單反和電影機’是你們的目標嗎？

這不是我們的思維方式。

我們在 iPhone 12 的樣片拍攝過程中，能把攝制團隊壓縮到非常小，只有幾個人就完成了樣片拍攝。過去，你要拍攝這樣的鏡頭，要很多人，有的人扛機器，有的人測光，有的人對焦，有的人操作電影機。這種變化，才是我們工作的核心。

我們的目標是讓每個人都能講述自己的故事，而且讓每個人都能用到最好的科技——比如‘杜比視界’。他們可以從口袋里掏出一臺小巧的手機，拍下身邊溫馨的畫面，完成編輯，再分享出去，整個流程里都是‘杜比視界 HDR’的視頻。這種體驗非常美妙。

- 但現在的手機視頻，似乎還不像手機拍照片那樣，在‘計算攝影’上達到很高的完成度。這里面的瓶頸是什么？

拍攝視頻和拍攝照片還不太一樣。在拍攝照片的時候，手機有足夠的時間，去做后置的計算處理。但是在拍攝視頻的時候，一秒有 30 幀甚至 60 幀，需要完成的計算任務就非常多了。

在過去的幾年時間里，手機視頻的中間影調的成像質量已經被解決得很好，大家的水平都差不多。

那么，挑戰主要集中在陰影和高光。你注意觀察的話，今年 iPhone 在畫面暗部的噪聲已經少了很多，畫面干凈了很多。另外，我們今年將視頻的色深從 8 比特提升到了 10 比特。我們利用多記錄的這些色彩信息，也對高光做了更好的還原。

還有，我們今年在延時攝影里也加入了‘夜景模式’。這其實是視頻的范疇，不是拍攝靜態照片。這和照片的‘夜景模式’其實是兩套不同的代碼，因為拍視頻需要更快的處理。照片和視頻的‘夜景模式’里，共享了很多計算邏輯和知識，但本質上還是非常不同。

- 你覺得現在手機感光元件的實際動態范圍，能夠喂飽 HDR 視頻所能承載的動態范圍嗎？

手機視頻的改良是一條非常漫長的道路。A14 這個芯片，里面加入了大量對 HDR 視頻拍攝能力的優化。它的神經網絡引擎速度提升了 80%，它提供了很強的多幀融合（fusion）能力。你將 iPhone 12 Pro 的視頻和上一代相比，已經有了長足的進步。

而在未來，你會看到更多這方面的提升。

- 我看現在 iPhone 的‘杜比視界 HDR’視頻，傳到電腦上以后是 HLG 曲線。這和我們過去處理的‘杜比視界’素材——它們都采用了記錄絕對亮度值的 PQ 曲線——好像不太一樣。為什么這么做？

在 iPhone 內部，這是一個完整的‘杜比視界’拍攝流程。這是一個全新的 8.4 版本的標準。我們和杜比進行了很深入的合作，這個標準將會得到更大范圍的應用，將會有更多的設備從中受益。

你看到的 HLG 曲線是為了更好的兼容性。我們希望這個導出的視頻文件，能夠在各種各樣的設備和屏幕上觀看，而 HLG 曲線滿足了這個需求。

- 我看現在的 HDR 視頻，如果直接從手機傳到社交網絡上，顏色有點偏差。這個兼容性問題如何解決？

在 iPhone 內部的視頻流程里，我們保存了兩套 metadata，一套對應于 HDR，一套對應 SDR。

隨著 iPhone 12 和 12 Pro 的上市，我們將會推送新的 iOS 版本，到時候會有新增加的 API，讓 app 告訴系統，他們是否支持杜比視界 HDR 視頻，這樣系統就會上傳正確動態范圍的版本。

- 今年的 HDR 照片，我看好像和去年的 HDR 照片不太一樣。似乎高光更亮了？是這樣嗎？

相比于 iPhone 11 Pro 拍攝的 HDR 照片，我們今年在存儲下來的照片文件里面，還增加了一個‘高光導圖’（Highlight Map）。

這樣可以充分利用我們今年推出的 Super Retina XDR Display 來展現出更高兩檔的高光，讓用戶直接在手機屏幕上看到更大的動態范圍。這也是為什么，你在手機上看你拍的藍天白云，會覺得云比過去的手機上更亮了一些。

- 謝謝。

采訪者注：

在測試過程中，我們看到，使用 iPhone 12 系列拍攝的視頻，HDR format 是‘Dolby Vision， Version 1.0， dvhe.08.04， BL+RPU， HLG compatible’。

在‘dvhe.08.04’字符串中，‘dvhe’指杜比視界高性能壓縮視頻（Dolby Vision High Efficiency）。根據白皮書《Dolby Vision Profiles and Levels Version 1.3.2》的信息，‘08’指 profile 版本為 8，‘04’指 level 為 1920 x 1080 @ 30。

Profile 8 的編碼為‘10-bit HEVC’，信號兼容性為‘1， 2， or 4’，既 HDR10、SDR 及一種‘在特定的廣播和移動設備’上工作和‘為了某些特定設備優化’的標準。（引用自杜比在 2019 年 9 月 16 日發布的公開資料。）

‘BL+RPU’指‘base layer + reference picture unit’。我們猜測， iPhone 拍攝的 HDR 視頻可能在 HLG 曲線之外，為回放設備提供了正確解析 SDR 和 HDR 色彩的參考信息（RPU），將 HLG 曲線記錄的色彩進行再次解析——既是 Jon McCormack 所說的‘兩套元數據’。

實際上在 iPhone 12 錄制的視頻里，存在三套元數據。我們暫時無法知曉各自對應的用途。

截止發稿時為止，搜索不到更多的關于‘Dolby Vision Profile 8.4’和 iOS、macOS、tvOS 上關于‘杜比視界新 API’的資料。