專訪高通徐恒:頂尖影像技術加持下,手機拍照的未來是這樣
2020年10月01日08:59

  本文來自太平洋電腦網

  前段時間,高通在北京昆泰嘉瑞文化中心舉行了以“與世界分享你的視界”為主題的影像展,展會上,甄選了一系列搭載高通Snapdragon865移動平台的5G智能手機拍攝的優秀影像作品。

高通公司產品市場高級總監徐恒
高通公司產品市場高級總監徐恒

  展會結束後,高通公司產品市場高級總監徐恒接受了一眾媒體的專訪,一解大家對高通Snapdragon865移動平台在視頻拍攝上技術的疑問,以及介紹了未來高通對視頻拍攝技術上的整體佈局。

  多方面提升對超高像素的支援 將覆蓋更多產品線

  隨著5G時代的到來,如今用手機進行vlog視頻的創作和分享已經成為一個公認的智能手機重要用途。而近兩年高通對超高像素的支援力度有非常大的進步,除了在計算機視覺ISP方面持續深耕以外,高通公司與產業鏈合作夥伴也保持著密切合作,從而為用戶帶來高像素的出色用戶體驗。在ISP和AI引擎的共同支援下,Snapdragon移動平台的算力達到了非常高的水平。

  未來,高通計劃將頂級的視頻拍攝性能下放到更多的產品線,滿足更多不同用戶的需求。

  隨著直播行業的火熱興起,直播對移動平台各方面能力提出巨大挑戰,包括計算能力和功耗,並且涉及到諸多模塊。具體來講,直播會涉及到既要速度快、又要穩定的連接技術,和較低的功耗,同時每個運算單元都需要工作。高通公司一直將這些功能納入關鍵測試用例的範圍。

  提升手機拍照質量有兩大途徑,一個是光學器件的增加,例如鏡頭、傳感器等,還有一個是數字處理技術的提升。近幾年比較流行的概念是計算攝影,它可以將畫面切割成很多部分,並對畫面進行優化。而目前,手機芯片的計算能力突飛猛進,這樣ISP就能夠對畫面進行處理,同時對每個像素處理,處理過程中還疊加了多幀技術,同時還能處理RGB、YUV在內的各種域,因此ISP包含了非常多的技術IP,同時ISP還能配合AI引擎等,足夠的算力能夠把有限的硬件提供的所有信息量挖掘出來。

  ISP處理再通過AI技術補充更多的信息量,這樣手機拍攝就能夠達到類似專業相機的水平,雖然攝影行業有自身非常專業、無法替代的技術領域,但手機攝影還是能夠後備這個行業很多領域的,例如大部分場景下人們都在用手機拍攝。因此計算攝影能夠實現的前提是算力足夠大,並且算力的質量也足夠好。

  降低功耗 通過創新帶來更好的體驗

  很多人會說,現在的影像算法是很強大了,但是面臨一個很大的問題。比如我在分享第三方應用的時候,例如微信或微博平台,會壓縮比較嚴重,有沒有什麼辦法能儘量在壓縮到小體積的前提下保證我們的影像質量?使我們在朋友圈瀏覽的時候,不會看到像打了馬賽克一樣的圖像效果?

  徐恒表示,在壓縮、分享的效率以及最後的成像質量方面,高通與視頻公司或者軟件應用企業合作保持著非常緊密的合作。Snapdragon移動平台從底層,在技術允許的範圍內把壓縮率和質量做到最好的狀態。H.264、H.265本身就是有所壓縮,可以再在同樣壓縮率上做到質量最好。最終的選擇是軟件應用(App)廠商,他們有很多考慮,有一些是出於技術原因的考慮,更多的是基於運營的考慮。在具體的應用當中用戶上傳的視頻文件的大小,這都是由具體的應用開發商自己的選擇。高通公司在打造移動平台來時,是按照每一個比特率都把壓縮率和質量做到最好的標準去平衡的。

  手機拍照的效率問題也是比較多人關注的焦點,我們知道,由於幀率的要求,視頻拍攝對ISP提出了更高的挑戰。比如8K 30FPS視頻拍攝,每秒需要拍攝30幀3300萬像素的照片,實現如此高質量的視頻圖像處理不單單對芯片的吞吐量提出了很高的要求,同時也要求每一幀畫面儘可能接近照片的質量。這是非常大的挑戰,也是高通Snapdragon移動平台目前在ISP領域的優勢。評估一個芯片的ISP,視頻是很好的標準。高通有很多技術正在不斷助力智能手機降低功耗。

  對於下一年手機影像發展的趨勢,高通在進行產品規劃的時候會參考很多信息源進行判斷,包括自身的自主創新技術、市場反饋、合作夥伴、客戶、消費者等等,高通一直致力於通過技術創新為用戶帶來更好的移動體驗。

  比如,未來,利用AI技術處理視頻是一個非常好的方向,需要考慮算力和功耗,這也決定了應該採用多大的模型。剛才提到的,視頻的幀率顯著高於照片的幀率,相應地,視頻留給處理的時間也會更少,在這種情況下,模型會需要做一些取捨。

  並且,視頻有它的獨特性,照片是靜態的,視頻是動態的且每幀之間都有關聯。利用AI技術處理視頻是非常複雜的。現階段,首先得保證功耗是合理的,算力是足夠的。長期來看,利用AI技術處理視頻非常有前景,當把算力功耗控制好,同時把視頻的特性研究透徹之後,它的模型和照片的模型,不會是簡單的拷貝。舉例來說,降噪是現在非常受關注的領域,不僅僅在進行相關領域的研究,而且產品已經在不斷部署,但它仍處於快速迭代的過程中。

關注我們Facebook專頁
    相關新聞
      更多瀏覽