現在居家看電影，大伙兒還是更愿意用電視。

畢竟在同等條件下，電視的屏顯和畫質擺在那里，手機再怎么升級屏幕，沉浸感還是沒有電視好。

BUT，就在最新一期天璣旗艦技術溝通會上，聯發科卻突然宣布，成功把電視上的畫質 " 秘籍 "搬到手機上來了——

要知道在智能電視市場，聯發科智能電視芯片至今已助力累計超過 20 億臺電視產品在全球各地上市，是這一領域的領導廠商，畫質增強技術更是早有積淀。

電視技術移至到手機上帶來了兩點好處，一方面，畫質品質更高了；另一方面，用到手機拍照甚至拍視頻上，可以節省算力進一步提升能效。

要知道，這可是各大頭部電視廠商都在用的畫質技術，有幾家才剛安排到新產品上。

此前手機雖然也 get 了不少影像處理技能，但和高端電視比起來還是要低調一些。

這究竟是怎么做到的？

把電視畫質技術搬手機上來了

最新的電視技術全稱AI 景深畫質增強技術（AI Depth PQ），目前這項技術已經被用在不少電視上。

既然如此，聯發科腦洞大開：為什么不能將這類 AI 畫質優化相關技術直接用到手機拍照、視頻實時處理上，直接改善成片效果？

具體來說，通過 AI 來進行畫質增強的技術又可以被分為幾類技術，包括 AI 圖像語義分割技術、景深估計技術和智能優化技術等。

其中最重要也是整個技術的核心，就是AI 圖像語義分割技術。

這項技術本身并不復雜，核心思路就是將場景中的不同物體按照 " 描邊 " 的方式分割成幾個區域，每個區域中的所有像素都可以用相同的標簽來標記：

△例如像素 4 標簽路人，像素 3 標簽藍天

但用在手機智能拍照上，又有至少三大考驗：

AI 的理解能力，如何合理切分照片的前景和背景；AI 的決策能力，如何選擇各區域的優化算法；受限于手機體積，AI 算法的功耗不能太大……

例如，上圖中站在背后的路人、和毯子上正在拍照的兩個主角，雖然都屬于 " 人 " 這一標簽，但需要進行的處理卻截然不同，一個需要摳圖并智能消除、另一個需要智能美顏算法：

又例如，即使是被劃分為 " 背景 " 的部分，在進行處理時也有不同的算法需求，像照片中的 " 普通藍天 " 需要被優化甚至智能替換成 " 更討好眼球的藍天 "，而草地色彩則需要被調整得更明亮一點。

再例如，想將這個技術擴大到視頻拍攝中，像電視處理電影那樣實時進行，AI 圖像語義分割技術又不能占用太多算力，不然直接掉幀甚至快速掉電……

△4K30 幀視頻（約 800 多萬像素 / 幀）需要的算力是 800 萬照片的 33 倍

針對這幾點，聯發科對應地研發了幾種算法，來 " 配合 " 語義分割算法打出組合拳。

首先，結合場景識別優化語義分割算法，使得 AI 不僅能區分前景（如人像、動物等）和背景，還能進一步識別不同種類的背景，如建筑、天空、綠地、植物和水池等。

然后，就是AI 區域畫質增強技術（AI Region PQ）了。

將照片分割成前景和不同區域的背景后，AI 會針對每個區域的物體特性，分析并選取最合適的優化算法，" 拆分式 " 地優化照片不同區域的效果。

例如針對藍天的優化，基于色彩增強算法讓天色看起來更明亮；針對建筑物的優化，則主要在對比度和銳利度上，如結合超分辨率等算法，讓建筑物的窗戶等細節看起來更清晰……

最后，還能基于語義分割算法降低視頻的算力，實現精確對焦。

此前，針對視頻的實時追焦算法往往是進行逐幀追焦，通過計算幀間差異來調整清晰度，這樣不僅耗費算力，甚至可能降低視頻的流暢度。

相比之下，采用語義分割算法區分出前景后，只需要針對前景區域進行偵測和追焦就行，背景則不需要再耗費更多算力去進行優化，就省去了不少算力。

這樣一來，不僅照片和視頻都實現了實時算法優化，甚至相比原來還節省了一大波算力，例如 4K30 幀視頻和 8K30 幀視頻拍攝所需算力，都降低到了原來的 1/4。

同時，聯發科也針對 AI 算法在硬件處理上進行了對應的優化，包括提升 APU 的能效等，進一步降低 AI 景深畫質增強技術在手機上消耗的算力。

事實上，這也并非聯發科第一次針對手機 AI 技術進行布局了。

用 AI 突破計算攝影瓶頸

從 2018 年開始，聯發科開始將計算攝影作為手機芯片算法的研發重點。

當年 10 月份推出的 Helio P70 處理器，著重提升了多幀降噪（MFNR）方面的性能，即通過一次性拍攝多張照片，隨后通過計算每個位置對應的多層像素均值進行輸出，提升照片的清晰度。

這其中涉及大量算法的優化，尤其是拍攝多張照片并進行處理的速度，當年 Helio P70 針對多幀降噪算法進行優化后提升了約 20% 的性能。

然而，在計算攝影研發過程中，團隊在計算機視覺方面遇到了一些算法優化極限。

適逢更多 AI 算法在手機端優化落地，計算攝影團隊的重心也逐漸轉到 AI 技術研發上。

一方面是芯片上有關 AI 算力的提升。

最早從 2018 年 Helio P90 強調提升 AI 算力速度、同時推出包含剪枝在內一系列優化算法的 AI 計算平臺 NeuroPilot v2.0，到 2020 年的天璣 1000+ 的 MiraVision 畫質引擎和 APU3.0；

再到 2021 年至今強調的 " 每瓦有效算力 " 指標，即 APU 長時間運行的功率大致在 1W 左右，聯發科在這方面強調的始終是 " 開源節流 "，優化 AI 的能耗。

也就是說，盡可能在不增加功耗的情況下，提升手機上 AI 算法運行的效果。

另一方面則是不斷改進 AI 算法的性能。

而從整體研究范圍來看，聯發科這幾年也一直在提升對于 AI 的重視程度，包括進行貝葉斯優化、元學習相關的機器學習研究，相關論文發表在 NeurIPS、ICLR 等頂會上。

這其中就有與影像處理相關的研究，例如提出了一個名為 CycleNet 的框架，旨在提升 AI 識別拍攝場景中較深物體（即相對鏡頭的距離較遠）的能力。

具體來說，CycleNet 借鑒了 " 神經元會和處理相同圖像中具有相同特征物體的神經元產生聯系 " 等一系列生物神經元處理信息的特點，來設計整體的框架邏輯，提升 AI 在處理較小較模糊的目標時整體的識別準確率。

至于我們多久會在手機上見到這樣的 AI 技術？還得看聯發科的速度了（doge）

還有哪些手機技能待點亮？

隨著 AI 落地的技術越來越多，手機應用似乎也在進一步逼近想象力的極限。

甚至有一種觀點認為，目前能提升手機性能和創造力的就只有 AI 技術了。

然而事實真是如此嗎？

即便這幾年手機功能需求逐漸趨于一致，人們的關注度也并不止放在手機 AI 技術上。

包括 GPU、通信乃至導航等，同樣是大伙兒期待在手機上能有進一步提升的硬件設備 " 技能點 "。

這種情況下，手機究竟還有哪些可待提升的功能空間？

如果仔細觀察這幾年芯片技術發展趨勢的話，會發現確實還有不少。

從聯發科在技術溝通會上透露的情況來看，芯片廠商針對手機游戲性能提升的側重點仍然在移動光追上。

只不過相比于去年這一熱點概念的提出，今年移動光追已經逐漸成為手機上一個可以預見的功能性賣點，而且還會隨著技術的成熟普及到更多手機設備上。

同理還有移動 GPU 增效方案，也在與移動光追同步進行，目的是在增加圖像刷新率、分辨率和渲染復雜度的同時，保持芯片能效的優化，以實現軟硬件同步跟進的效果。

至于在通信技術方面，未來可預見的功能則包括5G 新雙通、以及支持Wi-Fi 7、高保真藍牙音頻等。

其中，新雙通指在手機雙卡雙待的情況下，讓雙卡的信號徹底不互相影響的能力，即使用流量卡打游戲時，主卡接電話也絲毫不受到影響。

隨著明年 Wi-Fi 7 標準的發布，WiFi 吞吐量、穩定性和時延還會有進一步的改善，到那時候手機上即時刷劇打游戲的體驗也會再度提升。

至于高保真藍牙音頻這一方面，則主要是改進了音頻編解碼器和高帶寬的技術，讓音頻傳輸效率和音質進一步 up。

最后則是高精度導航方面的技術了。

雖說隨著自動駕駛和 V2X 等技術發展火熱，如今車道級導航已經是車機標配。

但在不用車或是車內手機導航時，除了室內這種衛星信號無法觸達的場所，高樓大廈林立的區域也同樣需要用到手機高精度導航技術。

而隨著聯發科 MPE（MEMS-sensor Positioning Engine）融合技術的發展，結合傳感器（陀螺儀、加速度計等）+ 全球衛星導航系統的導航技術也將應用到手機上，極大增加室內定位和弱信號區域的導航精度。

年底下一代天璣旗艦芯片又要發布了，據網傳型號是天璣 9200，你最期待什么功能出現在上面？