2011年，有用戶反映華為手機(jī)的拍照效果不如人意，這引起任正非本人的注意。在當(dāng)年的一次華為高層會(huì)議上，任正非問海思總裁何庭波：“為什么華為手機(jī)的拍照不強(qiáng)？”
何庭波回答，因?yàn)槿狈ψ匝械腎SP（圖像信號處理器）。任正非又問：“為什么不投資做ISP？”何庭波說：“沒錢。”
任正非隨即拍板：“沒人投，我投！”
此后經(jīng)過多方論證準(zhǔn)備，海思團(tuán)隊(duì)在2012 年啟動(dòng)了自研ISP的立項(xiàng)。恰逢2012年德州儀器解散了ISP團(tuán)隊(duì)，華為重金收編了他們法國的一支團(tuán)隊(duì)。
以此為基礎(chǔ)，3年后，海思第一代自研ISP集成在了麒麟950芯片上。這使得麒麟950支持14bit 雙ISP，吞吐率性能提升4倍，Mate8手機(jī)拍照效果大幅提升。余承東也在Mate8發(fā)布會(huì)上“口出狂言”要趕超蘋果。
接著，華為P9手機(jī)在自研ISP的基礎(chǔ)上，又引入徠卡鏡頭，一舉讓華為手機(jī)站在了當(dāng)時(shí)安卓手機(jī)攝影的巔峰。
任正非在2016年6月20日為麒麟950芯片研發(fā)團(tuán)隊(duì)簽發(fā)“總裁嘉獎(jiǎng)令”，嘉獎(jiǎng)詞寫道：“麒麟950構(gòu)筑了華為和榮耀旗艦產(chǎn)品的關(guān)鍵競爭力?！?/strong>
時(shí)移勢易，數(shù)年間手機(jī)市場風(fēng)云變幻。華為陷于困厄，國產(chǎn)手機(jī)廠商雖然紛紛沖向高端，但都沒能再現(xiàn)華為一樣的輝煌。
但為了實(shí)現(xiàn)影像效果的躍升，自研芯片的故事，卻悄然在國產(chǎn)手機(jī)廠商間上演。
攻堅(jiān)的第一座城池，就是ISP芯片。
今年3月，小米推出了一款自研的ISP芯片；vivo在9月份大張旗鼓發(fā)布的自研影像芯片V1，同樣屬于ISP范疇，已經(jīng)應(yīng)用在新機(jī)X70系列中；OPPO同樣要上馬ISP芯片，已有報(bào)道稱其旗下子公司ZEKU（哲庫科技）已于今年初流片，產(chǎn)品可能在明年上半年正式發(fā)布。
ISP究竟是什么？攻克了ISP，躍躍欲試的國產(chǎn)手機(jī)廠商們就能借此成為下一個(gè)華為嗎？
01、為什么是ISP從技術(shù)角度來看，獨(dú)立的手機(jī)影像芯片，可以被歸類為ISP（圖像信號處理器，Image Signal Processor）芯片。
大街上隨處可見的視頻監(jiān)控?cái)z像頭中，均搭載了ISP芯片。監(jiān)控?cái)z像頭和手機(jī)中的ISP芯片起的作用，都是進(jìn)一步提升傳回影像的“畫質(zhì)”。
ISP的主要功能包括：AE（自動(dòng)曝光）、AF（自動(dòng)對焦）、AWB（自動(dòng)白平衡）、去除圖像噪聲等。
手機(jī)成像的過程可被概括為：景物透過鏡頭，生成的光學(xué)圖像被投射到CMOS（圖像傳感器）上；然后光學(xué)圖像被轉(zhuǎn)換成電信號；電信號再經(jīng)過數(shù)模轉(zhuǎn)換變?yōu)閿?shù)字信號；數(shù)字信號先經(jīng)過DSP（數(shù)字信號處理器）加工處理，再被送到ISP中進(jìn)行處理，最終轉(zhuǎn)換成人眼中清晰可辨的圖像。
說白了，ISP就是負(fù)責(zé)照片最后的PS，在硬件和算法的加持下，盡最大的努力把照片變得清晰、好看、準(zhǔn)確。
通過ISP芯片的處理，手機(jī)可以得到更好的圖像效果。因此，在智能手機(jī)特別是在高端手機(jī)上，對 ISP 的要求很高，現(xiàn)在雙通道甚至三通道的ISP都已經(jīng)開始運(yùn)用。
ISP既可以集成在手機(jī)處理器中，也可以外置于手機(jī)處理器，成為獨(dú)立的影像芯片。外置的ISP可以和手機(jī)處理器中的ISP配合工作。小米和vivo的ISP都是外置芯片，與處理器中的ISP協(xié)同工作。
目前主流的手機(jī)芯片設(shè)計(jì)公司在出售自家的手機(jī)處理器產(chǎn)品時(shí)，均已經(jīng)在其中內(nèi)置了ISP芯片模塊，并且每年的新品幾乎都會(huì)對ISP芯片進(jìn)行性能的優(yōu)化和提升。
比如高通最新的旗艦芯片，驍龍888系列中就內(nèi)嵌了3個(gè)ISP核心。
其實(shí)，驍龍888本身集成的三個(gè)ISP性能已經(jīng)非常優(yōu)秀了，支持低光架構(gòu)、AI圖像增強(qiáng)、支持單幀逐行HDR圖像、十億像素級處理速度等特色功能。
任何使用驍龍888的手機(jī)，理論上都可以在這些功能框之上，衍生出自己的特色功能。比如，小米11Ultra、OPPO findX3 pro、vivo X60 Pro+，都擁有各具特色的HDR拍攝功能。
但使用上游芯片公司的內(nèi)置ISP帶來的問題是：假如大家都用驍龍888，在ISP的參數(shù)調(diào)校和功能上，會(huì)限定在高通的框架之內(nèi)。這會(huì)導(dǎo)致各家ISP調(diào)校的上限基本是差不多的，也就意味著很多重要的影像素質(zhì)、功能不受手機(jī)公司的掌控，并且同質(zhì)化。
另外，國際芯片設(shè)計(jì)大廠的旗艦處理器基本上是固定的一年一更新，里面的ISP芯片只能跟隨廠商更新節(jié)奏而更新。手機(jī)廠商對內(nèi)置ISP能做的事情有限：手機(jī)廠商即使覺得芯片廠商更新太慢，在很多重要的影像功能上也無能為力。
解決這些問題的方法之一，當(dāng)然是直接自己研發(fā)ISP。如果能自己做一個(gè)外置的ISP芯片，手機(jī)廠商不僅能夠在功能上有更大的施展空間，還能更大程度地把握更新節(jié)奏。
而相比手機(jī)最核心的處理器芯片，ISP芯片的研發(fā)難度更低。同時(shí)，歷經(jīng)安防視頻攝像頭的多年發(fā)展，ISP市場已經(jīng)臻于成熟，在技術(shù)、產(chǎn)品價(jià)格等方面都較為穩(wěn)定。
對于國內(nèi)手機(jī)廠商而言，現(xiàn)階段做出一個(gè)可用的“影像芯片”，難度不算特別大，且在團(tuán)隊(duì)組建、技術(shù)攻關(guān)等方面都有可借鑒的經(jīng)驗(yàn)。
在vivo X70發(fā)布會(huì)上，vivo表示自家的V1芯片是由300人、歷經(jīng)24個(gè)月攻關(guān)研發(fā)。相比之下，華為首款手機(jī)通用處理器K3V1歷經(jīng)5年才研發(fā)出來，還極不好用。
目前，小米、vivo的 ISP芯片研發(fā)團(tuán)隊(duì)中的中堅(jiān)力量，均有多年的從業(yè)經(jīng)驗(yàn)。比如小米的ISP芯片架構(gòu)師左坤隆，此前在華為擔(dān)任主任工程師，負(fù)責(zé)麒麟芯片ISP算法的研發(fā)；vivo影像算法總監(jiān)杜元甲，曾在平面顯示屏幕驅(qū)動(dòng)IC廠商聯(lián)詠任職。
02、影像內(nèi)卷事實(shí)上，在智能手機(jī)中外置ISP芯片早不是什么新鮮事，因?yàn)橐恢庇械谌降腎SP芯片可供選擇。
魅族內(nèi)核團(tuán)隊(duì)曾在《相機(jī)系統(tǒng)綜述》一文中自述，魅族會(huì)向?qū)I(yè)的ISP廠商進(jìn)行采購，以達(dá)到更好的影像效果。
文章中還寫道，外置ISP的選型一般不受手機(jī)主處理器的影響，因此魅族可以自由選購最適合的ISP產(chǎn)品。
在此基礎(chǔ)上，手機(jī)廠商只需再研發(fā)出適合的ISP驅(qū)動(dòng)程序，以及考慮外置ISP與內(nèi)置ISP的搭配問題，并進(jìn)行更精細(xì)的算法調(diào)校。
市界梳理華為手機(jī)的早期配置發(fā)現(xiàn)，在麒麟950之前，華為旗艦機(jī)型手機(jī)均是采用外購的ISP。有業(yè)內(nèi)人士表示，其ISP購買自國內(nèi)專業(yè)的ISP設(shè)計(jì)廠商華晶科技（Altek）等。
只是，如果第三方的ISP芯片能夠滿足手機(jī)廠商的需要，那華為手機(jī)也不會(huì)在一開始被說拍照爛了。
第三方的ISP芯片雖然理論上可以增強(qiáng)手機(jī)拍照功能，但第三方芯片大家都能買到，并不能建立什么護(hù)城河，只有自研的ISP芯片才有獨(dú)一無二的定制功能，才能夠建立獨(dú)家的影像壁壘。
比如華為2019年憑借技術(shù)優(yōu)勢自研了一個(gè)達(dá)芬奇架構(gòu)的NPU（嵌入式神經(jīng)網(wǎng)絡(luò)處理器），又配合上自家的自研ISP芯片和算法，做成了一個(gè)“Face AR”功能。
這讓搭載麒麟990的華為旗艦手機(jī)，靠著攝像頭對著人臉就能進(jìn)行建模，進(jìn)而靠面部信息就能進(jìn)一步分析出人臉信息背后的諸如心率、呼吸率等健康數(shù)據(jù)。
說實(shí)話，這功能雖然實(shí)用性不高，但聽起來賣點(diǎn)十足，是全行業(yè)獨(dú)一份兒的。華為的相機(jī)通常以豐富的功能著稱，這與其掌控ISP芯片和手機(jī)處理器底層技術(shù)有直接的關(guān)系。
珠玉在前，而活下來各個(gè)手機(jī)廠商，經(jīng)過多年發(fā)展，影像能力也有一定的積累。搞不定核心處理器，還搞不定一個(gè)小小的ISP芯片？
因此，著手打造自家的ISP芯片已經(jīng)是不得不做的一件事，即將成為另一輪手機(jī)配置內(nèi)卷的軍備競賽。
03、下一個(gè)華為沒有捷徑vivo不久前發(fā)布的X70系列手機(jī)，高調(diào)宣傳了它自研的V1芯片帶來的影像效果的提升。這顆芯片是對高通芯片圖像能力的補(bǔ)足。
vivo V1芯片僅僅負(fù)責(zé)處理圖像，主要面對的使用場景是夜景拍攝，運(yùn)行計(jì)算成像算法，用于減少眩光、鬼影等問題。
（vivo V1與驍龍888對比圖，圖源：@數(shù)碼閑聊站微博）
這一點(diǎn)也得到了vivo方面的確認(rèn)。vivo員工李偉（化名）向市界解釋：“vivo V1是一顆影像芯片，可以對攝像頭傳回的圖像信號進(jìn)行處理。其實(shí)手機(jī)SoC中本身已經(jīng)集成了圖像信號處理的部分，但X70系列定位是影像旗艦，我們需要多一顆專業(yè)的芯片來達(dá)到更好的影像處理效果。”
多塞一塊芯片，帶來了更多的技術(shù)挑戰(zhàn)，但vivo希望憑此在國內(nèi)手機(jī)影像的賽場中異軍突起。
現(xiàn)在整個(gè)手機(jī)產(chǎn)業(yè)鏈的分工已經(jīng)相當(dāng)完整，屏幕、電池、圖像傳感器、手機(jī)鏡頭甚至是核心的處理器供應(yīng)商，都集中到幾個(gè)廠商，下游的手機(jī)玩家們越來越難以做出差異化的硬件產(chǎn)品。
手機(jī)影像的軍備競賽日趨白熱化，拍照已經(jīng)成為智能手機(jī)最重要的功能之一，沒有優(yōu)秀的拍照能力，根本無法在高端市場立足。
余承東曾說：“好的手機(jī)影像不是單純一極思維，而從來就是一個(gè)完整的技術(shù)解決方案?！?/strong>
這樣的背景下，走上華為自研的“老路”，向更加底層的芯片技術(shù)進(jìn)軍，幾乎成為了手機(jī)玩家們的唯一選擇。
但是，成為下一個(gè)華為，僅僅靠一個(gè)小小的ISP夠嗎？
手機(jī)成像是一個(gè)系統(tǒng)性、持續(xù)性地工作，不僅要拼硬件配置，還要拼“后期”算法調(diào)校，最終生成畫面。
從行業(yè)經(jīng)驗(yàn)來看，能否調(diào)校出好照片，與影像團(tuán)隊(duì)的素質(zhì)、影像積累以及底層技術(shù)的掌控有莫大的關(guān)系。
蘋果靠著“萬年”的1200萬像素，年年吊打一眾一億像素的安卓對手。華為影像實(shí)力的突飛猛進(jìn)背后，有對芯片及算法底層的掌控，進(jìn)而能夠形成獨(dú)特優(yōu)勢。這種優(yōu)勢顯然并非多一個(gè)ISP芯片就能趕超，而是需要更多的“芯片自由”。
華為從P30系列開始采用RYYB CFA（濾波器）來提升進(jìn)光量，其“夜視儀”級夜景效果至今讓友商望塵莫及。而想要支持RYYB，必須有麒麟芯片的NPU助力，這是其他品牌無法模仿的優(yōu)勢。
（華為P30）
今年iPhone13全系躍升的攝影能力中，特色的“電影模式”主要依賴于A15芯片強(qiáng)大的算力和影像團(tuán)隊(duì)做出的算法。
高通的驍龍888也有很強(qiáng)的算法功力。在驍龍888內(nèi)置的Spectra 580 ISP上，首次應(yīng)用了他們的第十代3A算法。結(jié)合其全新升級的第六代AI引擎，在自動(dòng)對焦、自動(dòng)曝光、自動(dòng)白平衡都取得了長足進(jìn)步。
所以，vivo的ISP芯片V1定位是與處理器中的ISP協(xié)調(diào)并用，一起對成像算法端進(jìn)行提升。V1主要起到的作用是高速計(jì)算成像，是對驍龍888計(jì)算能力的補(bǔ)足，用更強(qiáng)大的計(jì)算能力實(shí)時(shí)去噪和插幀，實(shí)現(xiàn)了所謂特色的“MEMC實(shí)時(shí)動(dòng)態(tài)補(bǔ)幀”功能。
外置一顆自研ISP芯片后，確實(shí)會(huì)錦上添花，一定程度提高vivo旗艦機(jī)的拍攝能力，但到底進(jìn)步多少，就見仁見智了。
至于小米的自研ISP芯片澎湃C1，據(jù)雷鋒網(wǎng)報(bào)道：“澎湃C1實(shí)際上是一個(gè)協(xié)處理器，或者說Pre-ISP，在處理器ISP前進(jìn)行圖像處理，相對而言會(huì)比較容易處理，能夠輔助處理一些特定場景的應(yīng)用。不過，由于是在處理器外單獨(dú)增加了一顆芯片，因此無論是成本還是功耗，都會(huì)有所增加?！?/p>
國產(chǎn)廠商的自研ISP芯片，確實(shí)會(huì)對影像提升有所助益，但還達(dá)不到蘋果和華為那樣底層技術(shù)掌控能力。想要做出本質(zhì)上的自主掌控的影像創(chuàng)新，還需要更長的路。
2016年7月的華為半年業(yè)績發(fā)布會(huì)上，余承東說道：“華為在智能手機(jī)領(lǐng)域研發(fā)投入起碼每年三四十億美元之巨。這些研發(fā)投入不僅有照相機(jī)、處理器和算法，還包括新材料、新工藝、新技術(shù)、芯片、軟件等。這些創(chuàng)新投入期少則三五年，多則八年十年。只有我們這樣投入，隨著能量不斷釋放，才會(huì)越跑越快，讓對手追不上?！?/p>
要實(shí)現(xiàn)芯片自由，八年十年甚至更久的磋磨，將是米OV們必經(jīng)的過程。
參考資料：
1.《科普：關(guān)于ISP的原理、架構(gòu)等等》，IP與SoC設(shè)計(jì)
2.《熵減：華為活力之源》，林江艷
（作者 | 董溫淑 編輯 | 李曙光）
