ISP概述、工作原理及架構(gòu)
從本月開始，我們要重點(diǎn)將新唐科技的ISP產(chǎn)品推薦給客戶，那么我們就要明白什么是ISP，ISD的工作原理及架構(gòu)是怎樣的。
1、概述
ISP全稱Image Signal Processing，即圖像信號(hào)處理。主要用來對(duì)前端圖像傳感器輸出信號(hào)處理的單元，以匹配不同廠商的圖象傳感器。
ISP 通過一系列數(shù)字圖像處理算法完成對(duì)數(shù)字圖像的效果處理。主要包括3A、壞點(diǎn)校正、去噪、強(qiáng)光抑制、背光補(bǔ)償、色彩增強(qiáng)、鏡頭陰影校正等處理。ISP 包括邏輯部分以及運(yùn)行在其上的firmware。
ISP 的控制結(jié)構(gòu)如圖1-1 所示，lens 將光信號(hào)投射到sensor 的感光區(qū)域后，sensor 經(jīng)過光電轉(zhuǎn)換，將Bayer 格式的原始圖像送給ISP，ISP 經(jīng)過算法處理，輸出RGB 空間域的圖像給后端的視頻采集單元。在這個(gè)過程中，ISP 通過運(yùn)行在其上的firmware 對(duì)ISP邏輯，lens 和sensor 進(jìn)行相應(yīng)控制，進(jìn)而完成自動(dòng)光圈、自動(dòng)曝光、自動(dòng)白平衡等功能。其中，firmware 的運(yùn)轉(zhuǎn)靠視頻采集單元的中斷驅(qū)動(dòng)。PQ Tools 工具通過網(wǎng)口或者串口完成對(duì)ISP 的在線圖像質(zhì)量調(diào)節(jié)。
ISP 由ISP 邏輯及運(yùn)行在其上的Firmware 組成，邏輯單元除了完成一部分算法處理外，還可以統(tǒng)計(jì)出當(dāng)前圖像的實(shí)時(shí)信息。Firmware 通過獲取ISP 邏輯的圖像統(tǒng)計(jì)信息，重新計(jì)算，反饋控制lens、sensor 和ISP 邏輯，以達(dá)到自動(dòng)調(diào)節(jié)圖像質(zhì)量的目的。
2、架構(gòu)
ISP 的Firmware 包含三部分，一部分是ISP 控制單元和基礎(chǔ)算法庫，一部分是AE/AWB/AF 算法庫，一部分是sensor 庫。Firmware 設(shè)計(jì)的基本思想是單獨(dú)提供3A 算法庫，由ISP 控制單元調(diào)度基礎(chǔ)算法庫和3A 算法庫，同時(shí)sensor 庫分別向ISP 基礎(chǔ)算法庫和3A 算法庫注冊(cè)函數(shù)回調(diào)，以實(shí)現(xiàn)差異化的sensor 適配。ISP firmware 架構(gòu)如圖1-2 所示。
不同的sensor 都以回調(diào)函數(shù)的形式，向ISP 算法庫注冊(cè)控制函數(shù)。ISP 控制單元調(diào)度基礎(chǔ)算法庫和3A 算法庫時(shí)，將通過這些回調(diào)函數(shù)獲取初始化參數(shù)，并控制sensor，如調(diào)節(jié)曝光時(shí)間、模擬增益、數(shù)字增益，控制lens 步進(jìn)聚焦或旋轉(zhuǎn)光圈等。
編輯：admin 最后修改時(shí)間：2021-08-23
