ISP算法高水平分析（上）

ISP算法高水平分析（上）

一．ISP基本框架及算法介绍

ISP是Image Signal Processor的缩写，全称是影像处理器。在相机成像的整个环节中，它负责接收感光元件（Sensor）的原始信号数据，可以理解为整个相机拍照、录像的第一步处理流程，对图像质量起着非常重要的作用。

ISP的功能比较杂，基本上跟图像效果有关的它都有份。它内部包含多个图像算法处理模块，其中比较有代表性的是：

• 扣暗电流（去掉底电流噪声）

• 线性化（解决数据非线性问题）

• shading（解决镜头带来的亮度衰减与颜色变化） ：可优先开发

• 去坏点（去掉sensor中坏点数据）

• 去噪（去除噪声）：可优先开发

• demosaic（raw数据转为RGB数据）

• 3A（自动白平衡，自动对焦，自动曝光）

• gamma（亮度映射曲线，优化局部与整体对比度） ：可优先开发

• 锐化（调整锐度）

• 色彩空间转换（转换到不同色彩空间进处理）

• 颜色增强（可选，调整颜色）

• 肤色增强（可选，优化肤色表现）

二．Sensor信号输出YUV、RGB、RAW DATA、JPEG 4种方式区别

YUV: luma (Y) + chroma (UV) 格式， 一般情况下sensor支持YUV422格式，即数据格式是按Y-U-Y-V次序输出的。

RGB: 传统的红绿蓝格式，比如RGB565，其16-bit数据格式为5-bit R + 6-bit G + 5-bit B。G多一位，原因是人眼对绿色比较敏感。

RAW RGB: sensor的每一像素对应一个彩色滤光片，滤光片按Bayer pattern分布。将每一个像素的数据直接输出，即RAW RGB data。

JPEG: 有些sensor，特别是低分辨率的，其自带JPEG engine，可以直接输出压缩后的jpg格式的数据。

YUV一个像素占2B，如果像素太高在高时钟下基带芯片处理不过来，JPEG数据量就