1.项目介绍：N16x/N161S系列低功耗高性能SOC芯片主要针对高清AI智能摄像头产品，有2.4 TOPS INT8/1.2TOPS FP16计算能力，可分别提供8M/4M/3M像素级别图像和视频采集处理能力。支持高质量ISP处理能力，集成了内置3D降噪技术和前沿的HDR能力。ISP处理子系统内嵌ARM Mali-IV009 图像处理引擎，支持多摄像头输入和3帧融合HDR。在集成ARM的图像处理引擎之外，开发了支持多摄像头和多帧HDR对齐的输入接口，STNR降噪单元，双边滤波器BLF单元，用于畸变矫正的RECTIFY单元，以及用于图像缩小的RESIZE单元，用于做自动配置寄存器的CTL单元，可动态分配buffer size的AXI接口和DMA_ARBITOR。2.在该项目中参与角色及主要工作内容：1）负责MPP系统的开发优化与维护，包括Model系统框架、生产消费者子系统、MB管理子系统、ARM代理子系统、QoS复合与选择器子系统、DSP代理子系统、VO子系统等流媒体业务子系统；完成VI子系统开发与维护，包括Sensor驱动开发、MIPIRX驱动开发；2）负责对Linux和RTOS系统的Media相关模块驱动的开发维护；3）负责Media业务pipeline用例的构建和实现，重现客户用例；4）负责MPP系统的开发优化与维护，包括Model系统框架、生产消费者子系统、MB管理子系统、ARM代理子系统、QoS复合与选择器子系统、DSP代理子系统、VO子系统等流媒体业务子系统；完成VI子系统开发与维护，包括Sensor驱动开发、MIPIRX驱动开发；5）负责对Linux和RTOS系统的Media相关模块驱动的开发维护；6）负责Media业务pipeline用例的构建和实现，重现客户用例；7）负责SOC芯片ISP图像处理系统的设计与开发；8）负责SOC芯片MSDK流媒体系统软件开发包的开发与维护；3.技术难点：1）ISP图像处理系统的设计与开发；2）MSDK流媒体系统软件开发包的开发与维护。4.解决方法：1）上述技术难点1的解决方案ISP主要对前端图像传感器输出RGB数据做后期处理，景物通Lens生成光学图像投射到Sensor表面，经过光电转换为模拟电信号，消噪声后经过A/D转换后变为数字图像信号，通过MIPI/DVP写入DDR，由MCU送至ISP处理。从Sensor端过来的图像是Bayer RGB图像，经过黑电平补偿、镜头矫正、坏像素矫正、颜色插值（Demosaic）、Bayer噪声去除、白平衡（AWB）矫正、色彩矫正、Gamma矫正、色彩空间转换（RGB转YUV）、在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制（AE）等，然后输出YUV（或RGB）格式的数据。ISP系统的难点并不在于MCU对图像帧的收发处理，而在于ISP的芯片实现逻辑、插值滤噪算法、3A算法，正在努力学习中。2）上述技术难点2的解决方案 MSDK包括底层基于SOC的UBoot/Linux操作系统（运行于SOC-ARM平台）、MPP流媒体处理系统（运行于SOC-MCU平台）和顶层TopWare（运行于SOC-ARM平台）。MSDK流媒体则主要指MPP和TopWare顶层，MPP运行于SOC-MCU平台，主要负责调度控制各硬件IP，完成图像帧的收发处理，如控制Sensor Setting配置和Stream On/Off、控制MIPI IP帧传输、控制ISP帧处理、控制VENC/VDEC帧编解码、控制VO帧输出、QOS流服务管理等，ISP子系统属于MPP流媒体处理系统。TopWare则用于构建数据流PIPELINE，将送入或读取SOC-DSP/CNN/DEPTH等模块数据，构造不同的应用场景。该工作的难点在于需对MPP架构和业务的精通，对问题能够精准定位。5.项目取得的效果：完成预期目标，系统已应用于公司多个智能终端产品中，并集成于海康萤石、百度等国内企业的多个项目中。