当前,水利行业正处于迈向数字化、智能化的关键阶段。为响应“人工智能+”及“国产芯片自主可控”国家战略,水资源研究所围绕自身业务,与依托北京大学视频与视觉技术国家工程研究中心的北京博雅睿视科技有限公司合作,研发了国内首款水利AI芯片——AVS3视觉智算芯片SPARK RE3200,并开展了应用示范。
针对智慧水利应用场景的特殊需求,研发了可与芯片底层无缝适配的水利AI模型和开发框架,实现了大型业务模型在超低功耗芯片上的移植部署。开展了水利AI芯片在水位、流速及流量遥测的示范应用,验证了芯片技术优势,并且满足断路、断网、断电等恶劣条件下的移动应急水文参数观测需求。
水利AI芯片RE3200是一款以高性能处理器CPU为依托的具备高完整性、高性能以及超低功耗特性的AIOT芯片,融合了CPU子系统、视频子系统、音频子系统、安全子系统以及基于RISC-V架构的AI子系统,凭借丰富的外设配置,充分满足多样化的水利视觉智算应用需求。
在主处理器方面,搭载高性能RISC架构处理器,主频最高支持1.0GHz,支持SIMD(单指令多数据)和FPU(浮点运算单元),能够高效处理复杂数学运算与多媒体任务,内置64KB Boot ROM和128KB Boot RAM;在智算视觉引擎方面,内建专用神经网络加速架构,具备512个MAC单元协同处理int8操作,最高支持600MHz主频,配套完善工具链,实现从高层算法到硬件层级的流畅映射。同时,其具备可配置定制化矢量处理器,兼容RV32IMCF指令集并支持自研矢量拓展指令,配备专属8KB指令缓存,支持最大256位矢量运算宽度,可高效加速int8/int16/int32类型数据处理,保障指令快速读取,提升运算流畅度;在安全系统方面,支持AES/SHA/ECC/RSA硬件加密算法、CRC引擎,内置True RNG。
芯片支持GB35114、GB/T 25724、GB/T 28181等一系列国家公共安全视频监控标准规范。架构设计从底层指令集到模型运行机制,全流程优化水利视频感知任务,可为边缘部署提供轻量且高效的解决方案。
图1 总体架构
高清图像处理能力:支持最大2560x1440@25Hz图像输入、1920x1080@30Hz图像显示输出;内置宽动态范围(WDR)和低照度优化技术,即便在强逆光、弱光等复杂环境下,依然可捕捉清晰图像细节;支持黑电平矫正、绿色均衡调整、坏点矫正、伽马矫正、色差矫正、3A(AE/AWB/AF)、镜头阴影校正、2:1融合HDR等ISP处理;支持图像缩放、DPI接口、YUV4:2:0/YUV4:2:2格式输入、OSD层和图像层半透明叠加、YUV4:2:0/RGB888/RGBA输出等多种图形处理。
智能编码与多标准支持:支持AVS3、SVAC3.0、H.264、H.265等多种主流编码标准,H264/H265支持CBR/VBR/ABR/AVBR/CVBR/QVBR/FIXQP/QP MAP等多种码率控制模式,结合智能编码技术,实现更佳图像质量、更低带宽占用、更小存储空间需求、极大优化边缘视频采集系统的整体性能;支持CABAC和CAVLC熵编码;支持H.264/H.265/JPEG解码,实时解码能力为1080p@30fps。
高质量音频处理:支持模拟音频或MIC输入,增益0~20dB可控,支持24-bit位宽,采样率支持8kHz~ 48kH;支持2路数字MIC、24-bit/16-bit位宽、16KHz/44.1KHz/48KHz 采样率;支持2路DAC、16bit/24bit位宽8~96kHz采样率;内置风噪滤波器和降采样滤波器。
视觉AI推理算力:内置0.6T算力NPU,支持部署各类智能视觉算法,在脱离网络环境的极端水文条件下,不依赖云端依然能够高效运行,真正实现边缘智能。
低功耗设计:采用先进制程与推理加速技术,显著降低能耗,芯片峰值功耗<1.5W,待机功耗<50uW。
全栈国产化:从芯片架构、编译工具链到运行库,全面实现自主可控,助力国家战略安全。
图2 水利AI芯片及开发板
图3 Timesflow“一站式”人工智能算法部署工具
l 水位识别模型
基于图像语义分割、3D视觉等技术,研发纯视觉水位识别算法,实时提取像素级水面线,实现水位数据的全天候、高精度、稳定获取,识别精度达毫米级,识别误差在±1cm以内,适用于河道、水库、湖泊等多种场景。
图4 水位识别
图5 在高原高寒高盐(盐湖)弱信号环境下应用测试
2 流速流量识别模型
融合时空图像测速技术、3D视觉及深度学习等技术,通过特征点追踪与动态3D建模,实现对流速流量的精准监测,流速范围0.1m/s~20m/s,流速识别误差在±0.02m/s以内,分辨率0.001m/s,流量计算误差在±5%以内,符合《河流流量测验规范(GB 50179-2015)》。
图6 流速流量识别
3 目标检测类模型
基于YOLO系列模型,建立40万张大规模图像样本库。YOLO将图像划分为SS个网格,每个网格负责预测边界框及其类别概率,在一次前向传播中同时完成目标分类与定位任务,实现端到端的实时目标检测,能够快速识别视频中的漂浮物、人员入侵、船只(包含采砂船)、排污口排污、河岸侵占、烧烤行为、游泳行为、坝后渗漏点、白蚁、堤坝管涌、大坝杂草、安全帽正确佩戴、身着工装、烟火等对象。
4 图像分割类模型
基于YOLO系列模型,建立万张级别图像样本库。YOLO模型能够在像素级别理解图像内容,通过对图像中每个像素进行分类,实现对不同目标或区域的精确分割,能够快速识别视频中水域、大坝裂缝、坝面损毁等对象。
水利AI芯片的诞生,并非一蹴而就,作为“AI+芯片+行业深度融合”的首创性工程,其研发之初,团队面临的是一张几乎空白的行业地图和一系列棘手难题,比如场景复杂与模型碎片化的矛盾、芯片算力资源有限与模型精度需求之间的博弈、AI芯片的通用生态不适配水利业务场景、软硬协同工程复杂导致研发周期长且风险高,等等。其中,最为突出的问题是芯片资源有限与模型精度需求之间的博弈,对此,研发团队采用模型剪枝、量化等轻量化方法,压缩模型参数规模,降低推理延迟。不仅优化了模型本身,还从芯片调度与算子层面进行协同设计。此外,研发团队不仅要自研适配层,还要逐层重构模型编译、调度、部署流程,几乎是“边做边开路”。
这些挑战,既是压力也是动力,正是在一次次推演、一次次调试、一次次失败与重构中,一步步突破技术壁垒,完成了从模型到芯片、从样机到成品的转化,成功研制了为水利场景量身打造的AI芯片——RE3200,实现从0到1的跨越式突破。
水利AI芯片是研发团队在智慧水利领域长期深耕的里程碑,展示了智慧水利正在向“高端芯片+AI模型+平台生态”协同演进的全新范式。