Kneron KL630 基于耐能智慧神经网路架构的超高弹性配置之AI 相机应用方案
发布时间：2023-6-6 13:56
发布者：方案知识库
|
Kneron KL630系列芯片采用TSMC 28nm先进技术节点，是专为各种专业和消费IP摄像机设计的新一代SoC，包括安全摄像机、家庭摄像机、视频门铃摄像机、防抖摄像机、180°和360°全景摄像机，以及作为家用电器和机器人相机。KL630系列芯片支持快速开发高质量和多镜头相机应用程序，提供多达 4 通道视频输入、独立的高级多 ISP 管道（包括多曝光高动态范围融合）以及专门的视频质量增强功能，适用于多个宽-角度镜头和传感器，加上片上去扭曲、拼接和混合，所有这些都用于高质量的实时全景摄像机视频处理。其中内钳Kneron 第三代神经网路架构内核，因此即时反应并分辨特定物件，减低误判率。整体方案特点:
耐能是可重构NPU领域的领导者，在行业创新提出动态存储DMA提升记忆体访问效率，以及动态支持同一个神经网路的不同数据精度需求，使得NPU芯片有ASIC高性能而又不牺牲数据密集型算法的可编程性。凭借独特创新的架构和优异的性能，耐能团队获得IEEE CAS 2021年Darlington最佳论文奖。耐能第4代可重构NPU可以支持同时运行CNN和Transformer网路，既可做机器视觉，也可运行语义分析，且运算能效优异，为终端用户提供更高性能、低功耗以及低成本的解决方案，可适用于各种终端设备的AI应用。  与仅面向特定应用的普通AI模型不同，耐能的可重构人工神经网路（RANN）技术更加灵活，可满足不同应用需求并适应各种计算体系架构。 影像辨识软体同硬件产品具有的特点一致，耐能的AI模型与算法除了具有低延迟、高算力和强性能等特点外，还可平衡性能、模型大小和复杂性。  耐能轻量级图像识别算法主要包括人脸识别、身体与手势识别、物体与场景识别等。在开发的标准SDK的释放，就包括了这些模型。 第五代 ISP可以记录具有可感知细节、真实色调层次和更低噪声的图像和视频。其特点如下:
智能 HEVC 编码器尽可能显著减少无用或不重要的数据，并在不中断网络带宽的情况下保持高质量的视频。
支持180°/360°多通道鱼眼去扭曲引擎引入了一种创新方式，结合了高性能硬件加速鱼眼去扭曲器，允许实时去扭曲过程以显著节省 CPU 负载，并灵活支持各种鱼眼的几何校正/广角镜头提供业界领先的全景视频形成质量。 去扭曲
示意图如下  智能视频分析 AI On-Device”是基于神经网络的设计，实时分析实时视频的视觉特征，根据经过训练的人（尤其是人脸）、宠物、汽车和任何感兴趣的对象进行分类，以进行目标检测以及认出，以便允许最终客户拥有更好的隐私保护、数据本地化和更低的数据访问延迟，以响应在设备站点上运行的任务。
音频增强和智能 创造性地应用机器学习方法来增强语音和音频信号处理。VATICS 音频技术激发了新颖而优雅的解决方案，以解决该领域最具挑战性和长期存在的技术难题，例如噪声抑制、声学回声消除、自动增益控制、动态范围控制等。优点包括，
高效能的应用工具PQ Tool 跟 Fisheye Correction Tool PQ Tool，提供快速完整的影像调整工具  EZ调谐 有10个设置与17个区块一致，以适应当前架构中的iso变化。我们可以通过键入或直接拉动卷轴来改变数值。可以查看如下附图   Fisheye Correction Tool 可以及时调整及时检视  KL630系列之AI相机 (安防、家用、其他应用)的选型表如下表:  Kneron 同步提供方块示意图与主要的AP 函数，让客户可以快速上手。  KL630系列之AI相机 (行车纪录器)的选型表如下表:  KL630系列之AI相机 (工业相机)的选型表如下表: Kneron 同步提供方块示意图与主要的AP 函数，让客户可以快速上手。  KL630系列之AI相机 (与防抖相机) 在监控系统中，摄像机被安装在高高的电线杆或车辆或移动设备上，可能会因风、运动或手的作用而晃动。 数位/电子图像稳定（DIS/EIS）是一种高效的视频流校正方法，可以减少视频晃动和滚动快门效应。它依靠陀螺仪感测器产生用于EIS的角速度信号，而EIS校正导致图像在当前帧中被裁剪和重新缩放。MotionProcess库为ImgSigProcess（ISPE）计算一个翘曲矩阵，以执行视频稳定和滚动快门校正，提高图像品质。 主要原理是利用三轴角速度和加速速度。在一段时间内，陀螺仪感测器将总的角度加起来，并计算出它在一帧中应该修正多少角度位移。如下图所示:  请注意，水准/垂直位移不会导致陀螺仪感测器被操作。陀螺仪应该与镜头保持距离，越多越好。 Kneron 的方案还可以根据影像的位置进行不同的配置调整。如下图所示，考虑影像跟调整的位置，包括调整的RATIO、鱼眼校正都可以一并被应用:  资料来源: Kneron 原厂 ►场景应用图Kneron 官网: Kneron - 人工智能无处不在  ►展示板照片 
►方案方块图  ►核心技术优势 1. 可重构NPU 2. 影像辨识软体 3. 第五代 ISP可以记录具有可感知细节、真实色调层次和更低噪声的图像和视频 4. 智能 HEVC 编码器尽可能显著减少无用或不重要的数据，并在不中断网络带宽的情况下保持高质量的视频 5. 鱼眼引擎去扭曲、拼接、混合 6. 智能视频分析 7. 音频增强和智能 8. 高效能的应用工具PQ Tool 跟 Fisheye Correction Tool ►方案规格KL630系列之AI相机KLR5S3 Series (Car DVR)KLI5S3 Series (Industrial Cam) 有任何疑问可以点击原文进行提问哦~ |
网友评论