拆·应用丨第4期：基于开源鸿蒙的RKNN人脸识别应用案例

【拆·应用】是为开源鸿蒙应用开发者打造的技术分享平台，是汇聚开发者的技术洞见与实践经验、提供开发心得与创新成果的展示窗口。诚邀您踊跃发声，期待您的真知灼见与技术火花！ 引言 本期内容由AI Model SIG提供，介绍了在开源鸿蒙中，基于RK3588的RKNN人脸识别应用开发全流程。

背景介绍

在边缘计算领域，RK3588作为一款高性能AIoT芯片，具备6TOPS的NPU算力，非常适合部署人脸识别等计算机视觉应用。深圳市视美泰技术股份有限公司（以下简称“视美泰”）基于开源鸿蒙系统，结合Rockchip NPU强大的AI算力，基于RKNN开发了人脸识别应用案例，此案例将RKNN能力与开源鸿蒙进行适配和集成，为开发者提供直观、便捷的AI应用体验。

RKNN介绍

RKNN是瑞芯微推出的神经网络推理加速引擎，Rockchip NPU平台使用的模型类型，RKNN通常应用于边缘设备上的深度学习任务，如人脸识别、物体检测和语音识别等。它是一个强大的神经网络开发和运行框架，简化了深度学习模型开发的多个复杂步骤，并提供了优秀的跨平台支持和模型优化能力。

技术实现详解

本案例采用双模型推理设计，充分发挥 Rockchip NPU的硬件优势： YOLOv5人脸检测模型：负责实时检测图像中的人脸位置。 FaceNet特征提取模型：提取人脸特征向量，实现精准识别。 检测流程：摄像头采集 → 图像预处理 → RKNN推理 → 结果处理 → UI显示

1. 模型加载与初始化 模型加载流程：

• 首先尝试从应用沙箱目录加载已保存的模型文件。
• 如果沙箱中不存在，则从 rawfile资源中加载。
• 初始化RKNN上下文，设置使用所有NPU核心（RKNN_NPU_CORE_0_1_2）。
• 查询模型的输入输出信息，获取tensor属性。

2. 预览流图像预处理

• 首先通过opencv库的 imread读取预览流图像。

• 获取的预览流图像为 BGR格式，需要将BGR转为RGB格式。

• 计算目标尺寸和缩放比例。

• 再通过计算出来的比例进行自适应缩放和填充，通过opencv库的 resize和 copyMakeBorder完成调整预览流图像大小和添加填充，这种处理方式可以避免图像变形，提高检测精度。

  

3. 人脸检测推理执行

• 准备并设置输入数据参数。

• 通过 rknn_inputs_set设置输入。

• 对预览流图片执行推理，获取输出结果。

• 通过后处理函数处理YOLOv5模型的输出，将输出转换为可用的检测结果，包括边界框坐标、类别和置信度。

  

4. 人脸识别图像预处理

• 首先根据人脸检测过程中保存的人脸边界坐标数据，对对应的预览流图片进行人脸裁切，将预览流中裁切出来的人脸图尺寸缩放到 224\*224，将这一尺寸作为标准的人脸识别输入尺寸，将缩放好的图片输出保存。

• 启动人脸识别工作线程（如果尚未启动）。

• 获取当前时间戳，查找刚刚输出的缩放好的图片，将时间戳最接近现在时间戳的添加到异步处理队列中。

  

5. 人脸识别推理流程

• 将准备推理的人脸图像进行预处理。

• 准备输入数据并且设置输入。

• 执行推理，获取输出结果。

• 查询输出张量的属性（包括零点和缩放因子），将输出向量大小调整为128维，并将量化的 int8数据转换回浮点数，实现将模型的量化输出转换回原始特征空间。

• 最后计算特征向量的平方和，计算L2范数，将特征向量的每个元素除以L2范数归一化后的特征向量长度为1，便于后续使用余弦相似度计算人脸相似性。

  

6. 获取人脸与人脸库对比

• 首先人脸库的人脸图像会在应用启动时，自动执行人脸识别推理，并保存从人脸图像中提取的128维特征向量。

• 再从实时人脸的图像中提取到128维特征向量后，会与人脸库中保存的128维特征向量进行点积计算，因为进行了归一化处理，所以返回值相似度的范围为0.0-1.0，当相似度为0.6以上即为同张人脸。

  

NAPI接口

本应用共提供3个NAPI接口，供开发者在ArkTS调用，能够快速实现人脸识别应用的开发：

TIPS 下列接口返回值中 * 表示仅在成功时存在并返回

saveModelFile - 保存模型文件

saveFaceDatabaseImages - 保存人脸数据库图片

processImageWithRKNN - 图像处理与人脸识别

程序运行流程

展示应用运行时的部分重要函数：

1. 应用启动阶段

2. 摄像头初始化

3. 图片处理流水线

4. RKNN NAPI接口调用

5. UI渲染与交互

技术特点

NPU加速: 充分利用Rockchip NPU的算力，实现高效的模型推理。 多核心支持: 设置使用所有NPU核心，最大化硬件利用率。 异步处理: 人脸识别采用异步处理，不阻塞UI线程。 内存优化: 智能管理模型数据和图像缓存，避免内存泄漏。 实时结果反馈: 提供实时的人脸检测和识别结果。

依赖

1. 操作系统及硬件依赖 OpenHarmony系统版本: 仅支持 OpenHarmony 5.0.0 Release 64位系统(API 12)。 设备要求: 需要支持Rockchip NPU的设备，案例默认适配RK3588。
2. 模型依赖 将所需模型放置在 rawfile/model/usemodel/目录下。 yolov5.rknn: 人脸检测模型，需要放置在 rawfile/model/usemodel/目录下。 facenet.rknn: 人脸特征提取模型，需要放置在 rawfile/model/usemodel/目录下。
3. 人脸识别人脸库依赖 将所需识别人物的参考人脸图片放置在 rawfile/face_databases目录下，按1-20命名，例如：1.jpg。

应用效果展示

演示使用板卡：视美泰 AIoT-3588A OpenHarmony版本：OpenHarmony 5.0.0 Release 64位 RKNPU版本: v0.9.8

同一个人不同场景下的识别效果展示

不同人的识别效果展示

总结

本文主要介绍了基于开源鸿蒙系统，将RKNN适配了开源鸿蒙，实现RKNN人脸识别应用案例，可智能识别人脸及与人脸库中的参考人脸进行匹配比对。文中使用搭载开源鸿蒙5.0.0 Release 64位系统的视美泰AIoT-3588A开发板进行应用案例效果展示。

应用源码获取

RKNN人脸识别应用案例相关源码均已上传至gitcode。 开源鸿蒙 64位固件以及烧录文档，提取码：mf6t