详情：OpenHarmony开源GPU库Mesa3D适配说明
本文档主要讲解在OpenHarmony中，Mesa3D的适配方法及原理说明。
环境说明：
- OHOS版本: 适用3.2-Beta3及以上
- 内核版本: linux-5.10
- 硬件环境: Dayu200-rk3568
一、背景介绍
OpenHarmony对图形的渲染，支持CPU和GPU两种方式。为了支持流畅的用户体现，GPU适配是必不可少的。OpenHarmony使用GPU渲染，就必须依赖OpenGL接口。
OpenGL(Open Graphics Library) 开放图形库，是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口(仅定义了接口及规范，没有实现)。OpenGL的高效性(利用了图形加速硬件)依赖于显示设备厂家的硬件及实现。
OpenGL API实现的方式又分为闭源及开源两种方式。闭源实现一般由设备厂家完成，这种方式充分保证了它的高效性，但移植起来比较麻烦。今天我们要重点介绍的是另外一种开源实现的方式：mesa3D。
Mesa3D 图形库就是OpenGL API的一种开源实现。新版本还支持OpenCL、OpenGL ES等等。Mesa3D对上提供标准的OpenGL接口，对下使用Gallium框架，屏蔽驱动差异。在RK3568中，panfrost对ARM GPU提供了非常好的开源驱动支持。
二、适配方法
在RK3568 GPU 开源库mesa3D适配时，我们同时依赖了drm panfrost的实现。目前OpenHarmony 3.2-Release基线中，支持4.19及5.10两个Linux版本，而只有5.10才提供了对panfrost的支持。如果当前Linux版本不支持panfrost，那就需要升级内核版本，或者把panfrost移植到当前版本上。
2.1 适配框架说明
以下是我们这次适配的框架示意图:
通过上图我们可以看出，一个大致的UI显示流程如下：
JS创建window->调用skia完成接口封装->调用mesa3D的OpenGL接口完成渲染->返回EglSurface数据->送到Dislay HDI的GFX合成->调用KMS完成数据转换->LCD硬件完成显示
2.2 适配前提条件
从适配框架图可以看出，GPU适配，需要建立在Dislay HDI、DRM、LCD驱动完整的基础之上，否则Launcher没有启动，也不能确定适配是否完好。所以，在GPU适配之前，需要确保在CPU渲染的基础上，Launcher是能正常启动的。
CPU渲染修改方法： 设置graphic_standard_feature_ace_enable_gpu = false。包含在以下路径中:
foundation/graphic/standard/graphic_config.gni
productdefine/common/inherit/rich.json
productdefine/common/products/ohos-arm64.json
编译过程中，旧版本可能会报如下错误: 
解决方案如下:
vendor/hihope/rk3568/config.json
"ace_engine_feature_enable_web = false"
使用CPU模式能正常进入桌面，代表系统启动正常。
2.3 Mesa3D适配
- 依赖库安装
sudo apt-get install -y meson cmake llvm ninja-build pkg-config
python3 -m pip install meson==0.62.0
python -m pip install --upgrade pip
pip install mako atomic markupsafe
- 合入patch
https://gitee.com/openharmony/third_party_mesa3d/pulls/13 //mesa3D相关 必须合入 https://gitee.com/zleoyu/device_soc_rockchip/commit/4467466a50adca43f26a77912cab710901f909e4 //合入产品配置 必须合入。
单独测试mesa3d编译:
python3 ohos/build_ohos.py OH目录 rk3568 OH目录/third_party/mesa3d
- 修改成GPU模式
foundation/graphic/standard/graphic_config.gni productdefine/common/inherit/rich.json productdefine/common/products/ohos-arm64.json
graphic_standard_feature_ace_enable_gpu = true
- GPU合成
如果需要使用GPU合成,需要打开如下开关:
foundation/graphic/standard/graphic_config.gni
graphic_standard_feature_rs_enable_eglimage = true
- patch错误修改:
- mesa3d patch合入报错:
修改方案:diff --git a/src/loader/loader.c b/src/loader/loader.c
index fd2ce99..3b443d6 100644
--- a/src/loader/loader.c
+++ b/src/loader/loader.c
@@ -77,7 +77,7 @@ static void default_logger(int level, const char *fmt, ...)
va_list args;
va_start(args, fmt);
vfprintf(stderr, fmt, args);
- sprintf_s(log_string, MAX_BUFFER_LEN, fmt, args);
+ sprintf(log_string, fmt, args);
va_end(args);
}
DISPLAY_LOGI();
@@ -89,7 +89,7 @@ static void ohos_logger(int level, const char *fmt, ...)
char log_string[MAX_BUFFER_LEN];
va_list args;
va_start(args, fmt);
- (void)sprintf_s(log_string, MAX_BUFFER_LEN, fmt, args);
+ (void)sprintf(log_string, fmt, args);
va_end(args);
switch (level) {
case _LOADER_WARNING:
- 合入产品配置报错
解决方案:diff --git a/rk3568/hardware/display/BUILD.gn b/rk3568/hardware/display/BUILD.gn
index 85daf66..773abdc 100644
--- a/rk3568/hardware/display/BUILD.gn
+++ b/rk3568/hardware/display/BUILD.gn
@@ -242,7 +242,7 @@ ohos_static_library("display_utils") {
cflags = [ "-Wno-macro-redefined" ]
deps = [
"//third_party/libdrm:libdrm",
- "//utils/native/base:utils",
+# "//utils/native/base:utils",
]
external_deps = [ "hiviewdfx_hilog_native:libhilog" ]
}
三、下载及验证
3.1 编译及下载img
RK3568 在ubuntu环境中，通过以下命令下载到设备：
//让内核重新编译
touch device/board/hihope/rk3568/kernel/build_kernel.sh
//编译OpenHarmony
./build.sh --product-name rk3568 --compile-config enable_mesa3d
//下载img
cd out/rk3568/packages/phone/images
upgrade_tool di -p parameter.txt -uboot uboot.img -boot_linux boot_linux.img -resource resource.img -vendor vendor.img -system system.img -userdata userdata.img -updater updater.img
//重启
upgrade_tool RD
3.2 panfrost正确日志打印
以下是panfrost启动成功后的串口日志打印:
Line 480: [ 0.780211] panfrost fde60000.gpu: clock rate = 594000000
Line 481: [ 0.780254] panfrost fde60000.gpu: bus_clock rate = 500000000
Line 482: [ 0.780476] panfrost fde60000.gpu: [drm:panfrost_devfreq_init] *ERROR* Couldn't set OPP regulators
Line 824: [ 2.008794] panfrost fde60000.gpu: clock rate = 594000000
Line 825: [ 2.008852] panfrost fde60000.gpu: bus_clock rate = 500000000
Line 826: [ 2.010067] panfrost fde60000.gpu: mali-g52 id 0x7402 major 0x1 minor 0x0 status 0x0
Line 827: [ 2.010100] panfrost fde60000.gpu: features: 00000000,13de77ff, issues: 00000000,00000400
Line 828: [ 2.010114] panfrost fde60000.gpu: Features: L2:0x07110206 Shader:0x00000002 Tiler:0x00000209 Mem:0x1 MMU:0x00002823 AS:0xff JS:0x7
Line 829: [ 2.010124] panfrost fde60000.gpu: shader_present=0x1 l2_present=0x1
Line 830: [ 2.012042] [drm] Initialized panfrost 1.1.0 20180908 for fde60000.gpu on minor 1
3.3 GPU渲染标志性打印
输入hilog并输出egl相关，能看到如下打印:
hilog -e egl
OHOS::ROSEN: RSSurfaceOhosGl:RequestFrame, eglsurface is 0x38f1ab0, width is 720, height is 48
OHOS::ROSEN: RSSurfaceOhosGl: FlushFrame, SwapBuffers eglsurface is 0x38f1ab0
OHOS::ROSEN: RSSurfaceOhosGl:RequestFrame, eglsurface is 0x39c1ba0, width is 720, height is 72
OHOS::ROSEN: RSSurfaceOhosGl: FlushFrame, SwapBuffers eglsurface is 0x39c1ba0
OHOS::ROSEN: RSSurfaceOhosGl:RequestFrame, eglsurface is 0x2df8350, width is 720, height is 1280
如果这个时候屏幕能够正常显示launcher想着内容，就恭喜你适配成功了。
四、知识分享
从上面的适配框架可以看出，除了Mesa3D外，drm、panfrost、Display HDI也是至关重要的，下面我们简单介绍相关知识及验证方法。
4.1 drm
drm(Direct Rendering Manager) 直接渲染管理，是Linux目前主流的图形显示框架。并且管理着GPU及Display驱动，使得软件架构更为统一,方便管理和维护。
DRM从模块上划分，可以简单分为3部分。
- libdrm
为用户态提供各种IOCTL操作接口。
- KMS(Kernel Mode Setting)
包换以下模块的实现:CRTC，ENCODER，CONNECTOR，PLANE，FB，VBLANK，property
- GEM
显示内存的分配管理。包含：DUMB、PRIME、fence
一个新设备drm的实现就是对KMS及GEM的实现，drm提供了一个虚拟设备例子参考:drivers/gpu/drm/vkms。以下链接非常详细的介绍了drm相关知识：
https://mp.weixin.qq.com/mp/appmsgalbum?__biz=MzIxMjE1MzU4OA==&action=getalbum&album_id=2434512719333982211&subscene=159&subscene=&scenenote=https%3A%2F%2Fmp.weixin.qq.com%2Fs%2Fs8lqVnTUZLa-YCP9oYGDow&nolastread=1#wechat_redirect
在用户态，libdrm提供了modetest工具，来检测drm基础功能，是否适配成功。它可以测试基本显示功能，并列举出几大组件的参数。但一些扩展的硬件功能，modetest无法检测，比如显存压缩技术AFBC。但适配前期，modetest还是非常好用的。
4.2 panfrost
panfrost的是对ARM 系列GPU驱动的开源实现，它的功能主要是完成对GPU硬件的初始化，以及以job的方式，完成对渲染数据硬件处理。在本文档中，GPU相关的配置，渲染管理等都是通过Mesa3D对panfrost ioctl来实现的。
4.3 Display HDI
Display HDI是OpenHarmony显示接口适配层。主要功能分三部分：
- Display 显示管理及配置
- Gralloc 显存管理
- GFX Layer合成管理
HDI 通过libdrm提供的接口来管理显示设备及送显。OpenHarmony 使用的是atomic接口，需要drm支持atomic的property操作方式。HDI操作流程基本与modetest代码一致。在使用modetest确保drm驱动基本完整的情况下，可以使用hello_composer工具来测试HDI是否适配成功。
4.4 常用错误及处理方法
以下是适配过程中遇到的一些问题，为文档阅读者提供一些参考思路。
4.4.1 panfrost 初始化失败
panfrost初始化GPU硬件时，会遇到写复位寄器超时,有如下打印：
gpu soft reset timed out
这个时候发现读写GPU寄存器都表现异常，应该考虑GPU是否上电成功。
4.4.2 Launcher显示异常
桌面显示异常，状态和文字相关能正常显示，与图片相关的只显示一个框框，其它都是白色。并报如下错误：
[ 39.747285] panfrost 60000000.gpu: js fault, js=0, status=DATA_INVALID_FAULT, head=0x659c5c0, tail=0x659c5c0
[ 39.757132] panfrost 60000000.gpu: gpu sched timeout, js=0, config=0x3300, status=0x58, head=0x659c5c0, tail=0x659c5c0, sched_job=f77ff5d1
从错误来看，显示数据无效错误。经过定位，发现GPU是支持AFBC(显存压缩技术)，但DRM没有适配。最后在Mesa3D中关闭该功能，显示正常。
--- a/src/panfrost/lib/pan_props.c
+++ b/src/panfrost/lib/pan_props.c
@@ -241,7 +241,7 @@ panfrost_open_device(void *memctx, int fd, struct panfrost_device *dev)
dev->quirks = panfrost_get_quirks(dev->gpu_id, revision);
dev->compressed_formats = panfrost_query_compressed_formats(fd);
dev->tiler_features = panfrost_query_tiler_features(fd);
- dev->has_afbc = panfrost_query_afbc(fd, dev->arch);
+ dev->has_afbc = false;//panfrost_query_afbc(fd, dev->arch);
4.4.3 ISA Config配置异常
案例参考: https://gitlab.freedesktop.org/mesa/mesa/-/issues/7228
4.4.5 其它调试手段
如果OpenHarmony无法点亮屏幕，可以用buildroot来先测试，成功后再使用OpenHarmony验证。
buildroot小巧，修改编译调试都比较方便，并且自带glmark2测试工具。
步骤一: 关闭ramdisk
# CONFIG_BLK_DEV_INITRD=y
# CONFIG_INITRAMFS_SOURCE=""
步骤二:编译buildroot。
参考:https://blog.csdn.net/u013131156/article/details/124337444
步骤三:下载
使用rootfs.ext4 替换OHOS的system.img。
步骤四:调试
1、开机必要的环境变量配置:
mkdir /tmp/xdg
export XDG_RUNTIME_DIR=/tmp/xdg
2 打开日志(可选):
export PAN_MESA_DEBUG=trace
export MESA_DEBUG=1
export EGL_LOG_LEVEL=debug
export LIBGL_DEBUG=verbose
export WAYLAND_DEBUG=1
3 启动桌面
weston --tty 1 & //GPU
或者
weston --tty=1 --use-pixman & //CPU
4 运行glmark2性能测试工具
glmark2-es2-wayland
4.4.5 闭源GPU so适配
闭源GPU so库适配最简单的是修改这个mali-bifrost-g52-g2p0-ohos动态库的实现。
ohos_prebuilt_shared_library("mali-bifrost-g52-g2p0-ohos") {
if (target_cpu == "arm") {
source = "lib/libmali-bifrost-g52-g2p0-ohos.so"//修改成厂家so库
} else if (target_cpu == "arm64") {
source = "lib64/libmali-bifrost-g52-g2p0-ohos.so"
}
# decoupling system.img and vendor.img
install_images = [ chipset_base_dir ]
relative_install_dir = "chipsetsdk"
subsystem_name = "rockchip_products"
part_name = "rockchip_products"
install_enable = true
symlink_target_name = [
"libEGL_impl.so",
"libGLESv1_impl.so",
"libGLESv2_impl.so",
"libGLESv3_impl.so",
"libmali.so.0",
"libmali.so.1",
]
}
如果要修改mali-bifrost-g52-g2p0-ohos这个动态库名字，那在另外一个gn中也要同步修改：
device/soc/rockchip/rk3568/hardware/BUILD.gn
group("hardware_group") {
deps = [
"//device/soc/rockchip/rk3568/hardware/gpu:mali-bifrost-g52-g2p0-ohos",//这个名字需要同步修改
"//device/soc/rockchip/rk3568/hardware/isp:isp",
"//device/soc/rockchip/rk3568/hardware/mpp:mpp",
"//device/soc/rockchip/rk3568/hardware/wifi:ap6xxx",
]
}
发布问题
发布文章
