OpenHarmony开发者论坛

标题: OpenHarmony Docker移植实践 [打印本页]
作者: 诚迈-陆志刚    时间: 2024-1-19 10:47
标题: OpenHarmony Docker移植实践
OpenHarmony Docker移植实践
（文章已获得原作者：诚迈科技高级技术专家-刘龙授权）
Docker简介
从操作系统诞生之日起，虚拟化技术就不断的演进与发展，结合目前云原生的发展态势，容器无疑是其中的重要一环。Docker是一个开源的软件项目，可以在Linux操作系统上提供一层额外的抽象，让用户程序部署在一个相对隔离的运行环境，并提供自动管理机制。需要额外指出的是，Docker并不等于容器（containers），Docker只是容器的一种，其他种类的容器还有Kata container，Rocket container等。
编译环境搭建准备一个可以运行Docker的虚拟机操作系统，推荐ubuntu或者openEuler的发行版。搭建环境[1]：在ubuntu虚拟机上执行以下步骤，下载OpenHarmony的源码并部署Docker编译环境。1、安装gitee repo工具[2]
  1. mkdir ~/bin
  2. curl [url]https://gitee.com/oschina/repo/raw/fork_flow/repo-py3[/url] -o ~/bin/repo
  3. chmod a+x ~/bin/repo
  4. pip3 install -i [url]https://repo.huaweicloud.com/repository/pypi/simple[/url] requests
复制代码
2、获取OpenHarmony源码
（1）在ubuntu虚拟机上创建源码目录：
  1. mkdir /home/openharmony
  2. cd /home/openharmory
复制代码
（2）使用repo命令获取OpenHarmony v3.2 release源码
  1. repo init -u git@gitee.com:openharmony/manifest.git -b OpenHarmony-3.2-Release --no-repo-verify
  2. repo sync -c
复制代码
以上步骤完成后，可以获取到OpenHarmony编译所需的完整的源码，代码目录结构如下图所示：
(, 下载次数: 25)
3、获取Docker编译环境独立Docker编译环境，适用于编译轻量和小型系统/标准系统.[3]（1）获取OpenHarmony Docker编译镜像
  1. docker pull swr.cn-south-1.myhuaweicloud.com/openharmony-docker/openharmony-docker:1.0.0
复制代码
此Docker编译环境较大，请耐心等待下载完成。
（2）进入源码根目录，启动并进入Docker编译环境。执行以下命令：
  1. cd /home/openharmory
  2. docker run --name ohos_build -it -v $(pwd):/home/openharmony swr.cn-south-1.myhuaweicloud.com/openharmony-docker/openharmony-docker:1.0.0
复制代码
命令参数说明：
-v X:Y 将宿主机的X目录挂载到容器的Y目录下。将当前源码所在目录，挂载到容器编译环境的/home/openharmony目录下。
（3）安装编译依赖通过步骤（2）进入容器的shell后，切换到/home/openharmony路径，执行脚本下载OpenHarmony编译所依赖的组件：
  1. cd /home/openharmony
  2. ./build/prebuilts_download.sh
复制代码
此处需要下载的编译依赖较多，请耐心等待下载完成。
至此OpenHarmony Docker编译环境准备完毕，在执行编译动作之前，需要完成OpenHarmony kernel特性的修改，否则Docker无法在OpenHarmony系统上正常运行。
kernel配置修改如何判断源码使用默认配置编译后生成的kernel是否满足Docker的运行依赖呢？开源社区存在检查工具，可以帮助我们完成这个任务，大家可以自行获取此工具[4] 。在此我们直接进入kernel配置的修改环节。
1、修改OpenHarmony kernel配置文件，开启Docker运行所依赖的内核功能。需要修改的配置文件位置如下：
  1. kernel/linux/config/linux-5.10/arch/arm64/configs/rk3568_standard_defconfig
复制代码
针对kernel特性的修改，主要是开启OpenHarmony内核中namespace、cgroup、network、overlay filesystem等功能。在配置文件的末尾追加以下内容：
  1. # add for Docker
  2. CONFIG_POSIX_MQUEUE=y
  3. CONFIG_SCHED_WALT=y
  4. CONFIG_PSI=y
  5. CONFIG_PAGE_COUNTER=y
  6. CONFIG_CGROUP_BPF=y
  7. CONFIG_MEMCG_KMEM=y
  8. CONFIG_MEMCG_SWAP_ENABLED=y
  9. CONFIG_BLK_CGROUP=y
  10. CONFIG_BLK_DEV_THROTTLING=y
  11. CONFIG_RT_GROUP_SCHED=y
  12. CONFIG_CGROUP_PIDS=y
  13. CONFIG_CGROUP_HUGETLB=y
  14. CONFIG_CGROUP_PERF=y
  15. CONFIG_NET_CLS_CGROUP=y
  16. CONFIG_BPF_SYSCALL=y
  17. CONFIG_BINFMT_MISC=y
  18. CONFIG_TLS=y
  19. CONFIG_IP_MULTIPLE_TABLES=y
  20. CONFIG_IP_MROUTE_MULTIPLE_TABLES=y
  21. CONFIG_INET_ESP=y
  22. CONFIG_IPV6_MIP6=y
  23. CONFIG_IPV6_MULTIPLE_TABLES=y
  24. CONFIG_IPV6_MROUTE=y
  25. CONFIG_IPV6_MROUTE_MULTIPLE_TABLES=y
  26. CONFIG_NF_CONNTRACK=y
  27. CONFIG_NETFILTER_XT_MARK=y
  28. CONFIG_NETFILTER_XT_SET=y
  29. CONFIG_NETFILTER_XT_TARGET_CHECKSUM=y
  30. CONFIG_NETFILTER_XT_MATCH_ADDRTYPE=y
  31. CONFIG_NETFILTER_XT_MATCH_CONNTRACK=y
  32. CONFIG_NETFILTER_XT_MATCH_IPVS=y
  33. CONFIG_NETFILTER_XT_MATCH_CGROUP=y
  34. CONFIG_IP_SET=y
  35. CONFIG_IP_SET_HASH_IP=y
  36. CONFIG_IP_SET_HASH_NET=y
  37. CONFIG_IP_VS=y
  38. CONFIG_IP_VS_NFCT=y
  39. CONFIG_IP_VS_PROTO_TCP=y
  40. CONFIG_IP_VS_PROTO_UDP=y
  41. CONFIG_IP_VS_RR=y
  42. CONFIG_IP_VS_WRR=y
  43. CONFIG_IP_VS_SH=y
  44. CONFIG_IP_NF_MATCH_STATE=y
  45. CONFIG_IP_NF_MATCH_LIMIT=y
  46. CONFIG_IP_NF_TARGET_LOG=y
  47. CONFIG_NF_NAT=y
  48. CONFIG_IP_NF_FTP=y
  49. CONFIG_IP_NF_TARGET_REDIRECT=y
  50. CONFIG_IP_NF_CONNTRACK=y
  51. CONFIG_IP_NF_IRC=y
  52. CONFIG_IP_NF_NAT=y
  53. CONFIG_IP_NF_FILTER=y
  54. CONFIG_IP_NF_TARGET_MASQUERADE=y
  55. CONFIG_BRIDGE=y
  56. CONFIG_BRIDGE_NETFILTER=y
  57. CONFIG_CGROUP_NET_PRIO=y
  58. CONFIG_STREAM_PARSER=y
  59. CONFIG_DRIVERS_HDF_LIGHT=y
  60. CONFIG_HYPERHOLD=y
  61. CONFIG_HYPERHOLD_DEBUG=y
  62. CONFIG_HYPERHOLD_ZSWAPD=y
  63. CONFIG_HYPERHOLD_FILE_LRU=y
  64. CONFIG_HYPERHOLD_MEMCG=y
  65. CONFIG_ZRAM_GROUP=y
  66. CONFIG_ZRAM_GROUP_DEBUG=y
  67. CONFIG_ZLIST_DEBUG=y
  68. CONFIG_ZRAM_GROUP_WRITEBACK=y
  69. CONFIG_REGMAP_SPI=y
  70. CONFIG_MACVLAN=y
  71. CONFIG_VXLAN=y
  72. CONFIG_AUFS_FS=y
  73. CONFIG_VETH=y
  74. CONFIG_DRM_DW_HDMI_I2S_AUDIO=y
  75. CONFIG_SND_TIMER=y
  76. CONFIG_SND_PCM=y
  77. CONFIG_SND_PCM_ELD=y
  78. CONFIG_SND_PCM_IEC958=y
  79. CONFIG_SND_DMAENGINE_PCM=y
  80. CONFIG_SND_HWDEP=y
  81. CONFIG_SND_SEQ_DEVICE=y
  82. CONFIG_SND_RAWMIDI=y
  83. CONFIG_SND_JACK=y
  84. CONFIG_SND_JACK_INPUT_DEV=y
  85. CONFIG_SND_PCM_TIMER=y
  86. CONFIG_SND_HRTIMER=y
  87. CONFIG_SND_DYNAMIC_MINORS=y
  88. CONFIG_SND_MAX_CARDS=32
  89. CONFIG_SND_PROC_FS=y
  90. CONFIG_SND_VERBOSE_PROCFS=y
  91. CONFIG_SND_SEQUENCER=y
  92. CONFIG_SND_SEQ_DUMMY=y
  93. CONFIG_SND_SEQ_HRTIMER_DEFAULT=y
  94. CONFIG_SND_SEQ_MIDI_EVENT=y
  95. CONFIG_SND_SEQ_MIDI=y
  96. CONFIG_SND_DRIVERS=y
  97. CONFIG_SND_HDA_PREALLOC_SIZE=64
  98. CONFIG_SND_USB=y
  99. CONFIG_SND_USB_AUDIO=y
  100. CONFIG_SND_USB_AUDIO_USE_MEDIA_CONTROLLER=y
  101. CONFIG_SND_SOC=y
  102. CONFIG_SND_SOC_GENERIC_DMAENGINE_PCM=y
  103. CONFIG_SND_SOC_ROCKCHIP=y
  104. CONFIG_SND_SOC_ROCKCHIP_I2S=y
  105. CONFIG_SND_SOC_ROCKCHIP_I2S_TDM=y
  106. CONFIG_SND_SOC_ROCKCHIP_PDM=y
  107. CONFIG_SND_SOC_ROCKCHIP_SPDIF=y
  108. CONFIG_SND_SOC_ROCKCHIP_SPDIFRX=y
  109. CONFIG_SND_SOC_ROCKCHIP_MAX98090=y
  110. CONFIG_SND_SOC_ROCKCHIP_MULTICODECS=y
  111. CONFIG_SND_SOC_ROCKCHIP_RT5645=y
  112. CONFIG_SND_SOC_ROCKCHIP_HDMI=y
  113. CONFIG_SND_SOC_DUMMY_CODEC=y
  114. CONFIG_SND_SOC_HDMI_CODEC=y
  115. CONFIG_SND_SOC_ES7202=y
  116. CONFIG_SND_SOC_ES7243E=y
  117. CONFIG_SND_SOC_ES8311=y
  118. CONFIG_SND_SOC_ES8316=y
  119. CONFIG_SND_SOC_MAX98090=y
  120. CONFIG_SND_SOC_RK3308=y
  121. CONFIG_SND_SOC_RK3328=y
  122. CONFIG_SND_SOC_RK817=y
  123. CONFIG_SND_SOC_RK_CODEC_DIGITAL=y
  124. CONFIG_SND_SOC_RL6231=y
  125. CONFIG_SND_SOC_RT5616=y
  126. CONFIG_SND_SOC_RT5640=y
  127. CONFIG_SND_SOC_RT5645=y
  128. CONFIG_SND_SOC_RT5651=y
  129. CONFIG_SND_SOC_SPDIF=y
  130. CONFIG_SND_SOC_TS3A227E=y
  131. CONFIG_SND_SIMPLE_CARD_UTILS=y
  132. CONFIG_SND_SIMPLE_CARD=y
  133. CONFIG_ANDROID_PARANOID_NETWORK=y
  134. CONFIG_ACCESS_TOKENID=y
  135. CONFIG_F2FS_GRADING_SSR=y
  136. CONFIG_OVERLAY_FS=y
  137. CONFIG_HUGETLBFS=y
  138. CONFIG_HUGETLB_PAGE=y
  139. CONFIG_CRYPTO_SEQIV=y
  140. # end
复制代码
2、修改OpenHarmony配置文件 build/ohos/images/build_image.py 添加Docker运行依赖的目录：'run', 'var', 'opt', 'usr'。
  1. _dir_list = [
  2.     'config', 'dev', 'proc', 'sys', 'updater', 'system', 'vendor', 'data',
  3.     'chipset', 'storage', 'mnt', 'tmp', 'sys_prod', 'chip_prod',
  4.     'run', 'var', 'opt', 'usr'
  5. ]
复制代码
3、修改OpenHarmony配置文件 base/security/selinux/sepolicy/base/system/file_contexts添加以下内容：
  1. /run                u:object_r:rootfs:s0
  2. /var                u:object_r:rootfs:s0
  3. /opt                u:object_r:rootfs:s0
  4. /usr                u:object_r:rootfs:s0
  5. /lib                u:object_r:rootfs:s0
复制代码
至此准备工作结束，进入OpenHarmony系统编译环节。
OpenHarmony编译本文以适配RK3568开发板为例，对代码编译流程进行说明。在OpenHarmony源码路径下，执行以下命令触发编译：
  1. ./build.sh --product-name rk3568 --ccache --jobs $(nproc)
复制代码
编译正常结束后，产物存放在以下位置：
(, 下载次数: 24)
接下来就需要将目录下的产物拷贝到Windows环境，使用开发板厂商提供的烧写工具完成系统烧写。说明：清理编译路径下已生成的文件，可以执行命令：hb clean命令会清理out路径下生成的文件。如果要重编内核，需要确认out/kernel路径被移除，然后重新触发编译即可。烧写
烧录工作需要使用Windows环境，且依赖厂商提供的烧写工具及驱动助手[5]。
 (, 下载次数: 19) 1、RK驱动助手解压后需要执行DriverInstall.exe，完成安装，否则烧写工具无法识别到开发板。
2、AndroidTool烧写工具解压后直接运行RKDevTool.exe，打开烧录操作界面，如下图所示： (, 下载次数: 23)
烧录步骤做如下说明：1）在瑞芯微开发工具界面，点击[设备分区表]，读取设备分区；2）按照设备分区的起始地址修改烧录项，导入前序步骤生成的img文件；3）点击[执行]后进入系统烧录流程。
开发板完成烧录后，会自动进行重启。之后可以通过HDC调试工具登录OpenHarmony shell交互命令行，完成Docker的部署操作。
HDC调试工具
HDC（OpenHarmony Device Connector）[6] 是为开发人员提供的用于设备连接调试的命令行工具，该工具支持部署在Windows/Linux/Mac等系统上与OpenHarmony设备（或模拟器）进行连接调试通信。工具可以通过OpenHarmony官方的每日构建dailybuilds[7] 或发布的SDK[8] 中获得，根据使用的系统平台到相应的toolchains目录下提取。以SDK为例，解压后HDC工具路径如下：
  1. ohos-sdk\windows\toolchains-windows-x64-3.2.11.9-Release.zip\toolchains\
复制代码
HDC工具的基本使用方法：（在Windows PowerShell中执行命令）

  2. # 进入调试shell
  3. > .\hdc.exe shell
  4. # 文件拷贝，从openharmony系统下载文件至Windows的当前目录下：
  5. > .\hdc.exe file recv /data/xxxx .
  6. # 文件拷贝，从windows环境上传文件到openharmony的/data目录下：
  7. > .\hdc.exe file send .\testfile /data/
复制代码
Docker环境配置
历经坎坷，终于到了最后一步Docker部署的环节。通过HDC工具连接到触觉开发板之后，执行以下步骤。1、执行脚本修改跟目录的读写权限。脚本内容如下：
  1. #!/bin/sh
  2. #remount / to rw property
  3. mount -o remount -rw /
  4. #mount cgroup
  5. mount -t tmpfs -o rw,nosuid,nodev,noexec,mode=755 tmpfs /sys/fs/cgroup
  6. #create related folder
  7. cd /sys/fs/cgroup
  8. mkdir pids cpuset blkio cpu,cpuacct memory devices net_cls,net_prio perf_event
  9. #mount files related cgroup
  10. mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,pids cgroup /sys/fs/cgroup/pids
  11. mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,cpuset cgroup /sys/fs/cgroup/cpuset
  12. mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,blkio cgroup /sys/fs/cgroup/blkio
  13. mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,cpu,cpuacct cgroup /sys/fs/cgroup/cpu,cpuacct
  14. mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,memory cgroup /sys/fs/cgroup/memory
  15. mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,devices cgroup /sys/fs/cgroup/devices
  16. mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,net_cls,net_prio cgroup /sys/fs/cgroup/net_cls,net_prio
  17. mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,perf_event cgroup /sys/fs/cgroup/perf_event
  18. mount -n -t cgroup -o rw,nosuid,nodev,noexec,relatime,freezer cgroup /sys/fs/cgroup/freezer
复制代码
2、部署Docker静态可执行文件下载Docker静态可执行文件，当前选用的是20.10.21版本 [9]。使用HDC工具将下载的压缩包上传至触觉开发环境并解压，将解压目录下的文件全部拷贝到/system/bin目录下即可。解压后目录结构如图所示： (, 下载次数: 23)

3、创建Docker运行所需的目录及配置文件

  1. mkdir /system/etc/docker
  2. mkdir /var/run
复制代码
创建/system/etc/docker/daemon.json文件，并添加以下文件内容

  1. {
  2.   "registry-mirrors":["https://veotnqhz.mirror.aliyuncs.com","https://hub-mirror.c.163.com", "https://mirror.baidubce.com"],
  3.   "data-root":"/data/data/dockerdir"
  4. }
复制代码
4、添加库别名由于Docker运行时使用的库与OpenHarmony环境存在的库名称不同，需要创建一个软链接别名。
  1. ln -s /lib/ld-musl-arm.so.1 /lib/ld-musl-armhf.so.1
复制代码
5、手动拉起Docker的服务进程
  1. # 拉起dockerd守护进程
  2. dockerd -D -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock &
复制代码
6、验证Docker基本功能
  1. # 判断docker命令可以正常执行
  2. docker --verison
  3. # 判断docker命令可以正常拉取、运行远端镜像（前提是网络可用）
  4. docker run hello-world
复制代码
(, 下载次数: 25)
至此OpenHarmony上Docker的基本功能已经实现，大家可以尝试导入或部署自己的Docker应用。
参考链接
[1] https://gitee.com/openharmony/do ... urcecode-acquire.md

[2]

https://gitee.com/help/articles/4316#article-header0

[3]

https://gitee.com/openharmony/docs/blob/master/zh-cn/device-dev/get-code/gettools-acquire.md

[4]

https://github.com/moby/moby/blob/master/contrib/check-config.sh

[5]

https://www.t-firefly.com/doc/download/107.html

[6]

https://gitee.com/openharmony/developtools_hdc

[7]

http://ci.openharmony.cn/dailys/dailybuilds

[8]

https://repo.huaweicloud.com/harmonyos/os/3.2-Release/ohos-sdk-windows_linux-public.tar.gz

[9]

https://download.docker.com/linux/static/stable/aarch64/docker-20.10.21.tgz








欢迎光临 OpenHarmony开发者论坛 (https://forums.openharmony.cn/) Powered by Discuz! X3.5