不同设备常见拖拽问题分析的基本思路
一、典型问题汇总表
| 序号 |
问题描述 |
原因分析 |
解决方案 |
| 1 |
触摸板+鼠标，触摸板拖拽图标，鼠标不按键滑动翻页，拖拽终止 |
解决其他问题时引入。拖拽后立即抬起会导致页面卡死，原因是还没有等到拖拽发起完成就结束了，拖拽永远等不到结束的事件，所以卡死。解决的方法是（鼠标、手指、触摸板）移动时直接结束拖拽结束。 |
当且仅当发起拖拽源抬起才能结束拖拽。 |
| 2 |
双焦点拖拽大面积卡顿，最终失败 |
拖拽事件的发起到拖拽结束流程太长，开启ArkUI模块 DEBUG 日志恶化了这个情况，最终导致 IPC-socket通信异常，ANR超时，所以先卡顿后失败。 |
输入 ’hilog -b X‘ 一切正常。 |
| 3 |
鼠标拖拽备忘录中的文字到该文档的不同位置，HAP 闪退 |
解决返回空字符串规范问题时引入。问题必现，查看Crash日志，addr2line 定位到文件的具体行，发现异常时返回的字符串为{}, 查看历史PR 发现原来为 "". |
将 原来返回{} 改为 “”，问题解决。 |
| 4 |
手指拖拽备忘录中的文字，鼠标不按键滑动出上边框，再进来才显示 Cursor |
查看日志，鼠标不按键滑动出了上边框会发送DragLeave，进来之后发送DragEnter. 离开再进入Cursor显示正常，说明拖拽发起之后UI的拖拽状态不正常。进而发现收集拖拽手势识别器的时候，拖拽之前顺便取消了之前拖拽 |
拖拽发起前取消拖拽代码注释掉，鼠标不按键滑动会立刻显示 Cursor。 |
| 5 |
一个手指拖拽桌面图标，另一个手指翻页失败 |
手指拖拽图标，鼠标滑动翻页功能正常，与其比较，发现程序中如果事件源发生改变则清空裁决器中的所有手势。当前两个手指是同一事件源的不同手指ID，不清空导致。 |
事件源不改变，手指ID改变时清空裁决器中所有手势，手指拖拽图标，另一手指翻页正常。 |
| 6 |
鼠标拖拽时补发窗口变化的进出事件 |
|
|
二、自动设置与导出 hilog 日志
第一步、开启某个模块的 DEBUG 日志
- 可将以下文本写入 setting.bat，双击运行
- 例如开启ArkUI DEBUG 日志，除过设置日志域 0xD003900 为D之外（删除 REM），还要设置内部受控的Info日志开关param set persist.ace.debug.enabled 1
- 例如开启多模 MMI DEBUG 日志，设置 0xD002800 为 D 即可
- 例如开启拖拽框架 MSDP DEBUG 日志，设置 0xD002220 为 D 即可
- REM 或者 :: 为注销该行
@echo off
for /f %%a in ('call hdc list targets') do (
echo set device: %%a
hdc -t %%a shell "mount -o remount,rw /"
hdc -t %%a shell "setenforce 0"
hdc -t %%a file send h /system/bin/
hdc -t %%a shell "chmod 777 /system/bin/h"
hdc -t %%a shell "hilog -b D -T DragManager"
hdc -t %%a shell "hilog -b D -T InputEventHandler"
hdc -t %%a shell "hilog -b D -T InputChannel"
hdc -t %%a shell "hilog -b D -T InputEventListener"
hdc -t %%a shell "hilog -b D -T ClientMsgHandler"
hdc -t %%a shell "hilog -b D -T InputManagerImpl"
hdc -t %%a shell "hilog -b I -D 0xD002800"
hdc -t %%a shell "hilog -b D -D 0xD002220"
REM hdc -t %%a shell "hilog -b D -D 0xD003900"
REM hdc -t %%a shell "hilog -b D -D 0xD004200"
REM hdc -t %%a shell "hilog -b D -D 0xD001300"
hdc -t %%a shell "hilog -b D -D 0xD003900"
hdc -t %%a shell "hilog -b D -D 0xD004200"
REM hdc -t %%a shell "hilog -b D -D 0xD0015c0"
hdc -t %%a shell "hilog -Q pidoff"
hdc -t %%a shell "power-shell setmode 602"
)
pause
第二步、停止之前的日志记录任务，然后清空日志目录，最后开启最大100M文件的保存
- 可将以下文本写入 clean_hilog.bat，双击运行
@echo off
for /f %%a in ('call hdc list targets') do (
echo device: %%a
hdc -t %%a shell "hilog -w stop"
hdc -t %%a shell "hilog -r"
hdc -t %%a shell "cd /data/log/hilog && rm -rf *"
hdc -t %%a shell "hilog -w start -l 100M"
)
pause
第三步、导出 hilog 到当前目录或者 D:\ 目录下
- 可将以下文本写入 save_hilog.bat，双击运行
- R=xxx, xxx 通过控制台 cmd 窗口输入 'hdc list targets' 获取（前提是 hdc 能用）
- REM 或者 :: 为注销该行
@echo off
set time_now=%time:~0,2%-%time:~3,2%-%time:~6,2%
set local="hilog\%time_now%_local"
set yyyy=%date:~,4%
set mm=%date:~5,2%
set day=%date:~8,2%
set YYYYmmdd=%yyyy%-%mm%-%day%
set YYYYmmdd=%YYYYmmdd: =%
set hh=%time:~0,2%
set mi=%time:~3,2%
set ss=%time:~6,2%
set hhmiss=-%hh%h%mi%m%ss%s
set timestamp=%YYYYmmdd%%hhmiss%
REM set R=7001005458323933328a25ce2a693900
if not exist "hilog" (
md hilog
)
for /f %%a in ('call hdc list targets') do (
echo device: %%a
hdc -t %%a shell "hilog -w stop"
REM if "%%a" equ "%R%" (
hdc -t %%a shell "cd /data/log/hilog/ && mv *.gz local.gz"
hdc -t %%a file recv /data/log/hilog/local.gz %CD%\hilog\
REM 解压log，使用WinRAR解压需要设置环境变量
WinRAR e -or "hilog\local.gz" "hilog\"
echo WinRAR Decompress successfully!
timeout /t 1 /nobreak >nul
REM 以当前时间命名log文件名
if exist hilog\local (
CD hilog
REN local %timestamp%
echo Successfully modify file name!
)
REM )
REM if "%%a" equ "%L%" (
REM hdc -t %%a shell "cd /data/log/hilog/ && mv *.gz remote.gz"
REM hdc -t %%a file recv /data/log/hilog/remote.gz %CD%\hilog\
REM )
REM hdc -t %%a file recv /data/log/hilog/ hilog\
REM if "%%a" equ "%R%"
REM move hilog\hilog %local%
REM if "%%a" equ "%L%" move hilog\hilog %remote%
)
hdc file recv /data/log/hilog/ D:\
pause
三、 addr2line 用法举例
- crash 日志在开发板这个目录下 /data/log/faultlog/faultlogger
- 导出crash日志 hdc file recv /data/log/faultlog/faultlogger D:\
- 堆栈信息
01 pc 00009289 /vendor/lib/libhdi_audio_primary_server.z.so(HdiServiceGetAllAdapter+182)
- 查找unstripped 未压缩的so
wyy@wyy-virtual-machine:~/code_openharmony$ find -name libhdi_audio_primary_server.z.so
./out/rk3568/packages/phone/vendor/lib/libhdi_audio_primary_server.z.so
./out/rk3568/hdf/drivers_peripheral_audio/libhdi_audio_primary_server.z.so
./out/rk3568/lib.unstripped/hdf/drivers_peripheral_audio/libhdi_audio_primary_server.z.so
- 在ubuntu上运行 addr2line
wyy@wyy-virtual-machine:~/code_openharmony$ addr2line -e ./out/rk3568/lib.unstripped/hdf/drivers_peripheral_audio/libhdi_audio_primary_server.z.so 0x00009289
- 结果
/home/wyy/code_openharmony/out/rk3568/../../drivers/peripheral/audio/hal/hdi_binder/server/src/hdf_audio_server_common.c:1104
四、几个输入事件的关键节点（时机）
1. 收集来自 Linux 的libinput 事件
void EventNormalizeHandler::HandleEvent(libinput_event* event)
{
CALL_DEBUG_ENTER;
CHKPV(event);
DfxHisysevent::GetDispStartTime();
auto type = libinput_event_get_type(event);
// ......
switch (type) {
case LIBINPUT_EVENT_DEVICE_ADDED: {
OnEventDeviceAdded(event);
break;
}
case LIBINPUT_EVENT_DEVICE_REMOVED: {
OnEventDeviceRemoved(event);
break;
}
case LIBINPUT_EVENT_KEYBOARD_KEY: {
HandleKeyboardEvent(event);
DfxHisysevent::CalcKeyDispTimes();
break;
}
case LIBINPUT_EVENT_POINTER_MOTION:
case LIBINPUT_EVENT_POINTER_MOTION_ABSOLUTE:
case LIBINPUT_EVENT_POINTER_BUTTON:
case LIBINPUT_EVENT_POINTER_BUTTON_TOUCHPAD:
case LIBINPUT_EVENT_POINTER_AXIS:
case LIBINPUT_EVENT_POINTER_TAP:
case LIBINPUT_EVENT_POINTER_MOTION_TOUCHPAD: {
HandleMouseEvent(event);
DfxHisysevent::CalcPointerDispTimes();
break;
}
// ......
case LIBINPUT_EVENT_SWITCH_TOGGLE: {
HandleSwitchInputEvent(event);
break;
}
default: {
MMI_HILOGW("This device does not support :%d", type);
break;
}
}
DfxHisysevent::ReportDispTimes();
}
2. 多模输入Multimodalinput (MMI)事件派发前的事件打包
int32_t InputEventDataTransformation::KeyEventToNetPacket(
const std::shared_ptr<KeyEvent> key, NetPacket &pkt)
{
// ......
}
int32_t InputEventDataTransformation::SwitchEventToNetPacket(
const std::shared_ptr<SwitchEvent> swEvent, NetPacket &pkt)
{
// ......
}
int32_t InputEventDataTransformation::Marshalling(std::shared_ptr<PointerEvent> event, NetPacket &pkt)
{
// ......
}
#ifdef OHOS_BUILD_ENABLE_SECURITY_COMPONENT
int32_t InputEventDataTransformation::MarshallingEnhanceData(std::shared_ptr<PointerEvent> event, NetPacket &pkt)
{
// ......
}
#endif // OHOS_BUILD_ENABLE_SECURITY_COMPONENT
3. ArkUI 接收来自多模输入(MMI)的输入事件，并转换成 ArkUI 对应的事件
void AceViewOhos::ProcessTouchEvent(const std::shared_ptr<MMI::PointerEvent>& pointerEvent)
{
// ......
}
#ifdef ENABLE_DRAG_FRAMEWORK
void AceViewOhos::ProcessDragEvent(const std::shared_ptr<MMI::PointerEvent>& pointerEvent)
{
// ......
}
#endif // ENABLE_DRAG_FRAMEWORK
void AceViewOhos::ProcessMouseEvent(const std::shared_ptr<MMI::PointerEvent>& pointerEvent)
{
// ......
}
void AceViewOhos::ProcessAxisEvent(const std::shared_ptr<MMI::PointerEvent>& pointerEvent)
{
// ......
}
bool AceViewOhos::ProcessKeyEvent(const std::shared_ptr<MMI::KeyEvent>& keyEvent)
{
// ......
}
五、高级方式，采用虚拟设备、虚拟注入事件进行问题分析
1. 鼠标移动事件注入
在一个cmd窗口鼠标移动注入
D:>hdc shell mount -o remount,rw /
D:>hdc file send D:\wyy\four_in_one\hdc_tool\injectmove\vdevadm system/bin
FileTransfer finish, Size:214332, File count = 1, time:53ms rate:4044.00kB/s
D:>hdc shell
# cd system/bin
# chmod 755 vdevadm
# vdevadm mount -t M
Mount virtual mouse
Start to mount virtual mouse.
Mount virtual mouse successfully.
# vdevadm act -t M -m 1 1
[mouse] move: (1,1)
# vdevadm act -t M -m -514 -820
[mouse] move: (-514,-820)
# vdevadm act -t M -m -500 -800
[mouse] move: (-500,-800)
# vdevadm act -t M -M 200 200
[mouse] move-to (200,200)
# uinput -M -m 200 200
move to 200 200
D:>hdc shell
#
# uinput -M -m 300 300
move to 300 300
# uinput -M -m 300 300
move to 300 300
# uinput -M -m 300 300
move to 300 300
在另一个cmd窗口位置监听
D:>hdc shell
# vdevadm monitor -t M
Monitor for position of current pointer
current pointer position - x: 347 y: 640
2. 虚拟鼠标设备
vdevadm mount -t M 加载虚拟鼠标
vdevadm unmount -t M 卸载虚拟鼠标
vdevadm monitor -t M 实时获取当前鼠标光标位置
vdevadm act -t M -r <file> 从指定文件(原始事件的注入)中读取鼠标操作命令，并执行
vdevadm act -t M -f <file> 从指定文件(鼠标动作的注入)中读取鼠标操作命令，并执行
vdevadm act -t M -d L/M/R 按下鼠标左键/中键/右键
vdevadm act -t M -m dx dy 移动鼠标
vdevadm act -t M -u L/M/R 抬起鼠标左键/中键/右键
vdevadm act -t M -s dy 滚动鼠标滚轮
vdevadm act -t M -M x y 鼠标移动到<x,y>
vdevadm act -t M -w <ms> 等待<ms>毫秒
vdevadm act -t M -D x y 拖拽到
3. 虚拟触摸屏设备
vdevadm mount -t T 加载虚拟触摸屏
vdevadm unmount -t T 卸载虚拟触摸屏
vdevadm clone -t T 当前已存在的物理触屏设备，创建虚拟触屏设备
vdevadm act -t T -r <file> 从指定文件(原始事件的注入)中读取触摸屏操作命令，并执行
vdevadm act -t T -f <file> 从指定文件(触摸屏动作的注入)中读取触摸屏操作命令，并执行
vdevadm act -t T -d <0-9> x y 按下手指（slot，按下的位置）
vdevadm act -t T -m <0-9> dx dy 移动手指
vdevadm act -t T -D <0-9> sx sy tx ty 拖拽到tx ty
vdevadm act -t T -u <0-9> 抬起手指
vdevadm act -t T -M <0-9> x y 手指移动到（x,y）
vdevadm act -t T -w <ms> 等待<ms>毫秒
4. 虚拟键盘设备
vdevadm mount -t K 加载虚拟键盘
vdevadm unmount -t K 卸载虚拟键盘
vdevadm act -t K -d <key> 按下按键<key>
vdevadm act -t K -u <key> 抬起按键<key>
vdevadm act -t K -w <ms> 等待<ms>毫秒
vdevadm act -t K -r <file> 从指定文件(原始事件的注入)中读取键盘操作命令，并执行
vdevadm act -t K -f <file> 从指定文件(键盘动作的注入)中读取键盘操作命令，并执行
六、ArkUI关于手势的处理
1. 手势收集阶段
ArkUI 将来自多模输入子系统(MMI)的输入事件转换成自己对应的手势之后。在适配层进行事件转换，交给上下文管线PiplineContext，管线调用事件管理器EventManager，事件管理器再调用FrameNode遍历当前应用中的每个组件节点，接着每个节点收集由应用设置下来的各种动作手势
2. 手势派发阶段
收集到手势之后，手势裁决器遍历每个手势识别器，结合并行、互斥、序列以及优先级裁决出有效的手势，最后派发给对应的 UI-Pattern。
3. 事件结束
当事件源抬起，键盘ESC或者由用户取消，将结束事件派发个 UI-Pattern 之后，清空手势裁决器中的所有手势。
七、结论
输入事件相关问题直接影响用户的体验，它涉及的模块有多模输入子系统(MMI)、拖拽框架子系统(MSDP)、窗口管理及窗口显示子系统(WINDOW)以及ArkUI 子系统，因而分析问题较为繁琐。此文仅针对简单问题进行了基本思路阐述，实际问题错综复杂需要多种方法结合进行分析。同时需要多方面、充分样例测试避免引入新问题。
发布问题
发布文章
