UI自动化找不到元素怎么办

对APP做UI自动化，如何定位到页面上的某个元素（比如元素element A）？

常规操作的思路如下图

• 小帖士，你可以吧ui布局的xml交给大模型，让它帮你写自动化脚本。
• 但是，如果布局文件中没有你要找的元素怎办？比如h5页面中的某些元素，比如弹窗、浮层上的某些元素。

当你无法找到某一个元素的时候，试试用图片比对的方式

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习库，支持多种编程语言，处理图像和视频特别的简单且好使，我们就用OpenCV来解决图片对比的问题。

APPIUM(python)+OpenCV(python)的代码如下

方法很灵，但是副作用也很明显，兼容性不够好，换个手机可能就要重新截图。

上面的思路大模型能直接帮你想出来么？

• 看你怎么问，如果你发现悬浮窗上的元素无法点击，你让大模型帮你想想办法，他墨迹半天也是无能为力
• 当你听说别人的项目在使用图片对比的方式，你觉得很棒。于是你问大模型，如何通过图片对比的方式找到页面元素，他立刻就又行了。
• 所以，目前来说，还是得你先懂。

最后，上边的代码基本是大模型生成，但是我也修改了几行代码（原来的代码在我的环境中会报错），现在你运行上边的代码基本环境不会报错（当然记得要安装和import openv），但是如果你和我一样，操作不当的话，opencv一些小的限制，你也许也会遇到，都很好解决。