Lire une interface

Quand une application expose sa structure, l'agent peut lire ses éléments plutôt que d'interpréter une image : c'est plus précis et plus économe.

Ce que vous demandez

« Liste les boutons de la fenêtre au premier plan. »

« Qu'y a-t-il sous le curseur ? »

Ce que fait l'agent

• touche_tree renvoie l'arbre d'accessibilité de la fenêtre au premier plan : chaque élément avec son rôle, son libellé et sa position. L'arbre est borné en profondeur (4 par défaut) et expurgé des contenus sensibles. L'agent peut filtrer par roles pour ne garder que, par exemple, les boutons.
• touche_probe renvoie l'élément situé sous un point de l'écran.

Ces deux outils sont en lecture seule et ne sont pas soumis au plafond des Mains.

Ce que vous obtenez

Une liste d'éléments, avec leurs positions : celles-ci servent ensuite à agir (voir Agir).

Quand l'arbre est vide

Certaines applications (applications Win32 anciennes, interfaces dessinées sur mesure, Electron) n'exposent rien. L'agent se rabat alors sur vue_find, qui localise un texte à l'écran par OCR.

Si l'appel est refusé

Code	Ce que l'agent doit faire
accessibility_permission_denied	L'autorisation Accessibilité manque : Autorisations
excluded	La cible appartient à une application que vous avez protégée : l'agent n'insiste pas
snapshot_failed	La lecture a échoué : réessayer, puis appeler daimon_doctor

Détail complet : Touché.