Power Automate Desktop | UI要素が認識できずクリックできない原因と対処方法

Power Automate Desktop(以下、PAD)は、ビジネスプロセスの自動化を支援する強力なツールですが、時折UI要素がクリックできないという課題が発生することがあります。この記事では、なぜUI要素が選択できないのか、そしてその解決方法について詳しく説明していきます。

なぜUI要素がクリックできないのか?

1. UI要素の特定が困難

PADはUI要素を特定して操作するために視覚的なアプローチを採用していますが、対象のUI要素が複雑な構造を持っていたり、他の要素と同様に見えてしまう場合、正確な特定が難しいことがあります。

2. ターゲット要素がアクセス不可能

UI要素がアクセス不可能な場合、PADはその要素にアクセスできません。これはセキュリティ上の理由やアプリケーションの構造によるものです。

3. 画面の解像度やサイズの変更

PADは画面上の位置情報を使用してUI要素を特定します。画面の解像度やサイズが変更されると、PADが事前に記録した位置情報が一致せず、UI要素のクリックが失敗する可能性があります。

4. リモート先のPCのUI要素を取得しようとしている

リモート先のUI要素を取得するにはリモート先のPCへ仮想デスクトップ用エージェントのインストールが必要になってきます。

詳しくはこちらの記事へ

Power Automate Desktop | リモートデスクトップへの接続、操作はエージェントにおまかせ!
power automateを使ってリモート先のPCを操作する方法 結論として、リモート先に仮想デスクトップ用エージェントをインストールすると自動で接続されUI操作が可能になります。 仮想デスクトップ用エージェントのインストール 接続したい...

解決方法

1. ウィンドウが開くまで待つ

UI要素がまだロードされていない可能性があるため、【ウィンドウ コンテンツを待機】アクションを追加してUI要素が正しく表示されるのを待つ。

詳しくはこちらの記事へ

Power Automate Desktop | ウィンドウが開くまでフローを待機させたいとき
ウィンドウが開くまでフローを一時的に待機させたい場合にwaitを使って秒数を指定しているかもしれませんが、それだと毎回ウィンドウが開くまでの時間が違いどんどんwaitの秒数が伸びていっていないですか? そんな時に役に立つのが【ウィンドウ コ...

2. ウィンドウのフォアグラウンド化

対象のアプリケーションやウィンドウをフォアグラウンドにし、操作可能な状態にしてからクリックを行います。

Excelの起動の際などはインスタンスを表示しないとUI要素をクリックできません。

3. 画面の解像度とサイズを固定する

PADが正確な位置情報を持つためには、画面の解像度とサイズを固定することが重要です。
キーの送信アクションで{Lwin}{Up}{F11}キーを送り画面を最大化や全画面表示してからクリックしてみる。

まとめ

UI要素がクリックできずに処理が止まってしまう原因はUI要素が現れる前にクリックのアクションが行われていたり、UI要素が毎回変わってしまう場合、画面のサイズなどが違い適切な位置にUI要素が来ないなど、様々な条件があります。

毎回同じ画面を開くために全画面で固定してみたり、ウィンドウが開くまで待機するアクションを追加してUI要素を見つけられるようにしておきましょう。

コメント