こんにちは、コンサルティングサービス本部の小倉です。
以前ご紹介した SikuliX について、今回は、Tips と活用例をご紹介したいと思います。
※ 記事は Windows環境を前提としています。
Tips
画像認識について
SikuliX の特徴として、以下のように専用のIDE上で画像を組み込むことができます。
この画像認識、そこそこの頻度で失敗することがあります。
小手先ではありますが、以下、①、②で対策しています。
※ちなみに、SikuliXのログには検索に失敗した画像のファイル名が出力されます。
バッチ処理に組み込む際は、コマンドライン実行の記述でログを出力するようにしておくと便利です。
①画像認識の選択範囲を狭くする
画像認識させたいアイコンがある場合は、なるべく背景領域の選択を減らした方が、画像認識の精度は上がります。
上記の場合、上段の場合は同じようなグレーの箇所をご認識してしまう場合があるので、下段のように範囲を狭めて選択します。
②画像認識箇所を最低限に絞る
画像認識は最低限に絞って、可能な限りキー操作等を使用します。
メニュー一覧等で、テキストのリンクを探したい場合は、ブラウザの検索機能を利用します。
例えば、HonyaClub.comで「新聞で紹介された本」を開きたい場合は、こんな感じになります。
ダウンロード待ち対策
弊社では、ブラウザからデータダウンロードをする際に SikuliX を使って自動化を行っています。
その際、膨大なデータを落としてくると、ダウンロードを待っている間に端末のスクリーンセーバーが表示されたり、スリープになったりで、SikuliX の処理が動かなくなってしまいます。
この防止策として以下で対応しています。
「保存」ボタンが表示されるまでマウスポインタを10秒毎に動かします
(通称プルプル処理)
活用例
弊社内では、業績のダッシュボード作成に SikuliX を活用しています。
CSVエクスポートAPI等をもたない社内システムからもブラウザ経由でデータを自動収集することができます。
その他、お客様への導入事例として、DWHからダウンロードしたデータのレポーティングでも活用しています。