Windowsアプリのテスト自動化ツール「Terminator(mediar-ai)」とは?
Rust言語で開発したWindowsアプリ(WinRemap)のGUIテストを自動化したくて調査したときの覚書。 Geminiでディープリサーチしてから、Claudeアプリで記事にしている。 環境: Windows 11 Pro 25H2 Webのテスト自動化にはPlaywrightという定番があるが、Windowsデスクトップアプリには決定打が乏しい。 WinAppDriverは開発が停滞し、UI Automation(UIA)を生で叩くとCOMの作法に付き合うことになる。 Terminator(mediar-ai)とは? Windowsデスクトップを対象としたオープンソースのGUI自動化基盤。 「Playwright for windows computer use」を掲げている。 参考: mediar-ai/terminator - GitHub 構成は主に2つ。 terminator-rs — Rust製のコアライブラリ。Python(terminator.py)とTypeScript(@mediar-ai/terminator)のバインディングもある terminator-mcp-agent — MCPサーバー。Claude CodeやCursorから直接デスクトップを操作できる 対応プラットフォームは事実上 Windows専用 。 開発元はアメリカ・サンフランシスコのMediar.ai(Mediar Inc.)。 従来のComputer Useとの違い AnthropicやOpenAIのComputer Useは、スクリーンショットをVLM(視覚言語モデル)に解釈させて座標をクリックするビジョン依存型。 1ステップごとにVLM推論(Vision-Language Model:視覚言語モデル)が入るので遅い 画像トークンを大量に消費するのでランニングコストが嵩む 解像度やフォント描画の揺らぎで誤操作する(非決定論的) TerminatorはOSのアクセシビリティツリー(Windows UI Automation)を直接読む。 スクリーンリーダーが使っているのと同じUIの「意味」が入ったツリー。 座標ではなく role:Button, name:Save, window:WinRemap のような属性で要素を特定する ウィンドウのサイズやDPIが変...