免責事項：私はVNCクライアントとサーバーについてよくわからないので、正しい用語を使用していることを願っています。 :)
私VNC「サーバー」私のiPhoneをクライアントとして受け入れるRaspberry Piで動作しています。画面に特定のメッセージ（バッテリー不足警告など）が表示されたら、特定のスクリプトを実行したいと思います。
私の現在のアプローチは理想的ではありません。
- 私はビデオソースの毎秒スクリーンショットを撮って切り取ります。
- 次に、OCRコマンドラインスクリプトを実行して、低電力メッセージが実際に存在することを確認します。これには2〜3秒かかります。
- 認識されるまでには、画面が表示されてから5秒が経過しましたが、これは理想的ではなく、その数を下げようとしています。
VNCサーバーが稼働しているため、VNCサーバーのフレームが入ってくるときにアクセスし、Pythonまたはシェルスクリプトを使用して処理する方法はありますか？そうでない場合は、一部のVNC録音またはVNCクライアントを使用できますか？
このセクションでは、私の問題の包括的な説明を提供します。
iOS 11脱獄クライアント以降、iOSデバイス用のすべてのvncクライアントは使用されなくなりました。ソリューションは3つの部分で構成されています。
- 画面キャプチャ - 私のPIで画面を再生することは良い解決策であると確信していますが、他の人にも開いています。
- クリックする場所を決定するスクリプトを作成します。私の場合は、画面を見てクリックする場所を特定してゲーム内のクリックを自動化したいと思います（わかりました、わかります）。
- クリックイベントの登録 - Teensy（arduino）という偽のマウスを使用して、画面上の目的の場所をクリックします。
私の主な問題は（2）段階です。画面を処理してクリック位置を出力するための迅速で信頼性の高い方法が必要です。現在Raspberry Pi VNCクライアントのスクリーンショットを撮っていますが、遅くて理想的ではありません。だから私の最初の質問はプログラムでVNCサーバーバッファフレームをキャプチャする方法