ヘッドレスブラウザとスクレイピング - ソリューション [終了] 質問する

ブラウザ自動テスト スイートとスクレイピングが可能なヘッドレス ブラウザ プラットフォームの可能なソリューションのリストを作成しようとしています。

ブラウザテスト/スクレイピング:

• セレン-ブラウザ自動化における多言語のフラッグシップ、Python、Ruby、JavaScript、C#、Haskell などのバインディング、テストの展開を高速化する Firefox 用 IDE (拡張機能として)。サーバーとして機能し、多数の機能を備えています。

ジャバスクリプト

• ファントムJS- JavaScript、スクリーンキャプチャと自動化によるヘッドレステストはWebkitを使用します。バージョン1.8ではSeleniumのWebDriver APIが実装されているため、任意のWebDriverバインディングを使用でき、テストはSeleniumと互換性があります。
• スリマーJS- PhantomJS に似ていますが、WebKitの代わりにGecko (Firefox) を使用します
• キャスパーJS- PhantomJSとSlimerJSの両方で構築されたJavaScriptには追加機能があります
• ゴーストドライバー- PhantomJS用のWebDriver Wire ProtocolのJavaScript実装。
• 新しい ファントムCSS- CSS回帰テスト。PhantomJSとCSS回帰テストを自動化するCasperJSモジュール。類似する。
• 新しい ウェブドライバーCSS- プラグインウェブドライバー視覚的な回帰テストを自動化する
• 新しい ファントムフロー- テストを通じてユーザー フローを記述および視覚化します。Web ユーザー インターフェイス テストに対する実験的なアプローチ。
• 新しい トリフルJS- PhantomJS API を移植して Internet Explorer エンジンを使用します。
• 新しい CasperJS IDE （コマーシャル）

ノード

• ノードファントム- PhantomJSとnode.jsの間のギャップを埋めます
• WebDriverJs- Selenium チームによる node.js 用の Selenium WebDriver バインディング
• WD.js- WebDriver/Selenium 2 用のノード モジュール
• 降伏する- 最新のHarmonyジェネレータを使用したWD.jsラッパー！ yieldでコールバックピラミッドを排除
• ゾンビJs- node.jsを使用した、驚くほど高速なヘッドレス フルスタック テスト
• ナイトウォッチJs- Selenium Webdriver を使用した Node JS ベースのテスト ソリューション
• キメラ- Chimera: phantomJS ができることすべてを、完全な JS 環境で実行できます。
• ダレク- Selenium Webdriver による JavaScript を使用した自動クロスブラウザ テスト
• ウェブドライバー- 50以上のアクションがあらかじめ定義されたWebDriverバインディングの実装の改善
• 悪夢- 高レベル API を備えた電子ブリッジ。
• jsdom- Web スクレイピング向けにカスタマイズされています。Node.js で実装された非常に軽量な DOM で、JavaScript を使用したページをサポートします。
• 新しい 操り人形師- Chrome または Chromium を制御するための高レベル API を提供する Node ライブラリ。Puppeteer はデフォルトでヘッドレスで実行されます。

ウェブスクレイピング/マイニング

• スクレイピー- Python、主にスクレイパー/マイナー - 高速で、ドキュメントが充実しており、Django ダイナミックスクレーパー優れた採掘展開のため、またはスクレイピークラウドPaaS（サーバーレス）展開用、ターミナルまたはサーバースタンドアロンプ​​ロセスで動作、Twisted上に構築されたCeleryで使用可能
• スネール- node.jsモジュール、まだテストされていません。
• ノードクローラー- node.jsモジュール、まだテストされていません。

オンラインツール

• 新しい ウェブスクレイピング言語- ウェブをクロールするためのシンプルな構文

• 新しい オンライン HTTP クライアント- 専用のSO回答

• 死んだ キャスパーボックス- CasperJSスクリプトをオンラインで実行する

自動化のための Android ツール

• 新しい Mechanica ブラウザアプリ

関連リンクとリソース

• ウェブスクレイピングソフトウェアの比較
• 新しい 類似する: 画像分析と比較

質問:

• 実際に動作し、ドキュメント化された純粋な Node.js ソリューションまたは Nodejs から PhanthomJS/CasperJS モジュールはありますか?

答え:キメラはその方向に向かっているようです。キメラ

• Selenium よりも簡単に JavaScript インジェクションを実行できるソリューションは他にありますか?

• 純粋なRubyソリューションをご存知ですか?

回答: rjk が作成した Ruby ベースのソリューションのリストを確認してください。

• 関連する技術やソリューションをご存知ですか?

この質問を自由に編集し、必要に応じてコンテンツを追加してください。ご協力ありがとうございます。