ウェブページ収集ツールまとめ

ウェブページとデータをクロールする,素早くウェブサイトを構築できます。収集ツールを使って収集する以外に,Pythonクローラーによるカスタマイズも可能です,しかし、プログラミングの知識が必要です。

クロールツールには独立したソフトウェアがあります、プラグインとクラウド収集など多様な方法。独立ソフトウェアは個別のPCで常時起動させる必要があります,対応CMSの公開APIと。プラグイン版とサイトは同じサーバー上にあります,クロールはウェブサイトの負担になります。クラウド環境で自分のサイトに公開するには、かなりの費用がかかることが多い。懐事情が芳しくない,ここでは無料で利用できるものだけを挙げます。

クロールソリューションには正規表現などのルール入力も含まれます,WYSIWYG方式のシミュレーションブラウザと。

クロールツールソフトウェア

  • 火車収集器:みんな「機関車」クローラーと呼びたがります,現在最も多く利用されている収集ツールかもしれません,長年のアップグレードにより、すでに非常に完成されています,無料版があります,基本機能はすべて揃っています,これで十分です。
    • ネット上には火車頭7.6企業版のクラック版が流布している、火車頭収集器V9(高速鉄道マン)イントラネット暗号化ドングル版クラック版,資金に余裕がある場合,正規品をご支持ください。
    • 動画チュートリアル
  • 火車ブラウザ:上記のメーカーと同じ,可視化操作,無料版では単一タスクの実行時間が30分に制限されます。
  • ET収集ソフトウェア:老舗でもあります,完全自動無人監視作業。無料版があります。
  • VG自動化ツール:元々の名称はVGブラウザ,VGウェブ操作ツール,ウェブ操作の自動化(自動ログイン)をメイン機能、自動収集、自動送信、自動登録、 投稿を自動作成、CAPTCHAを自動認識。無料版もあります, 単一タスクの実行を30分に制限。
  • タコ型クローラー:ソフトウェアをダウンロードする必要があります,ただし、フラッグシップ版の収集作業はクラウド上で行うことができます,目に見えるだけで採取可能,ブラウザで表示できるものはすべて収集可能。無料版があります,無料版ではローカルでのみ収集可能,ローカルで収集した場合、エクスポートにはポイントが必要なようです。
  • 后羿収集器:見たままが得られるブラウザ型の収集ツール,Windowsにも対応、MacおよびLinux全OS対応の収集ツール。無料のクローラーソフトウェア,データ収集に必要な基本機能,何の制限もない,ポイントも不要です,収集結果の無料エクスポート。ただし、自動で定期的に収集したい場合は有料版が必要です。

クロールプラグイン

プラグイン型の収集ツールは、インターフェースを公開することなく直接データを公開できます,しかし、1種類のCMSまたはBLOGでのみ使用可能。

WordPress収集プラグイン

  • WP-オートブログ:オリジナルWP-AutoPost,他の言語への翻訳をサポート,WeChat公式アカウントを収集可能、Toutiaoなどのセルフメディアコンテンツ,リモート画像をローカルサーバーにダウンロードできます。無料版があります,しかし、機能に制限があります。
    • ネット上にはWP-AutoPostのクラック版が流布している
  • パンシュー収集:無料オープンソース,Html を使用,Jqueryの構文,自動収集による記事の公開,
  • 長脚のクモ(WP-CTSPIDER):無料で利用可能,全機能を利用するにはが必要です公式サイトライセンスの無料有効化。かなり前から更新されていないようです。疑似オリジナルコンテンツの生成に対応,ご自身で入力する必要があります。百度翻訳に対応。

DEDECMS収集プラグイン

クラウド収集

  • ブルースカイキャプチャ:公式のクラウド型自動化データ収集・公開システム,すべてのCMSやブログと連携可能,しかし、対応する公開プラグインが必要です。クラウドだと言われていますが、公開サイトと同じサーバーにある必要があります,リモートで公開できません,プラグインカテゴリに分類した方が適切かもしれないと感じる。
5 1 投票
記事の評価
サブスクリプション
リマインダー
ゲスト

0 コメント