Raccolta di pagine web e dati,È possibile creare rapidamente un sito web。Oltre all'utilizzo del dispositivo di acquisizione,È inoltre possibile personalizzare lo scraping con Python,Tuttavia, è necessario saper programmare。
Il crawler dispone di un software autonomo、Varie opzioni, come plugin e raccolta tramite cloud。Il software indipendente richiede un computer dedicato per il funzionamento continuo,Come l'interfaccia di pubblicazione del CMS corrispondente。La versione plugin e il sito si trovano sullo stesso server,La raccolta dati rallenterà il sito web。Pubblicare servizi cloud sul proprio sito web di solito costa parecchio。Portafoglio vuoto,Qui menzioniamo solo quelli utilizzabili gratuitamente。
Le soluzioni di raccolta prevedono anche la compilazione di regole come le espressioni regolari,e il metodo di simulazione del browser WYSIWYG。
Software del crawler
- Raccoglitore Locomotiva:A tutti piace chiamarlo collettore locomotiva,Potrebbe essere lo strumento di raccolta dati più utilizzato al momento,Aggiornamenti pluriennali ormai completi,Disponibile una versione gratuita,Ha praticamente tutte le funzioni di base,È sufficiente。
- Circola online una versione craccata della versione aziendale di Locomotion 7.6、Versione crackata del raccoglitore locomotiva V9 (Gao Tie Xia) con dongle per rete interna,Se i fondi sono sufficienti,Sostieni le versioni originali。
- Tutorial video
- Browser Locomotiva:Come il produttore di cui sopra,Operazioni visuali,Esecuzione di un singolo task limitata a 30 minuti nella versione gratuita。
- Software di acquisizione ET:È anche un marchio storico,Lavoro completamente automatico e non presidiato。Disponibile una versione gratuita。
- Strumento di automazione VG:Nome originale: browser VG,VG strumento magico per operazioni web,Puntare sull'automazione delle operazioni web (accesso automatico、Raccolta automatica、Invio automatico、Registrazione automatica、 Pubblica automaticamente post、Rilevamento automatico dei captcha。)È disponibile una versione gratuita, Limite di 30 minuti per l'esecuzione di una singola attività。
- Raccoltitore Octopus:È necessario scaricare il software,Tuttavia, la raccolta della versione flagship può essere eseguita nel cloud,Basta vedere per poter raccogliere.,Ciò che è visibile nel browser può essere raccolto。Disponibile una versione gratuita,La versione gratuita consente solo la raccolta locale,Per l'acquisizione locale, sembra che l'esportazione richieda dei punti。
- Raccoglitore Hou Yi:Strumento di raccolta dati basato su browser WYSIWYG (What You See Is What You Get),Supporta contemporaneamente Windows、Acquisitore per tutti i sistemi operativi Mac e Linux。software gratuito per web scraping,Funzionalità di base necessarie per la raccolta dati,Nessuna restrizione,Nessun punto richiesto,Esporta gratuitamente i risultati della raccolta。Tuttavia, per impostare la raccolta automatica in background è necessaria la versione a pagamento。
- Tutorial video | Guida testuale
- Scarica l'ultima versione:http://www.houyicaiji.com/?type=download
Plugin di raccolta
I raccoglitori basati su plugin possono pubblicare dati direttamente senza dover rilasciare un'interfaccia,Tuttavia, può essere utilizzato solo con un unico CMS o blog。
Plugin di raccolta dati per WordPress
- WP-AutoBlog:Originale WP-AutoPost,Supporto per la traduzione in altre lingue,Account WeChat ufficiali da cui è possibile raccogliere dati、Contenuti di account self-media come Toutiao,Supporta il download di immagini remote su un server locale。Disponibile una versione gratuita,Tuttavia, ci sono limitazioni funzionali。
- Circola online una versione craccata di WP-AutoPost
- Raccolta Pangshu:Open source gratuito,Usa Html,Sintassi di Jquery,Pubblicazione automatica di articoli tramite raccolta,
- Cerca nei plugin di WordPress Raccolta Pangshu Basta installare
- Github Indirizzo open source
- Modalità d'uso
- Ragno dalle zampe lunghe(WP-CTSPIDER):Uso gratuito,Per utilizzare la versione completa è necessarioSito ufficialeAttivazione gratuita dell'autorizzazione。Sembra che non venga aggiornato da molto tempo。Supporta la parafrasi,Ma è necessario compilare i dati autonomamente。Supporta la traduzione di Baidu。
Plugin di raccolta per DEDECMS
- Eroe della raccolta di sogni:Supporto per la raccolta RSS,Esegui una raccolta generalizzata in base alle parole chiave impostate dall'utente。Nessuna versione gratuita
Raccolta cloud
- Raccoglitore Lantian:Sistema ufficiale di raccolta, pubblicazione e automazione dei dati basato su cloud,Si può integrare con qualsiasi CMS o blog,Ma è necessario il relativo plugin di pubblicazione。Dicono che sia nel cloud, ma che debba trovarsi sullo stesso server del sito di pubblicazione,Impossibile pubblicare da remoto,Forse sarebbe più adatto alla categoria plugin。
- L'offerta ufficiale include la maggior parte dei CMS più diffusi、BLOGPlugin di pubblicazione