„Scrapinghub” változatai közötti eltérés
(Új oldal, tartalma: „Webarchiválással és a webtér bejárásával történő adatgyűjtéssel foglalkozó nemzetközi cég, illetve az általa nyújtott "scraped data as service" szolgá…”) |
(Nincs különbség)
|
A lap 2017. július 25., 16:48-kori változata
Webarchiválással és a webtér bejárásával történő adatgyűjtéssel foglalkozó nemzetközi cég, illetve az általa nyújtott "scraped data as service" szolgáltatás. 2010 óta az ügyfeleik megrendelésére már több millió webhelyet arattak le és jelenleg 4 milliárd fölött weboldalt járnak végig a robotjaik minden hónapban. A Scrapy Cloud platformjukon felhőszolgáltatásként lehet webarchívumokat, webes adatgyűjteményeket építeni. A bejárandó site-ok és a crawlerek adminisztrálása az open source Portia nevű felületen történik, és a szintén ingyenes Scrapy framework-öt, a Frontera nevű crawl frontiert, ill. a scriptelhető Splash browsert is ők fejlesztik jelenleg.
A Scrapinghub honlapja A Scrapinghub által támogatott open source szoftverek A Scrapinghub a GitHub-on
