Scrapinghub

Innen: MIA
A lap korábbi változatát látod, amilyen Admin (vitalap | szerkesztései) 2017. július 25., 15:48-kor történt szerkesztése után volt. (Új oldal, tartalma: „Webarchiválással és a webtér bejárásával történő adatgyűjtéssel foglalkozó nemzetközi cég, illetve az általa nyújtott "scraped data as service" szolgá…”)
(eltér) ← Régebbi változat | Aktuális változat (eltér) | Újabb változat→ (eltér)

Webarchiválással és a webtér bejárásával történő adatgyűjtéssel foglalkozó nemzetközi cég, illetve az általa nyújtott "scraped data as service" szolgáltatás. 2010 óta az ügyfeleik megrendelésére már több millió webhelyet arattak le és jelenleg 4 milliárd fölött weboldalt járnak végig a robotjaik minden hónapban. A Scrapy Cloud platformjukon felhőszolgáltatásként lehet webarchívumokat, webes adatgyűjteményeket építeni. A bejárandó site-ok és a crawlerek adminisztrálása az open source Portia nevű felületen történik, és a szintén ingyenes Scrapy framework-öt, a Frontera nevű crawl frontiert, ill. a scriptelhető Splash browsert is ők fejlesztik jelenleg.

A Scrapinghub honlapja A Scrapinghub által támogatott open source szoftverek A Scrapinghub a GitHub-on

A lap eredeti címe: „https://webarchivum.oszk.hu/mediawiki/index.php?title=Scrapinghub&oldid=586”