„Scrapinghub” változatai közötti eltérés
(Új oldal, tartalma: „Webarchiválással és a webtér bejárásával történő adatgyűjtéssel foglalkozó nemzetközi cég, illetve az általa nyújtott "scraped data as service" szolgá…”) |
|||
| 3. sor: | 3. sor: | ||
---- |
---- |
||
| − | [https://scrapinghub.com A Scrapinghub honlapja] |
+ | * [https://scrapinghub.com A Scrapinghub honlapja] |
| − | [https://scrapinghub.com/opensource/ A Scrapinghub által támogatott open source szoftverek] |
+ | * [https://scrapinghub.com/opensource/ A Scrapinghub által támogatott open source szoftverek] |
| − | [https://github.com/scrapinghub A Scrapinghub a GitHub-on] |
+ | * [https://github.com/scrapinghub A Scrapinghub a GitHub-on] |
[[Category:SZOLGÁLTATÁSOK]] |
[[Category:SZOLGÁLTATÁSOK]] |
||
A lap 2017. július 26., 18:08-kori változata
Webarchiválással és a webtér bejárásával történő adatgyűjtéssel foglalkozó nemzetközi cég, illetve az általa nyújtott "scraped data as service" szolgáltatás. 2010 óta az ügyfeleik megrendelésére már több millió webhelyet arattak le és jelenleg 4 milliárd fölött weboldalt járnak végig a robotjaik minden hónapban. A Scrapy Cloud platformjukon felhőszolgáltatásként lehet webarchívumokat, webes adatgyűjteményeket építeni. A bejárandó site-ok és a crawlerek adminisztrálása az open source Portia nevű felületen történik, és a szintén ingyenes Scrapy framework-öt, a Frontera nevű crawl frontiert, ill. a scriptelhető Splash browsert is ők fejlesztik jelenleg.
