Scrapy

Pythonban írt open source web crawling keretrendszer, első változata 2008-ban jelent meg. Eredetileg keresőrendszerekhez szánták, de alkalmas arra is, hogy weboldalakból strukturált adatokat gyűjtsön ki, de általános célú crawlerként is használható (pl. webarchiváláshoz), illetve webmesterek tesztelhetik is vele, hogy a webhelyüket hogyan tudják bejárni a robotok. Jelenleg a Scrapinghub gondozza a projektet.

---

• [Wikipedia: Scrapy https://en.wikipedia.org/wiki/Scrapy]
• [Scrapy honlapja https://scrapy.org]
• [A Scrapy a GiHub-on https://github.com/scrapy/scrapy]