Scrapy

Pythonban írt open source web crawling keretrendszer, első változata 2008-ban jelent meg. Eredetileg keresőrendszerekhez szánták, de alkalmas arra is, hogy weboldalakból strukturált adatokat gyűjtsön ki, de általános célú crawlerként is használható (pl. webarchiváláshoz), illetve webmesterek tesztelhetik is vele, hogy a webhelyüket hogyan tudják bejárni a robotok. Jelenleg a Scrapinghub gondozza a projektet.

---

• [Wikipedia: Scrapy](https://en.wikipedia.org/wiki/Scrapy)
• [Scrapy honlapja](https://scrapy.org)
• [A Scrapy a GiHub-on](https://github.com/scrapy/scrapy)