Scrapy

Pythonban írt open source web crawling keretrendszer, első változata 2008-ban jelent meg. Eredetileg keresőrendszerekhez szánták, de alkalmas arra is, hogy weboldalakból strukturált adatokat gyűjtsön ki, de általános célú crawlerként is használható (pl. webarchiváláshoz), illetve webmesterek tesztelhetik is vele, hogy a webhelyüket hogyan tudják bejárni a robotok. Jelenleg a Scrapinghub gondozza a projektet.

---

• Wikipédia: Scrapy
• A Scrapy honlapja
• A Scrapy a GiHub-on