Anemone

Innen: MIA

Amerikai programozó által 2010-2012 között fejlesztett, Ruby nyelven írt web spider keretrendszer. Linux alatt fut, KyotoCabinet, Tokyo Cabinet, MongoDB vagy Redis szükséges a működéséhez. Funkciók: több szálon futás, válaszidők naplózása, HTTPS támogatás, 301-es átirányítások követése, weboldalak mélységének meghatározása, URL címek kizárása reguláris kifejezésekkel, robots.txt figyelembe vétele.