WWW Crawler Lite

Innen: MIA

2010 és 2012 között készült, Perl-ben írt egyszerű, egyetlen szálon futó crawler, ami más programokba is beépíthető. Paraméterként megadható a kérések közötti időtartam, a user-agent string, valamint a követendő linkek mintázata reguláris kifejezéssel.

A lap eredeti címe: „https://webarchivum.oszk.hu/mediawiki/index.php?title=WWW_Crawler_Lite&oldid=1553”