Website-scraper

Innen: MIA

Ukrán programozók által 2014 óta fejlesztett open source Javascript eszközkészlet webhelyek fájlrendszerbe való mentésére. A node-website-scraper nevű (a Node.js könyvtárra épülő) komponens végzi a fájlok letöltését és a linkek követését, de mivel ez nem hajtja végre a Javascripteket, ezért csak a HTML és a CSS fájlokban levő linkek kielemzésére alkalmas. Paraméterezhető a linkek követésének mélysége, az egyidejű kérések száma, a nem követendő URL-ek mintázata, a letöltendő fájltípus(ok), az archív fájlok és alkönyvtárak neve, valamint külső plugin-ok bekapcsolásával további funkciók is elérhetők. (Pl. a PhantomJS-t használó website-scraper-phantom vagy a Puppeteer-t vezérlő website-scraper-puppeteer modul hozzáadásával dinamikus weboldalak is lementhetők vele.) Nyilvános demója is van, amivel egy általunk megadott URL címen levő weboldalt tudunk elmenteni és visszanézni, illetve ZIP csomagként letölteni.