Website-scraper

Innen: MIA
A lap korábbi változatát látod, amilyen Admin (vitalap | szerkesztései) 2021. július 18., 19:29-kor történt szerkesztése után volt. (Új oldal, tartalma: „Ukrán programozók által 2014 óta fejlesztett open source Javascript eszközkészlet webhelyek fájlrendszerbe való mentésére. A ''node-website-scraper'' nevű (a…”)
(eltér) ← Régebbi változat | Aktuális változat (eltér) | Újabb változat→ (eltér)

Ukrán programozók által 2014 óta fejlesztett open source Javascript eszközkészlet webhelyek fájlrendszerbe való mentésére. A node-website-scraper nevű (a Node.js könyvtárra épülő) komponens végzi a fájlok letöltését és a linkek követését, de mivel ez nem hajtja végre a Javascripteket, ezért csak a HTML és a CSS fájlokban levő linkek kielemzésére alkalmas. Paraméterezhető a linkek követésének mélysége, az egyidejű kérések száma, a nem követendő URL-ek mintázata, a letöltendő fájltípus(ok), az archív fájlok és alkönyvtárak neve, valamint külső plugin-ok bekapcsolásával további funkciók is elérhetők. (Pl. a PhantomJS-t használó website-scraper-phantom vagy a Puppeteer-t vezérlő website-scraper-puppeteer modul hozzáadásával dinamikus weboldalak is lementhetők vele.) Nyilvános demója is van, amivel egy általunk megadott URL címen levő weboldalt tudunk elmenteni és visszanézni, illetve ZIP csomagként letölteni.