„Readable-Web Proxy” változatai közötti eltérés
(Új oldal, tartalma: „Python-ban írt és PostgreSQL adatbázist használó open source szoftvercsomag, amely eredetileg abból a célból készült, hogy egy webszerverről lekért oldalaka…”) |
(Nincs különbség)
|
A lap jelenlegi, 2019. július 25., 17:15-kori változata
Python-ban írt és PostgreSQL adatbázist használó open source szoftvercsomag, amely eredetileg abból a célból készült, hogy egy webszerverről lekért oldalakat (azok fő tartalmát) könnyebben olvasható formára alakítsa előre definiált szabályok szerint. A külalak mellett a belső linkeket is lokalizálja, vagyis ezek a linkek a proxy szerveren tárolt átalakított fájlokra mutatnak az eredeti webszerver helyett. A kezdeti célt a fejlesztő időközben kibővítette, így már egy teljes értékű crawlert is tartalmaz a csomag, amellyel ütemezett aratások indíthatók és a weboldalak különböző időpontbeli mentései adatbázisban tárolhatók.
