WebMagic

Innen: MIA

Kínai programozó 2013 és 2017 között fejlesztett, a Scrapy-hoz hasonló architektúrájú, Java nyelvű, egyszerű, de skálázható keretrendszere speciális crawler-ek írásához. A core komponens egy webrobot minden szükséges modulját tartalmazza, az extension rész pedig néhány hasznos funkciót a crawler fejlesztéshez és testreszabáshoz. WebMagic-Avalon néven egy komplett "termék" is készült vele.