Morph.io

Az OpenAustralia Foundation nevű civil szervezet által 2014-ben indított (egy GitHub regisztrációval) ingyenesen igénybe vehető web scraping platform. Python, Ruby, PHP vagy Node.js/PhantomJS nyelven lehet scraper-eket írni, amelyek programkódjai automatikusan felkerülnek a GitHub-ra, így mások is használhatják vagy továbbfejleszthetik ezeket. Az aratások a Morph.io felhőjében futnak a megadott ütemezéssel (egy job max. 1 napig megy és 512 MB memóriát használhat). A begyűjtött adatok JSON, CSV fájlokként vagy egy SQLite adatbázis API-ján át tölthetők le és mások is hozzáférhetnek ezekhez a scraper gazdáján kívül. Az esetleges futási hibákról a rendszer e-mailt küld. 2021 őszéig már több mint 10 ezer scraper volt benne és 44 millió sornyi adat.

---

• A Morph.io honlapja
• A Morph.io a GitHub-on
• Matthew Landauer: Morph, a scraper platform for hackers and would be hackers