Minet
A francia Sciences Po Médialab munkacsoportjának 2019 óta fejlesztett parancssoros scraping és adatbányászati eszköze és Python könyvtára adatok és fájlok kinyerésére hagyományos weboldalakból, valamint közösségi média portálok (pl. Facebook, YouTube, TikTok, Twitter, Telegram, Wikipedia, ) és aggregátorok (CrowdTangle, Media Cloud, BuzzSumo) API-ján keresztül. Nem igényel komolyabb erőforrásokat, több szálon fut és megbízhatóan működik akár hónapokig. A webtartalom begyűjtése mellett vannak opciói metaadatok, strukturált adatok, szövegek és a linkek kinyerésére a HTML fájlokból, az átirányítások feloldására, a webszerverek által adott státuszkódok lekérdezésére, CSV fájlok egyesítésére az URL címet tartalmazó oszlop alapján, stb.
