„Minet” változatai közötti eltérés
(Új oldal, tartalma: „A francia médialab Sciences Po munkacsoportjának 2019 óta fejlesztett parancssoros scraping és adatbányászati eszköze és Python könyvtára adatok és fájlok k…”) |
|||
| 5. sor: | 5. sor: | ||
* [https://github.com/medialab/minet A Minet a GitHub-on] |
* [https://github.com/medialab/minet A Minet a GitHub-on] |
||
* [https://zenodo.org/records/13254251 A Minet a Zenodo-n] |
* [https://zenodo.org/records/13254251 A Minet a Zenodo-n] |
||
| + | * [https://www.youtube.com/watch?v=BTvfWbAjh1w Guillaume Plique: Empowering social scientists with web mining tools] |
||
[[Category:SZOFTVEREK]] |
[[Category:SZOFTVEREK]] |
||
A lap 2024. szeptember 1., 17:54-kori változata
A francia médialab Sciences Po munkacsoportjának 2019 óta fejlesztett parancssoros scraping és adatbányászati eszköze és Python könyvtára adatok és fájlok kinyerésére hagyományos weboldalakból, valamint közösségi média portálok (pl. Facebook, YouTube, TikTok, Twitter) és aggregátorok (CrowdTangle, Media Cloud) API-ján keresztül. Nem igényel komolyabb erőforrásokat, több szálon fut és megbízhatóan működik akár hónapokig. A webtartalom begyűjtése mellett vannak opciói metaadatok, strukturált adatok, szövegek és a linkek kinyerésére a HTML fájlokból, az átirányítások feloldására, a webszerverek által adott státuszkódok lekérdezésére, CSV fájlok egyesítésére az URL címet tartalmazó oszlop alapján, stb.
