metawarc
A lap korábbi változatát látod, amilyen Admin (vitalap | szerkesztései) 2024. május 27., 15:56-kor történt szerkesztése után volt.
Örmény programozó által Pythonban írt open source program, mellyel a parancssori paramétereknek megfelelő fájlok technikai metaadatai gyűjthetők ki WARC konténerekből. A fájlok formátuma megadható MIME típusként, de fájlvégződésként is (pl.: .docx, .xlsx, .pptx., .pdf, .png, .jpg). A kigyűjtött adatok JSON vagy NDJSON (Newline Delimited JSON) szöveges állományokba vagy közvetlenül SQLite adatbázisba menthetők. A metaadatokon kívül a nyers szövegek, vagy akár maguk az eredeti fájlok is kiszedhetők vele a WARC-okból.
