Metawarc

Örmény programozó által Pythonban írt open source program, mellyel a parancssori paramétereknek megfelelő fájlok technikai metaadatai gyűjthetők ki WARC konténerekből. A fájlok formátuma megadható MIME típusként, de fájlvégződésként is (pl.: .docx, .xlsx, .pptx., .pdf, .png, .jpg). A kigyűjtött adatok JSON vagy NDJSON (JSON lines) szöveges állományokba vagy közvetlenül SQLite adatbázisba menthetők. A metaadatokon kívül a nyers szövegek, vagy akár maguk az eredeti fájlok is kiszedhetők vele a WARC-okból.

---

• A metawarc a GitHub-on