MIA_SET-00010 Kormányzat, önkormányzatok, politikai és civil szervezetek Kormányzati szervek, hazai és határon túli önkormányzatok, tájegységek-régiók, kisebbségek, politikai és civil szervezetek KORMONKOR 2018-11-28 2021-01-25 Visky Ákos László Országos Széchényi Könyvtár E-könyvtári Szolgáltatások Osztálya Drótos László OSZK Webarchívum Előrször szinte csak önkormányzati honlapok lettek összeállítva egy Wikipédiától kapott lista alapján. A második aratás (2018-11-26) előtt lettek felvéve kormányzati honlapok, illetve jelentősen ki lett bővítve (több mint 550 új cím) a lista egyéb, nagyrészt önkormányzati webhelyekkel (DKERS-lista és a kormany.lap.hu linkgyűjtemény alapján). A harmadik aratás (2019-09-25) előtt ellenőrizve lett valamennyi URL cím, és össze lett hasonlítva a Nemzeti Földrajzi Névtérből kapott listával, valamint ki lett egészítve kb. 380 új kormányzati és a témához kapcsolódó egyéb oldal címével. 2020-ban elkezdtük összegyűjteni az Instagram és a Facebook oldalakat is, ezek külön gyűjteménybe kerültek. A 6. aratás (2020-07-28) előtt jelentősen bővült a seed-lista határon túli településekkel, civil szervezetekkel és rendvédelmi, illetve mentő szervekkel. A 8. aratás (2021-01-29) előtt ellenőrizve lett a címlista. Országos Széchényi Könyvtár jogvédett tematikus Közéleti források Tudományos források Politika Közigazgatás Önkormányzat Társadalomtudomány Történelem, helytörténet kormányzat kormányhivatal közigazgatás közigazgatási szerv önkormányzat közpolitika település helytörténet Kormányzati és államigazgatási szervek, önkormányzatok és települések, illetve kistérségi társulások és kisebbségi önkormányzatok, valamint politikai és civil szervezetek webhelyeinek gyűjteménye. MIA_SET-00032 MIA_SET-00043 2018-02-21 negyedévente 2020-től az addigi rendszertelen aratásokról áttértünk a rendszeres, negyedéves aratásokra. Visky Ákos László visky.akos.laszlo@oszk.hu rendszeresen mentett szúrópróbaszerűen ellenőrizve 2018-02 Az első aratás (2018-02-21) után az önkormányzati honlapokból szúrópróbaszerű ellenőrzéssel lett kiválogatva pár a demó archívum számára, alaposabb ellenőrzés nem volt. A második aratás (2018-11-21) a leírás idejéig még nem volt ellezőrizve. nincs oldalkép vannak oldalképek 2018-11-27 Az első aratásnál (2018-02-21) még nem készültek oldalképek, csak a második aratásnál (2018-11-21), ezek ellezőrizve nem voltak. 2019-09-26 2019-12-04 2020-04-07 2020-08-01 2020-10-20 2021-02-02 zárt hálózatban szolgáltatható 2018-02-21 Heritrix 3.x Három szint mélység, videó fájlok kizárása. Az eddigi öt aratást az operátor leállíta le. A 6. (2020-07-28), a 7. (2020-10-16) és a 8. (2021-01-29) aratás az előre beállított idő letelte után magától leállt. nem igen http://webharvest.oszk.hu/aratasok/kormonkor/ 8 2018-02-21 2018-02-26 2374 9284 3211202 391959 2018-11-26 2018-11-28 3458 12787 7485445 1360327 2019-09-25 2019-09-27 4679 7174 5930246 1252378 2019-11-21 2019-11-23 4673 7118 6000237 258048 2020-04-04 2020-04-06 4405 6499 1680300 210944 2020-07-28 2020-07-31 6537 9393 4194707 364544 2020-10-16 2020-10-19 7230 10180 4238166 195584 2021-01-29 2021-02-01 7562 10391 3746421 187392 WARC webharvest.oszk.hu/ A 2019-09-25-i aratás eredetileg 23-án lett indítva, de szerver újraindítás miatt megszakadt. Az első napon lementett anyag mennyiségi adatai nem ismertek, illetve a robots.txt nélküli webhelyeket nem mentettük le külön, ezért tűnik kevesebbnek az előzőhöz képest a harmadik aratás. A 2020-04-04-i aratásnál a robots.txt meglétét a Heritrixhez írt Java modullal vizsgáltuk le aratás közben, így csak egy köre volt szükség. Mivel az EGYETEM aratás a Heritrix leállása, illetve az oldalképek tárhelyének elfogyása miatt időben elcsúszott, ezért erre az aratásra a szokásosnál kevesebb idő jutott. A 6. aratás (2020-07-28) eredetileg 2020-07-24-én indult, de kiderült, hogy a deduplikáció nem működik, mert a job directory nem lett áthozva a KIFÜ-s szerverről, ezért leállítottuk és letöröltük a letöltött anyagot, majd a job directory átmásolása után újraindítottuk. (A 2020-07-24-i aratás report fájljai megmaradtak.) Másodszor próbáltuk ki azt, hogy a Kaptafa felületen definiáltuk a job-ot, amit azután a rendszergazda még egyelőre kézzel indított el. A 7. aratás (2020-10-16) rendben lezajlott. A 8. aratás (2021-01-29) előtte a címlista aktualizálva lett a távmunkás által elvégzett ellenőrzés alapján, azonban mégis nagyon magas lett a "seeds uncrawled" arány, pedig ellenőrizve volt a címlista.