MIA - Szerkesztő közreműködései [hu]

ZIM

2021-02-19T08:53:57Z

Nemethmarton: Új oldal, tartalma: „= (Zeno IMproved) = A ZIM fájlformátum egy nyílt, szabványos fájlformátum, amely webes tartalmat tárol internet nélküli használathoz. Elsődlegesen a Wikipé…”

= (Zeno IMproved) =

A ZIM fájlformátum egy nyílt, szabványos fájlformátum, amely webes tartalmat tárol internet nélküli használathoz. Elsődlegesen a Wikipédia tartalmára és egyéb Wikimédia Alapítvány projektekre összpontosították a fejlesztését, mára már számos egyéb webes tartalomforrás is elérhető, illetve elkészíthető e formátumban. Lehetővé teszi a használt szócikkek tömörítését, indexet biztosít a szabadszavas kereséshez, valamint natív kategória- és képkezelést nyújt a MediaWiki programhoz hasonló módon. A teljes fájl egyszerűen indexelhető és olvasható egy program használatával, mint például a [[Kiwix]] – ellentétben például a natív Wikipédia XML adatbázis-mentéssel. A svájci Wikipedia munkatársai fejlesztették ki, jelenleg a [[Kiwix]] svájci non-profit cég gondozza, a Wikimedia Alapítvány támogatásával.

----

* [ https://openzim.org/ A ZIM webhelye.]
* [http://wiki.kiwix.org/wiki/Content_in_all_languages A ZIM leírása a Kiwix webhelyén.]

[[Category:FORMÁTUMOK]]

Kiwix

2021-02-19T08:47:35Z

Nemethmarton: Új oldal, tartalma: „A Kiwix egy olyan egyéni webarchiválásra szolgáló számítógépes program, melynek a segítségével a ZIM formátumú fájlokba összeállított webes tartal…”

A Kiwix egy olyan egyéni webarchiválásra szolgáló számítógépes program, melynek a segítségével a [[ZIM]] formátumú fájlokba összeállított webes tartalmakat (pl. wikipédia, Gutenberg projekt, TED talks gyűjteményei) offline (internet nélkül) is olvashatjuk. Linux, Windows, Mac OS, iOS és Android operációs rendszereken is képes futni, így feltelepíthető szinte bármilyen hordozható eszközre, mobiltelefonra is. A program mérete mintegy 21 MB + a szükséges [[ZIM]]-fájlok. Eredeti fejlesztője Emmanuel Engelhart. A svájci nonprofit alapú Kiwix cég gondozza napjainkban a fejlesztését.
----

* [https://www.kiwix.org/en/ A Kiwix webhelye.]
* [https://en.wikipedia.org/wiki/Kiwix A Kiwix angol nyelvű szócikke a Wikipedián.]
[[Category:SZOFTVEREK]]

Telehack

2021-02-19T08:41:30Z

Nemethmarton: Új oldal, tartalma: „ A Telehack egy szövegalapú webes szimulátor szoftver, mely betekintést ad abba a világba, ahogy az ARPANET kinézett az internetes korszak előtt 1985 és 1990 k…”

A Telehack egy szövegalapú webes szimulátor szoftver, mely betekintést ad abba a világba, ahogy az ARPANET kinézett az internetes korszak előtt 1985 és 1990 között.

----

* [https://www.techradar.com/news/networking/hack-virtual-1980s-networks-with-telehack-1035135 A Techradar portál cikke a Telehackről.]

[[Category:SZOFTVEREK]]

Olduse.net

2021-02-19T08:30:02Z

Nemethmarton: Új oldal, tartalma: „{{DISPLAYTITLE:olduse.net}} Az olduse.net egy olyan Usenet hírcsatornák szöveges tartalmait megjelenítő szimulátor szoftver, mely az 1980-as 90-es évek elejének…”

{{DISPLAYTITLE:olduse.net}}
Az olduse.net egy olyan Usenet hírcsatornák szöveges tartalmait megjelenítő szimulátor szoftver, mely az 1980-as 90-es évek elejének dizájnjával és funkcionalitásával szolgáltat anyagokat a 2011-2021. közötti időszakból.

----

* [http://olduse.net/ Az olduse.net honlapja]

[[Category:SZOFTVEREK]]

WACZ

2021-02-19T08:23:08Z

Nemethmarton: Új oldal, tartalma: „= (Web Archive Collection Zipped) = A WACZ formátum ötvözi a könyvtárstruktúrában történő mentést a ZIP tömörítéssel az archivált anyagok könnyebb meg…”

= (Web Archive Collection Zipped) =

A WACZ formátum ötvözi a könyvtárstruktúrában történő mentést a ZIP tömörítéssel az archivált anyagok könnyebb megosztása, szolgáltatása céljából. A tömörített tartalom mellé index állomány is készül, melyet az adott gyűjteményhez testreszabható metaadatokkal lehet kiegészíteni. Segítségével lehetővé válik egész gyűjtemények interoperábilis megosztása. Másik nagy előnye, hogy kismennyiségű adatot is ki lehet nyerni egy webarchívumból az egész gyűjtemény letöltése nélkül. Egy Python alapú segédprogram segítségével WARC fájlokból is lehet WACZ formátumú fájlokat készíteni.

----

* [https://github.com/webrecorder/wacz-format Github: Web Archive Collection Zipped]

[[Category:FORMÁTUMOK]]

Webarchive

2021-02-18T13:17:23Z

Nemethmarton:

MAC OS és Windows rendszereken használt bináris csomagformátum weblapok tárolására (beleértve az oldalhoz tartozó kép, média, CSS, Javascript és egyéb fájlokat, valamint azok neveit is). Elsősorban a Safari böngésző támogatja (bár iOS rendszereken az sem). Kicsomagolni olyan segédprogramokkal lehet, mint a WebArchive Extractor és a WebArchive Folderizer, de a Microsoft Word is beolvassa és utána el lehet vele menteni a Fájl/Mentés weblapként... menüponttal.

----

* [https://en.wikipedia.org/wiki/Webarchive Wikipedia: Webarchive]
* [http://whatis.techtarget.com/fileformat/WEBARCHIVE-Safari-Web-archive-file WEBARCHIVE File Format]
* [http://www.splook.com/Software/WebArchive_Folderizer.html WebArchive Folderizer]
* [http://webarchivext.sourceforge.net WebArchive Extractor]
* [https://itstillworks.com/open-webarchive-file-pc-32600.html Gissimee Doe: How to Open a Webarchive File on a PC]

[[Category:FORMÁTUMOK]]

Nettarkivet (norvég)

2020-12-22T08:25:48Z

Nemethmarton:

A [[Paradigma (norvég)|Paradigma]] projekt folytatásaként működő norvég webarchívum. A Paradigma projekt 2004 végén lezárult, de a webarchiválás folytatódott egészen 2008-ig, amikor az adatvédelmi biztos megkérdőjelezte a teljes körű aratás jogosságát (bár korábban kapott rá időszakos engedélyt a könyvtár). Ezért ezután csak válogatott site-okat mentettek a [[Heritrix]]-szel a [[WCT|Web Curator Tool]] keretrendszert használva (500-2500 közötti számban), előzetes engedélykérések után.

2016 januártól viszont változott a kötelespéldány szabályozás és ez már megengedi a teljes norvég webtér aratását a nemzeti könyvtárnak, valamint a kutatási és dokumentációs célú hozzáférést, sőt az állami webhelyek esetében engedélykérésre sincs szükség. Ezért a Nasjonalbiblioteket újratervezte a webarchiváló rendszerét és többek között egy Chrome-alapú [[crawler]]-t is kifejlesztett hozzá [[Veidemann]] néven. A .no domainről és a máshol levő norvég nyelvű weboldalakról 2018-ban tervezik újraindítani a teljes körű aratást. (A nyelvfelismeréshez is saját eszközt készítettek.) A szolgáltatás az [[Wayback|Open Wayback]]-kel történik majd részben nyilvánosan, részben házon belül ill. egyetemi/főiskolai könyvtárak termináljairól, de még a felhasználói felület nem készült el. Ha nincs felelős szerkesztő vagy tulajdonos, akitől engedélyt lehetne kérni, vagy ha érzékeny személyes adatok vannak a webhelyen, akkor az csak a nemzeti könyvtár dedikált termináljain férhető hozzá, a könyvtár engedélyével. Külön kategóriát jelentenek a szuper-érzékeny személyes adatokkal bíró honlapok, melyek a jövőre nézve információértékkel bírnak. Ezeket csak a titokgazdával és a nemzeti könyvtárral kötött megállapodás alapján lehet megnézni.

Egy 2018 októberi cikk szerint a norvég webarchívum már 24 milliárd weboldalt (fájlt?) tartalmazott.

----

* [https://www.nb.no/samlingen/nettarkivet/ A Nettarkivet weblapja a nemzeti könyvtár honlapján]
* [https://github.com/nlnwa A Norsk nettarkiv szoftverei a GitHub-on]
* [https://www.arkivrad.no/sites/arkivrad/files/user/Arkivraad/5_gretel_westman_presentasjon_norsk_arkivrad.pdf 2016-os prezentáció a norvég webarchívumról]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

WARCnet

2020-11-30T08:29:46Z

Nemethmarton: Új oldal, tartalma: „A WARCnet hálózat célja, hogy magas színvonalú nemzeti és nemzetközi projekteket támogasson, melyek az egyes nemzeti domainek történetére, illetve azok össz…”

A WARCnet hálózat célja, hogy magas színvonalú nemzeti és nemzetközi projekteket támogasson, melyek az egyes nemzeti domainek történetére, illetve azok összehasonlító elemzésére irányulnak, illetve olyan nemzetközi kutatások támogatására is teret nyújt amelyek nemzetközi tematikus archiválási tevékenységek eredményeinek vizsgálatára irányulnak, illetve a nemzetközi webdomainek történetét tárják fel. A végső cél, hogy a webarchívumoknak mint a kuatatások tárgyainak fontosságát bizonyítsák a nemzeti és egyetemes kulturális örökség megőrzésének és feltárásának vonatkozásában. A kutatási eredményeket önálló sorozat (WARCnet papers) illetve lektorált folyóiratokban közölt cikkek formájában osztják meg a tudományos közösséggel.

A projekt eredetileg 2021 végéig tartott volna, de a koronavírus járvány miatt a határidő 2022 végéig hosszabbodott meg. A pénzügyi hátteret dán kutatási források biztosítják, az adminisztráció is az Aarhusi Egyetemen zajlik.

----

* [ https://cc.au.dk/en/warcnet/ A WARCnet projekt honlapja]

[[Category:PROJEKTEK]]

Eesti Veebiarhiiv (észt)

2020-10-12T13:09:47Z

Nemethmarton:

Az észt nemzeti könyvtár (Eesti Rahvusraamatukogu) számára a 2006-os kötelespéldány törvény tette lehetővé az észt webhelyek mentését és nyilvános szolgáltatását, de 2017-től egy újabb törvénymódosítás utóbbit csak a közintézmények webhelyeire korlátozta (a teljes anyag helyben férhető hozzá néhány nagy könyvtárban). Szelektíven archiválnak 2008 óta, a [[Heritrix]] és [[Wayback]] párost használták eredetileg, napjainkban azonban a Wayback mellett elérhető a [[PyWb]] , az [[OutbackCDX]] és a [[Solr]] is. Különleges esetekben (pl. közösségi média aratás) a Squidwarc programot használják. A videókat [[youtube-dl]] segítségével mentik. Képek mentésére a Puppeteer és a Phantom.js programok vannak használatban. Keresni URL és tárgyszó alapján lehet, de van témakörök és részgyűjtemények szerinti böngészési lehetőség is. 2013 novemberében készült el a szolgáltatási felület, ekkor több mint ezer webhelyet tároltak 1,6 terabájt méretben (tömörítés nélkül). 2015-ben már 4,2 terabájt volt az archívum mérete (56 millió digitális objektum). 2015 decembere és 2016 áprilisa közt egy teljes domain aratást is csináltak, ez tömörítetlenül 4 terabájtot eredményezett (webhelyenként max. 300 megabájtot mentettek le, hogy kezelhető maradjon az anyag). Egy három fős csoport végzi az archiválást, teljes munkaidőben, de 10 egyéb intézményből 24 további munkatárs is besegít a válogatásba egy 2011-ben kidolgozott szempontrendszer alapján. 2012-ben az észtek is csatlakoztak az [[IIPC]]-hez.

----

* [http://veebiarhiiv.digar.ee Az Eesti Veebiarhiiv honlapja]
* [https://www.nlib.ee/index.php?id=21581 Az észt webarchívum ismertetője a könyvtár honlapján]
* [http://web.archive.org/web/20170318024237/http://www.netpreserve.org/sites/default/files/resources/Kouts.pdf Jaanus Kõuts: Estonian Web Archive: Preserving the Estonian Mind]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

PANDORA (ausztrál)

2020-10-12T11:30:36Z

Nemethmarton:

= (Preserving and Accessing Networked Documentary Resources of Australia) =

A National Library of Australia által 1996-ban indított, konzorciális munkamegosztással működő webarchiváló projekt. A saját fejlesztésű [[PANDAS]] keretrendszert használják az archívum menedzselésére (Java-programok, Oracle adatkezelő és [[HTTrack]] letöltő). Emellett Heritrixet, illetve Webrecorder keretrendszerben PyWb és Warcprox szoftvereket is használnak. A Pandas mellett a Heritrixszel begyűjtött gyűjtemény gondozása a Bamboo keretrendszerben zajlik. Nemcsak komplett webhelyeket, hanem egyedi online dokumentumokat/dokumentumcsoportokat is archiválnak. 2000-re 600, 2008-ra 17,900, 2014-re 37,000, 2016 októberéig pedig 48,233 címet mentettek le legalább egyszer (a tárhelyigény ekkor 25.66 TB volt). Szelektív archiválást folytatnak, elsődlegesen a kormányzati, tudományos és kulturális tartalmat gyűjtik. Az archívum nagy része nyilvános és visszakereshető a könyvtári katalógusokban, sőt a nemzeti bibliográfiába is bekerül. Minden lementett tartalom (egészen fájlszintig lemenően) stabil azonosítót kap.

Az [[Internet Archive]] segítségével 2005 óta a teljes .au domain-t is aratják évente, de ezt az anyagot nem szolgáltatják jogi okokból, kutatók kérhetnek csak hozzáférést. Ennek mérete 2008-ban: 3 millió site, 1 milliárd fájl, 34.55 terabájt.

2019-ben a webarchívumot elérhetővé és kereshetővé tették a nemzeti könyvtár digitális dokumentumgyűjteményét kezelő Trove rendszerben is. Az erről szóló márciusi hír szerint ekkor az archívum mérete mintegy 9 milliárd rekord (fájl?) volt, 600 terabájt összméretben.

----

* [https://en.wikipedia.org/wiki/Pandora_Archive Wikipedia: Pandora Archive]
* [http://pandora.nla.gov.au PANDORA honlap]
* [http://pandora.nla.gov.au/domain_harvests.html Australian Web Domain Harvests]
* [https://www.nla.gov.au/what-we-collect/archived-websites A Pandora és egyéb ausztrál webarchiváló projektek ismertetése]
* [http://pandora.nla.gov.au/tep/10691 Az NLA "Preserving Access to Digital Information" (PADI) nevű tematikus honlapjának mentései a PANDORA-ban]
* [https://trove.nla.gov.au/website?q= Trove - Australian web archive]
* [https://github.com/nla/bamboo Bamboo - heritrix alapú gyűjtemények keretrendszere]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

UKWA (brit)

2020-10-12T11:18:52Z

Nemethmarton:

= (UK Web Archive) =

A 2004-ben alakult [[UKWAC]] együttműködés keretében létrejött brit webarchívum. Szelektív archiválással kezdtek, egyedi engedélyeket kérve egészen 2013-ig, a kötelespéldány törvény kiterjesztésig. Kezdetben a [[PANDAS]] és a [[HTTrack]] szoftvereket használták, de 2008-tól már a [[WCT]]-[[Heritrix]] párossal dolgoztak, jelenleg a Heritrix mellé a MapReduce alapú, fejlesztés alatt álló saját rendszerük társul, az indexelést [[OutbackCDX]] segítségével látják el. A visszakereséshez [[OpenWayback]], [[PyWb]] és [[Solr]] szoftvereket használnak. 2008-ban 2,769 webhelyet (kevesebb, mint 2 terabájtot) mentettek le, tematikus és esemény-alapú válogatással. Az alacsony számok magyarázata részben a betanulási időszak és a PANDAS problémái, részben az alacsony válaszadási arány (2008-ban 6609 kiválasztott site-tól 7,476 engedélyt kértek, de csak 1,872 jött meg, 51 elutasítás mellett). 2013-ra már 13,500 webhely (61,900 [[instance]]) volt az archívumban. A 2017 áprilisi adatok: 15,112 website (79,276 [[instance]]), 28 terabájtnyi adat. Az anyagot előbb egy külső cég (Magus Research Ltd.) hostolta, majd a University of London Computing Centre, végül átkerült a British Library digitális objektumkezelő rendszerébe. A szolgáltatás nyilvános és a visszakereshetőség mellett különböző plusz funkciók, statisztikai elemző és vizualizációs megoldások is kapcsolódnak hozzá.

Az amerikai [[Internet Archive]] és a brit JISC (Joint Information Systems Committee) partneri kapcsolatának köszönhetően 1996-tól 2010-ig, majd 2011-től 2013-ig (egy 32 és egy 26 terabájtos csomagban [[WARC]] fájlokként) megkapták az IA-tól azt a részhalmazt, amely az Egyesült Királyság webhelyeinek anyaga (UK Web Domain Dataset). 2013-tól pedig saját maguk aratják az .uk domaint (Non-Print Legal Deposit UK Web Archive). Mindkét archívum jelenleg csak helyben használható a kötelespéldány törvény alá tartozó hat brit könyvtárban, de vizsgálják, hogy hogyan lehetne belőlük nyilvánossá tehető tartalmakat kinyerni.

A British Library három webarchívumában 2015-ben 8 millió mentés volt, több mint 160 terabájt méretben (tömörített tárolással). Egy 2017 júniusi előadás szerint a teljes méret már 400 terabájt.

----

* [http://webarchive.org.uk A UK Web Archive honlapja]
* [http://britishlibrary.typepad.co.uk/webarchive/ UK Web Archive blog]
* [https://www.bl.uk/collection-guides/uk-web-archive UK Web Archive: About the collection]
* [https://www.llgc.org.uk/blog?p=16867 Aled Betts: The UK Web Archive: A New Chapter]
* [http://data.webarchive.org.uk/opendata/ UK Web Archive Open Data]
* [https://en.wikipedia.org/wiki/UK_Web_Archiving_Consortium#UK_Web_Archive Wikipedia: UK Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

Netarchive.dk (dán)

2020-10-12T11:18:13Z

Nemethmarton:

= (Netarkivet.dk) =

A dán weben található dokumentumok könyvtári archiválása 1998-ban kezdődött, de akkor még csak egyedi mentésekkel. A Netarchive.dk projekt 2001-ben indult, ezzel csatlakozott Dánia a skandináv [[NWA (skandináv)|NWA]]-hoz. A pilot fázisban a The Royal Library, a State and University Library, Aarhus és a Centre for Internet Research működött együtt a Danish Electronic Research Library pénzügyi támogatásával. 2001 nyarán csinálták az első tömeges aratást a [[NEDLIB Harvester]]rel, ez 1,9 millió dokumentumot eredményezett, ami 43 gigabájtnyi (tömörítetlen) adatot jelentett. 2005-ben a kötelespéldány törvény felhatalmazta a nemzeti könyvtárat az internet dán részének megőrzésére (sőt a [[robots txt|robots.txt]] korlátozások megkerülésére is). 2007-re elkészültek a [[NetarchiveSuite]] keretrendszerrel és áttértek a [[Heritrix]] aratógépre. 2008-ban 450.000 eurós költségvetéssel két könyvtárból 15 ember dolgozott az archívumon, és eddigre már hat teljes aratásból 61 terabájt, 80 webhely szelektív mentéséből 9.5 terabájt, kilenc esemény (pl. választások) archiválásából pedig 5,6 terabájt gyűlt össze. A 750 ezer .dk végződésűn kívül felderítettek 42 ezer további dán webhelyet is (pl. a kifelé mutató linkek elemzésével, vagy dán szavakra és településnevekre való Google keresésekkel). Egy teljes aratás akkoriban kb. 80 napot igényelt (8 gépről) és 20 terabájtot eredményezett (ennek 30%-át meg lehetett spórolni a [[de-duplication|deduplikációval]]). 2015 novemberében a teljes Netarchive mérete 654 terabájt volt és a deduplikáció aratásonként már 50-70%-os megtakarítást eredményezett.

Jelenleg évi négyszer mentik a teljes dán webteret (100 Mbájtra és max. 25 szintnyi mélységre korlátozva az egy domainról begyűjtött tartalmat, néhány fontos webhely kivételével). 2016 nyarán így 242 millió objektumot, 11,2 terabájtot mentettek le (ugyanakkor a teljes .dk domain méretét 542 terabájtra becsülik - a multimédia tartalommal együtt). A főbb hírportálokat akár naponta hatszor is mentik. Ha valami rendkívüli esemény van, akkor előre konfigurált aratást tudnak indítani egyetlen kattintással, hogy ne maradjanak le a legelejéről sem. Fontos személyek Facebook, Twitter és Instagram oldalait is mentik (a Facebook-ot az [[Archive-It]] segítségével, a másik kettőt [[Heritrix]]-szel). A Heritrxnek egy módosított verzióját használják, apróbb módosításokkal az eredetihez képest, a lényeges új funció az [[Internet Archive]] dán vonatkozású anyagainak aratásának lehetővé tétele.

Már 20 ember (IT mérnök, informatikus és webkurátor) foglalkozik a webarchívummal, ez 4,5 főállású alkalmazott munkaidejének felel meg. Az archívum csak kutatóknak (PhD vagy doktori fokozattal) és az eredeti tartalomgazdáknak hozzáférhető, a benne levő személyes adatok védelme miatt. Böngészni (az [[OpenWayback]] megjelenítővel) és szövegesen keresni ([[Netsearch]]/Blacklight) egyaránt lehet benne.

----

* [http://netarkivet.dk/in-english/ A Netarchive.dk angol nyelvû weboldala]
* [http://www.netpreserve.org/member-organizations/netarchivedk-royal-danish-library A Netarchive.dk adatlapja az IICP honlapján]
* [http://archiv.bundeskanzleramt.at/DocView.axd?CobId=32141. Bjarne Andersen: Strategies for archiving the Danish web space]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

Netarchive.dk (dán)

2020-10-12T11:15:28Z

Nemethmarton:

= (Netarkivet.dk) =

A dán weben található dokumentumok könyvtári archiválása 1998-ban kezdődött, de akkor még csak egyedi mentésekkel. A Netarchive.dk projekt 2001-ben indult, ezzel csatlakozott Dánia a skandináv [[NWA (skandináv)|NWA]]-hoz. A pilot fázisban a The Royal Library, a State and University Library, Aarhus és a Centre for Internet Research működött együtt a Danish Electronic Research Library pénzügyi támogatásával. 2001 nyarán csinálták az első tömeges aratást a [[NEDLIB Harvester]]rel, ez 1,9 millió dokumentumot eredményezett, ami 43 gigabájtnyi (tömörítetlen) adatot jelentett. 2005-ben a kötelespéldány törvény felhatalmazta a nemzeti könyvtárat az internet dán részének megőrzésére (sőt a [[robots txt|robots.txt]] korlátozások megkerülésére is). 2007-re elkészültek a [[NetarchiveSuite]] keretrendszerrel és áttértek a [[Heritrix]] aratógépre. 2008-ban 450.000 eurós költségvetéssel két könyvtárból 15 ember dolgozott az archívumon, és eddigre már hat teljes aratásból 61 terabájt, 80 webhely szelektív mentéséből 9.5 terabájt, kilenc esemény (pl. választások) archiválásából pedig 5,6 terabájt gyűlt össze. A 750 ezer .dk végződésűn kívül felderítettek 42 ezer további dán webhelyet is (pl. a kifelé mutató linkek elemzésével, vagy dán szavakra és településnevekre való Google keresésekkel). Egy teljes aratás akkoriban kb. 80 napot igényelt (8 gépről) és 20 terabájtot eredményezett (ennek 30%-át meg lehetett spórolni a [[de-duplication|deduplikációval]]). 2015 novemberében a teljes Netarchive mérete 654 terabájt volt és a deduplikáció aratásonként már 50-70%-os megtakarítást eredményezett.

Jelenleg évi négyszer mentik a teljes dán webteret (100 Mbájtra és max. 25 szintnyi mélységre korlátozva az egy domainról begyűjtött tartalmat, néhány fontos webhely kivételével). 2016 nyarán így 242 millió objektumot, 11,2 terabájtot mentettek le (ugyanakkor a teljes .dk domain méretét 542 terabájtra becsülik - a multimédia tartalommal együtt). A főbb hírportálokat akár naponta hatszor is mentik. Ha valami rendkívüli esemény van, akkor előre konfigurált aratást tudnak indítani egyetlen kattintással, hogy ne maradjanak le a legelejéről sem. Fontos személyek Facebook, Twitter és Instagram oldalait is mentik (a Facebook-ot az [[Archive-It]] segítségével, a másik kettőt [[Heritrix]]-szel). A Heritrxnek egy módosított verzióját használják, apróbb módosításokkal az eredeihez képest ami például az [[Internet Archive]] dán vonatkozású anyagainak aratását is lehetővé teszi.

Már 20 ember (IT mérnök, informatikus és webkurátor) foglalkozik a webarchívummal, ez 4,5 főállású alkalmazott munkaidejének felel meg. Az archívum csak kutatóknak (PhD vagy doktori fokozattal) és az eredeti tartalomgazdáknak hozzáférhető, a benne levő személyes adatok védelme miatt. Böngészni (az [[OpenWayback]] megjelenítővel) és szövegesen keresni ([[Netsearch]]/Blacklight) egyaránt lehet benne.

----

* [http://netarkivet.dk/in-english/ A Netarchive.dk angol nyelvû weboldala]
* [http://www.netpreserve.org/member-organizations/netarchivedk-royal-danish-library A Netarchive.dk adatlapja az IICP honlapján]
* [http://archiv.bundeskanzleramt.at/DocView.axd?CobId=32141. Bjarne Andersen: Strategies for archiving the Danish web space]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

UKWA (brit)

2020-10-12T11:10:18Z

Nemethmarton:

= (UK Web Archive) =

A 2004-ben alakult [[UKWAC]] együttműködés keretében létrejött brit webarchívum. Szelektív archiválással kezdtek, egyedi engedélyeket kérve egészen 2013-ig, a kötelespéldány törvény kiterjesztésig. Kezdetben a [[PANDAS]] és a [[HTTrack]] szoftvereket használták, de 2008-tól már a [[WCT]]-[[Heritrix]] párossal dolgoztak, jelenleg a Heritrix mellé a [[warc-mapreduce]] alapú, fejlesztés alatt álló saját rendszerük társul, az indexelést [[OutbackCDX]] segítségével látják el. A visszakereséshez [[OpenWayback]], [[PyWb]] és [[Solr]] szoftvereket használnak. 2008-ban 2,769 webhelyet (kevesebb, mint 2 terabájtot) mentettek le, tematikus és esemény-alapú válogatással. Az alacsony számok magyarázata részben a betanulási időszak és a PANDAS problémái, részben az alacsony válaszadási arány (2008-ban 6609 kiválasztott site-tól 7,476 engedélyt kértek, de csak 1,872 jött meg, 51 elutasítás mellett). 2013-ra már 13,500 webhely (61,900 [[instance]]) volt az archívumban. A 2017 áprilisi adatok: 15,112 website (79,276 [[instance]]), 28 terabájtnyi adat. Az anyagot előbb egy külső cég (Magus Research Ltd.) hostolta, majd a University of London Computing Centre, végül átkerült a British Library digitális objektumkezelő rendszerébe. A szolgáltatás nyilvános és a visszakereshetőség mellett különböző plusz funkciók, statisztikai elemző és vizualizációs megoldások is kapcsolódnak hozzá.

Az amerikai [[Internet Archive]] és a brit JISC (Joint Information Systems Committee) partneri kapcsolatának köszönhetően 1996-tól 2010-ig, majd 2011-től 2013-ig (egy 32 és egy 26 terabájtos csomagban [[WARC]] fájlokként) megkapták az IA-tól azt a részhalmazt, amely az Egyesült Királyság webhelyeinek anyaga (UK Web Domain Dataset). 2013-tól pedig saját maguk aratják az .uk domaint (Non-Print Legal Deposit UK Web Archive). Mindkét archívum jelenleg csak helyben használható a kötelespéldány törvény alá tartozó hat brit könyvtárban, de vizsgálják, hogy hogyan lehetne belőlük nyilvánossá tehető tartalmakat kinyerni.

A British Library három webarchívumában 2015-ben 8 millió mentés volt, több mint 160 terabájt méretben (tömörített tárolással). Egy 2017 júniusi előadás szerint a teljes méret már 400 terabájt.

----

* [http://webarchive.org.uk A UK Web Archive honlapja]
* [http://britishlibrary.typepad.co.uk/webarchive/ UK Web Archive blog]
* [https://www.bl.uk/collection-guides/uk-web-archive UK Web Archive: About the collection]
* [https://www.llgc.org.uk/blog?p=16867 Aled Betts: The UK Web Archive: A New Chapter]
* [http://data.webarchive.org.uk/opendata/ UK Web Archive Open Data]
* [https://en.wikipedia.org/wiki/UK_Web_Archiving_Consortium#UK_Web_Archive Wikipedia: UK Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

UKWA (brit)

2020-10-12T11:06:39Z

Nemethmarton:

= (UK Web Archive) =

A 2004-ben alakult [[UKWAC]] együttműködés keretében létrejött brit webarchívum. Szelektív archiválással kezdtek, egyedi engedélyeket kérve egészen 2013-ig, a kötelespéldány törvény kiterjesztésig. Kezdetben a [[PANDAS]] és a [[HTTrack]] szoftvereket használták, de 2008-tól már a [[WCT]]-[[Heritrix]] párossal dolgoztak, jelenleg a Heritrix mellé a MAPReduce fejlesztés alatt álló saját rendszerük társul, az indexelést [[OutbackCDX]] segítségével látják el. A visszakereséshez [[OpenWayback]], [[PyWb]] és [[Solr]] szoftvereket használnak. 2008-ban 2,769 webhelyet (kevesebb, mint 2 terabájtot) mentettek le, tematikus és esemény-alapú válogatással. Az alacsony számok magyarázata részben a betanulási időszak és a PANDAS problémái, részben az alacsony válaszadási arány (2008-ban 6609 kiválasztott site-tól 7,476 engedélyt kértek, de csak 1,872 jött meg, 51 elutasítás mellett). 2013-ra már 13,500 webhely (61,900 [[instance]]) volt az archívumban. A 2017 áprilisi adatok: 15,112 website (79,276 [[instance]]), 28 terabájtnyi adat. Az anyagot előbb egy külső cég (Magus Research Ltd.) hostolta, majd a University of London Computing Centre, végül átkerült a British Library digitális objektumkezelő rendszerébe. A szolgáltatás nyilvános és a visszakereshetőség mellett különböző plusz funkciók, statisztikai elemző és vizualizációs megoldások is kapcsolódnak hozzá.

Az amerikai [[Internet Archive]] és a brit JISC (Joint Information Systems Committee) partneri kapcsolatának köszönhetően 1996-tól 2010-ig, majd 2011-től 2013-ig (egy 32 és egy 26 terabájtos csomagban [[WARC]] fájlokként) megkapták az IA-tól azt a részhalmazt, amely az Egyesült Királyság webhelyeinek anyaga (UK Web Domain Dataset). 2013-tól pedig saját maguk aratják az .uk domaint (Non-Print Legal Deposit UK Web Archive). Mindkét archívum jelenleg csak helyben használható a kötelespéldány törvény alá tartozó hat brit könyvtárban, de vizsgálják, hogy hogyan lehetne belőlük nyilvánossá tehető tartalmakat kinyerni.

A British Library három webarchívumában 2015-ben 8 millió mentés volt, több mint 160 terabájt méretben (tömörített tárolással). Egy 2017 júniusi előadás szerint a teljes méret már 400 terabájt.

----

* [http://webarchive.org.uk A UK Web Archive honlapja]
* [http://britishlibrary.typepad.co.uk/webarchive/ UK Web Archive blog]
* [https://www.bl.uk/collection-guides/uk-web-archive UK Web Archive: About the collection]
* [https://www.llgc.org.uk/blog?p=16867 Aled Betts: The UK Web Archive: A New Chapter]
* [http://data.webarchive.org.uk/opendata/ UK Web Archive Open Data]
* [https://en.wikipedia.org/wiki/UK_Web_Archiving_Consortium#UK_Web_Archive Wikipedia: UK Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

UKWA (brit)

2020-10-12T11:02:20Z

Nemethmarton:

= (UK Web Archive) =

A 2004-ben alakult [[UKWAC]] együttműködés keretében létrejött brit webarchívum. Szelektív archiválással kezdtek, egyedi engedélyeket kérve egészen 2013-ig, a kötelespéldány törvény kiterjesztésig. Kezdetben a [[PANDAS]] és a [[HTTrack]] szoftvereket használták, de 2008-tól már a [[WCT]]-[[Heritrix]] párossal dolgoztak, jelenleg a Heritrix mellé a MAPReduce fejlesztés alatt álló saját rendszerük társul, az indexelést [[OutbackCDX]] segítségével látják el. 2008-ban 2,769 webhelyet (kevesebb, mint 2 terabájtot) mentettek le, tematikus és esemény-alapú válogatással. Az alacsony számok magyarázata részben a betanulási időszak és a PANDAS problémái, részben az alacsony válaszadási arány (2008-ban 6609 kiválasztott site-tól 7,476 engedélyt kértek, de csak 1,872 jött meg, 51 elutasítás mellett). 2013-ra már 13,500 webhely (61,900 [[instance]]) volt az archívumban. A 2017 áprilisi adatok: 15,112 website (79,276 [[instance]]), 28 terabájtnyi adat. Az anyagot előbb egy külső cég (Magus Research Ltd.) hostolta, majd a University of London Computing Centre, végül átkerült a British Library digitális objektumkezelő rendszerébe. A szolgáltatás nyilvános és a visszakereshetőség mellett különböző plusz funkciók, statisztikai elemző és vizualizációs megoldások is kapcsolódnak hozzá. A visszakereséshez [[OpenWayback]], [[PyWb]] és [[Solr]] szoftvereket használnak.

Az amerikai [[Internet Archive]] és a brit JISC (Joint Information Systems Committee) partneri kapcsolatának köszönhetően 1996-tól 2010-ig, majd 2011-től 2013-ig (egy 32 és egy 26 terabájtos csomagban [[WARC]] fájlokként) megkapták az IA-tól azt a részhalmazt, amely az Egyesült Királyság webhelyeinek anyaga (UK Web Domain Dataset). 2013-tól pedig saját maguk aratják az .uk domaint (Non-Print Legal Deposit UK Web Archive). Mindkét archívum jelenleg csak helyben használható a kötelespéldány törvény alá tartozó hat brit könyvtárban, de vizsgálják, hogy hogyan lehetne belőlük nyilvánossá tehető tartalmakat kinyerni.

A British Library három webarchívumában 2015-ben 8 millió mentés volt, több mint 160 terabájt méretben (tömörített tárolással). Egy 2017 júniusi előadás szerint a teljes méret már 400 terabájt.

----

* [http://webarchive.org.uk A UK Web Archive honlapja]
* [http://britishlibrary.typepad.co.uk/webarchive/ UK Web Archive blog]
* [https://www.bl.uk/collection-guides/uk-web-archive UK Web Archive: About the collection]
* [https://www.llgc.org.uk/blog?p=16867 Aled Betts: The UK Web Archive: A New Chapter]
* [http://data.webarchive.org.uk/opendata/ UK Web Archive Open Data]
* [https://en.wikipedia.org/wiki/UK_Web_Archiving_Consortium#UK_Web_Archive Wikipedia: UK Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

UKWA (brit)

2020-10-12T11:01:07Z

Nemethmarton:

= (UK Web Archive) =

A 2004-ben alakult [[UKWAC]] együttműködés keretében létrejött brit webarchívum. Szelektív archiválással kezdtek, egyedi engedélyeket kérve egészen 2013-ig, a kötelespéldány törvény kiterjesztésig. Kezdetben a [[PANDAS]] és a [[HTTrack]] szoftvereket használták, de 2008-tól már a [[WCT]]-[[Heritrix]] párossal dolgoztak, jelenleg a Heritrix mellé a MAPReduce fejlesztés alatt álló saját rendszerük társul, az indexelést OutbackCDX segítségével látják el. 2008-ban 2,769 webhelyet (kevesebb, mint 2 terabájtot) mentettek le, tematikus és esemény-alapú válogatással. Az alacsony számok magyarázata részben a betanulási időszak és a PANDAS problémái, részben az alacsony válaszadási arány (2008-ban 6609 kiválasztott site-tól 7,476 engedélyt kértek, de csak 1,872 jött meg, 51 elutasítás mellett). 2013-ra már 13,500 webhely (61,900 [[instance]]) volt az archívumban. A 2017 áprilisi adatok: 15,112 website (79,276 [[instance]]), 28 terabájtnyi adat. Az anyagot előbb egy külső cég (Magus Research Ltd.) hostolta, majd a University of London Computing Centre, végül átkerült a British Library digitális objektumkezelő rendszerébe. A szolgáltatás nyilvános és a visszakereshetőség mellett különböző plusz funkciók, statisztikai elemző és vizualizációs megoldások is kapcsolódnak hozzá. A visszakereséshez [[OpenWayback]], [[PyWb]] és [[Solr]] szoftvereket használnak.

Az amerikai [[Internet Archive]] és a brit JISC (Joint Information Systems Committee) partneri kapcsolatának köszönhetően 1996-tól 2010-ig, majd 2011-től 2013-ig (egy 32 és egy 26 terabájtos csomagban [[WARC]] fájlokként) megkapták az IA-tól azt a részhalmazt, amely az Egyesült Királyság webhelyeinek anyaga (UK Web Domain Dataset). 2013-tól pedig saját maguk aratják az .uk domaint (Non-Print Legal Deposit UK Web Archive). Mindkét archívum jelenleg csak helyben használható a kötelespéldány törvény alá tartozó hat brit könyvtárban, de vizsgálják, hogy hogyan lehetne belőlük nyilvánossá tehető tartalmakat kinyerni.

A British Library három webarchívumában 2015-ben 8 millió mentés volt, több mint 160 terabájt méretben (tömörített tárolással). Egy 2017 júniusi előadás szerint a teljes méret már 400 terabájt.

----

* [http://webarchive.org.uk A UK Web Archive honlapja]
* [http://britishlibrary.typepad.co.uk/webarchive/ UK Web Archive blog]
* [https://www.bl.uk/collection-guides/uk-web-archive UK Web Archive: About the collection]
* [https://www.llgc.org.uk/blog?p=16867 Aled Betts: The UK Web Archive: A New Chapter]
* [http://data.webarchive.org.uk/opendata/ UK Web Archive Open Data]
* [https://en.wikipedia.org/wiki/UK_Web_Archiving_Consortium#UK_Web_Archive Wikipedia: UK Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

UKWA (brit)

2020-10-12T11:00:14Z

Nemethmarton:

= (UK Web Archive) =

A 2004-ben alakult [[UKWAC]] együttműködés keretében létrejött brit webarchívum. Szelektív archiválással kezdtek, egyedi engedélyeket kérve egészen 2013-ig, a kötelespéldány törvény kiterjesztésig. Kezdetben a [[PANDAS]] és a [[HTTrack]] szoftvereket használták, de 2008-tól már a [[WCT]]-[[Heritrix]] párossal dolgoztak, jelenleg a Heritrix mellé a MAPReduce fejlesztés alatt álló saját rendszerük társul, az indexelést OutbackCDX segítségével látják el. 2008-ban 2,769 webhelyet (kevesebb, mint 2 terabájtot) mentettek le, tematikus és esemény-alapú válogatással. Az alacsony számok magyarázata részben a betanulási időszak és a PANDAS problémái, részben az alacsony válaszadási arány (2008-ban 6609 kiválasztott site-tól 7,476 engedélyt kértek, de csak 1,872 jött meg, 51 elutasítás mellett). 2013-ra már 13,500 webhely (61,900 [[instance]]) volt az archívumban. A 2017 áprilisi adatok: 15,112 website (79,276 [[instance]]), 28 terabájtnyi adat. Az anyagot előbb egy külső cég (Magus Research Ltd.) hostolta, majd a University of London Computing Centre, végül átkerült a British Library digitális objektumkezelő rendszerébe. A szolgáltatás nyilvános és a visszakereshetőség mellett különböző plusz funkciók, statisztikai elemző és vizualizációs megoldások is kapcsolódnak hozzá. A visszakereséshez [[OpenWayback]], [[Pywb]] és [[Solr]] szoftvereket használnak.

Az amerikai [[Internet Archive]] és a brit JISC (Joint Information Systems Committee) partneri kapcsolatának köszönhetően 1996-tól 2010-ig, majd 2011-től 2013-ig (egy 32 és egy 26 terabájtos csomagban [[WARC]] fájlokként) megkapták az IA-tól azt a részhalmazt, amely az Egyesült Királyság webhelyeinek anyaga (UK Web Domain Dataset). 2013-tól pedig saját maguk aratják az .uk domaint (Non-Print Legal Deposit UK Web Archive). Mindkét archívum jelenleg csak helyben használható a kötelespéldány törvény alá tartozó hat brit könyvtárban, de vizsgálják, hogy hogyan lehetne belőlük nyilvánossá tehető tartalmakat kinyerni.

A British Library három webarchívumában 2015-ben 8 millió mentés volt, több mint 160 terabájt méretben (tömörített tárolással). Egy 2017 júniusi előadás szerint a teljes méret már 400 terabájt.

----

* [http://webarchive.org.uk A UK Web Archive honlapja]
* [http://britishlibrary.typepad.co.uk/webarchive/ UK Web Archive blog]
* [https://www.bl.uk/collection-guides/uk-web-archive UK Web Archive: About the collection]
* [https://www.llgc.org.uk/blog?p=16867 Aled Betts: The UK Web Archive: A New Chapter]
* [http://data.webarchive.org.uk/opendata/ UK Web Archive Open Data]
* [https://en.wikipedia.org/wiki/UK_Web_Archiving_Consortium#UK_Web_Archive Wikipedia: UK Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

UKWA (brit)

2020-10-12T10:59:32Z

Nemethmarton:

= (UK Web Archive) =

A 2004-ben alakult [[UKWAC]] együttműködés keretében létrejött brit webarchívum. Szelektív archiválással kezdtek, egyedi engedélyeket kérve egészen 2013-ig, a kötelespéldány törvény kiterjesztésig. Kezdetben a [[PANDAS]] és a [[HTTrack]] szoftvereket használták, de 2008-tól már a [[WCT]]-[[Heritrix]] párossal dolgoztak, jelenleg a Heritrix mellé a MAPReduce fejlesztés alatt álló saját rendszerük társul, az indexelést OutbackCDX segítségével látják el. 2008-ban 2,769 webhelyet (kevesebb, mint 2 terabájtot) mentettek le, tematikus és esemény-alapú válogatással. Az alacsony számok magyarázata részben a betanulási időszak és a PANDAS problémái, részben az alacsony válaszadási arány (2008-ban 6609 kiválasztott site-tól 7,476 engedélyt kértek, de csak 1,872 jött meg, 51 elutasítás mellett). 2013-ra már 13,500 webhely (61,900 [[instance]]) volt az archívumban. A 2017 áprilisi adatok: 15,112 website (79,276 [[instance]]), 28 terabájtnyi adat. Az anyagot előbb egy külső cég (Magus Research Ltd.) hostolta, majd a University of London Computing Centre, végül átkerült a British Library digitális objektumkezelő rendszerébe. A szolgáltatás nyilvános és a visszakereshetőség mellett különböző plusz funkciók, statisztikai elemző és vizualizációs megoldások is kapcsolódnak hozzá. A visszakereséshez [[OpenWayback]], [Pywb] és [[Solr]] szoftvereket használnak.

Az amerikai [[Internet Archive]] és a brit JISC (Joint Information Systems Committee) partneri kapcsolatának köszönhetően 1996-tól 2010-ig, majd 2011-től 2013-ig (egy 32 és egy 26 terabájtos csomagban [[WARC]] fájlokként) megkapták az IA-tól azt a részhalmazt, amely az Egyesült Királyság webhelyeinek anyaga (UK Web Domain Dataset). 2013-tól pedig saját maguk aratják az .uk domaint (Non-Print Legal Deposit UK Web Archive). Mindkét archívum jelenleg csak helyben használható a kötelespéldány törvény alá tartozó hat brit könyvtárban, de vizsgálják, hogy hogyan lehetne belőlük nyilvánossá tehető tartalmakat kinyerni.

A British Library három webarchívumában 2015-ben 8 millió mentés volt, több mint 160 terabájt méretben (tömörített tárolással). Egy 2017 júniusi előadás szerint a teljes méret már 400 terabájt.

----

* [http://webarchive.org.uk A UK Web Archive honlapja]
* [http://britishlibrary.typepad.co.uk/webarchive/ UK Web Archive blog]
* [https://www.bl.uk/collection-guides/uk-web-archive UK Web Archive: About the collection]
* [https://www.llgc.org.uk/blog?p=16867 Aled Betts: The UK Web Archive: A New Chapter]
* [http://data.webarchive.org.uk/opendata/ UK Web Archive Open Data]
* [https://en.wikipedia.org/wiki/UK_Web_Archiving_Consortium#UK_Web_Archive Wikipedia: UK Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

UKWA (brit)

2020-10-12T10:53:56Z

Nemethmarton:

= (UK Web Archive) =

A 2004-ben alakult [[UKWAC]] együttműködés keretében létrejött brit webarchívum. Szelektív archiválással kezdtek, egyedi engedélyeket kérve egészen 2013-ig, a kötelespéldány törvény kiterjesztésig. Kezdetben a [[PANDAS]] és a [[HTTrack]] szoftvereket használták, de 2008-tól már a [[WCT]]-[[Heritrix]] párossal dolgoztak, jelenleg a Heritrix mellé a MAPReduce fejlesztés alatt álló saját rendszerük társul, az indexelést OutbackCDX segítségével látják el. 2008-ban 2,769 webhelyet (kevesebb, mint 2 terabájtot) mentettek le, tematikus és esemény-alapú válogatással. Az alacsony számok magyarázata részben a betanulási időszak és a PANDAS problémái, részben az alacsony válaszadási arány (2008-ban 6609 kiválasztott site-tól 7,476 engedélyt kértek, de csak 1,872 jött meg, 51 elutasítás mellett). 2013-ra már 13,500 webhely (61,900 [[instance]]) volt az archívumban. A 2017 áprilisi adatok: 15,112 website (79,276 [[instance]]), 28 terabájtnyi adat. Az anyagot előbb egy külső cég (Magus Research Ltd.) hostolta, majd a University of London Computing Centre, végül átkerült a British Library digitális objektumkezelő rendszerébe. A szolgáltatás nyilvános és a visszakereshetőség mellett különböző plusz funkciók, statisztikai elemző és vizualizációs megoldások is kapcsolódnak hozzá. A visszakereséshez OpenWayBack, PYWB és SolR szoftvereket használnak.

Az amerikai [[Internet Archive]] és a brit JISC (Joint Information Systems Committee) partneri kapcsolatának köszönhetően 1996-tól 2010-ig, majd 2011-től 2013-ig (egy 32 és egy 26 terabájtos csomagban [[WARC]] fájlokként) megkapták az IA-tól azt a részhalmazt, amely az Egyesült Királyság webhelyeinek anyaga (UK Web Domain Dataset). 2013-tól pedig saját maguk aratják az .uk domaint (Non-Print Legal Deposit UK Web Archive). Mindkét archívum jelenleg csak helyben használható a kötelespéldány törvény alá tartozó hat brit könyvtárban, de vizsgálják, hogy hogyan lehetne belőlük nyilvánossá tehető tartalmakat kinyerni.

A British Library három webarchívumában 2015-ben 8 millió mentés volt, több mint 160 terabájt méretben (tömörített tárolással). Egy 2017 júniusi előadás szerint a teljes méret már 400 terabájt.

----

* [http://webarchive.org.uk A UK Web Archive honlapja]
* [http://britishlibrary.typepad.co.uk/webarchive/ UK Web Archive blog]
* [https://www.bl.uk/collection-guides/uk-web-archive UK Web Archive: About the collection]
* [https://www.llgc.org.uk/blog?p=16867 Aled Betts: The UK Web Archive: A New Chapter]
* [http://data.webarchive.org.uk/opendata/ UK Web Archive Open Data]
* [https://en.wikipedia.org/wiki/UK_Web_Archiving_Consortium#UK_Web_Archive Wikipedia: UK Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

UKWA (brit)

2020-10-12T10:48:12Z

Nemethmarton: /* (UK Web Archive) */

= (UK Web Archive) =

A 2004-ben alakult [[UKWAC]] együttműködés keretében létrejött brit webarchívum. Szelektív archiválással kezdtek, egyedi engedélyeket kérve egészen 2013-ig, a kötelespéldány törvény kiterjesztésig. Kezdetben a [[PANDAS]] és a [[HTTrack]] szoftvereket használták, de 2008-tól már a [[WCT]]-[[Heritrix]] párossal dolgoztak, jelenleg a Heritrix mellé a MAPReduce fejlesztés alatt álló saját rendszerük társul, az indexelést OutbackCDX segítségével látják el. 2008-ban 2,769 webhelyet (kevesebb, mint 2 terabájtot) mentettek le, tematikus és esemény-alapú válogatással. Az alacsony számok magyarázata részben a betanulási időszak és a PANDAS problémái, részben az alacsony válaszadási arány (2008-ban 6609 kiválasztott site-tól 7,476 engedélyt kértek, de csak 1,872 jött meg, 51 elutasítás mellett). 2013-ra már 13,500 webhely (61,900 [[instance]]) volt az archívumban. A 2017 áprilisi adatok: 15,112 website (79,276 [[instance]]), 28 terabájtnyi adat. Az anyagot előbb egy külső cég (Magus Research Ltd.) hostolta, majd a University of London Computing Centre, végül átkerült a British Library digitális objektumkezelő rendszerébe. A szolgáltatás nyilvános és a visszakereshetőség mellett különböző plusz funkciók, statisztikai elemző és vizualizációs megoldások is kapcsolódnak hozzá. A visszakereéshez OpenWayBack, PYWB és SolR szoftvereket használnak.

Az amerikai [[Internet Archive]] és a brit JISC (Joint Information Systems Committee) partneri kapcsolatának köszönhetően 1996-tól 2010-ig, majd 2011-től 2013-ig (egy 32 és egy 26 terabájtos csomagban [[WARC]] fájlokként) megkapták az IA-tól azt a részhalmazt, amely az Egyesült Királyság webhelyeinek anyaga (UK Web Domain Dataset). 2013-tól pedig saját maguk aratják az .uk domaint (Non-Print Legal Deposit UK Web Archive). Mindkét archívum jelenleg csak helyben használható a kötelespéldány törvény alá tartozó hat brit könyvtárban, de vizsgálják, hogy hogyan lehetne belőlük nyilvánossá tehető tartalmakat kinyerni.

A British Library három webarchívumában 2015-ben 8 millió mentés volt, több mint 160 terabájt méretben (tömörített tárolással). Egy 2017 júniusi előadás szerint a teljes méret már 400 terabájt.

----

* [http://webarchive.org.uk A UK Web Archive honlapja]
* [http://britishlibrary.typepad.co.uk/webarchive/ UK Web Archive blog]
* [https://www.bl.uk/collection-guides/uk-web-archive UK Web Archive: About the collection]
* [https://www.llgc.org.uk/blog?p=16867 Aled Betts: The UK Web Archive: A New Chapter]
* [http://data.webarchive.org.uk/opendata/ UK Web Archive Open Data]
* [https://en.wikipedia.org/wiki/UK_Web_Archiving_Consortium#UK_Web_Archive Wikipedia: UK Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

Digitalna NB RS (szerb)

2020-10-06T07:51:09Z

Nemethmarton: Új oldal, tartalma: „A Szerb Nemzeti Könyvtár webarchiválási projektje a kötelespéldány törvény 2011-es módosítását követően - ami a nemzeti könyvtár feladatává tette a S…”

A Szerb Nemzeti Könyvtár webarchiválási projektje a kötelespéldány törvény 2011-es módosítását követően - ami a nemzeti könyvtár feladatává tette a Szerbiában publikált weboldalak, illetve a .rs domain archiválását -, 2015-ben indult el. Elsőként a szerb egyetemi domain (*.ac.rs) archiválásával kísérleteztek. A webaratáshoz a heritrixet használják. 2015 januárjában ennek az első kísérletnek a kapcsán mintegy két nap alatt 156 GB -nyi adat került archiválásra 1687 domainről. 2017 szeptemberében mintegy két nap alatt 1612 domainről 147 GB -ot archiváltak.

----

* [ https://digital.library.unt.edu/ark:/67531/metadc1609010/m2/1/high_res_d/IIPCWAC2019-DRAGANA_MILUNOVIC_NEMANJA_KALEZIC-Southeast_Europe_panel-Experience_of_National_Library_of_Serbia.pdf A szerb webarchiválási projekt ismeretése az IIPC konzorcium 2019-es zágrábi konferenciáján]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

PROMISE (belga)

2020-10-06T07:22:45Z

Nemethmarton:

= (PReserving Online Multiple Information: towards a Belgian StratEgy) =

2017 júliusában indult 2 éves pilot projekt a belga nemzeti webarchívum megteremtése céljából. A partnerek: a nemzeti könyvtár, a nemzeti levéltár digitális megőrzéssel foglalkozó részlege, a Ghent egyetem két kutatóközpontja és a Haute École Bruxelles-Brabant. A célok közt a külföldi gyakorlat megismerése, a módszertan és a szabályzatok kidolgozása, egy prototípus webarchívum létrehozása és a kutathatóság, illetve a fenntarthatóság kérdéseinek megválaszolása szerepel. 2020-ban úgy döntöttek, hogy a nemzeti könyvtári webarchiválási tevékenységét kiszervezés útján, külső partnerekkel látják el. A közösségi média archiválásának lehetőségeit a [[BESOCIAL]] projekt keretében igyekeznek feltárni.

----

* [http://www.arch.be/index.php?l=nl&m=lopend-onderzoek&r=onderzoeksprojecten&pr=promise-preserving-online-multiple-information-towards-a-belgian-strategy A PROMISE ismertetője a Rijksarchief in België honlapján]
* [https://biblio.ugent.be/publication/8511255 Sally Chambers <nowiki>[et al.]</nowiki>: Towards a national web in a federated country : a Belgian case study]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

Chronicrawl

2020-09-07T11:40:12Z

Nemethmarton: Új oldal, tartalma: „{{DISPLAYTITLE:Chronicrawl}} Chronicrawl egy kísérleti stádiumban futó crawler. Célja, hogy költséghatékony állandóan futó aratások futtatását biztos…”

{{DISPLAYTITLE:Chronicrawl}}
Chronicrawl egy kísérleti stádiumban futó [[crawler]]. Célja, hogy költséghatékony állandóan futó aratások futtatását biztosítsa. A böngésző alapú aratás kezelést kombinálja a hagyományosabb link feltáró módszerrel. A robot állandóan fut és adaptívan alkalmazkodik az egyes webportálok elemeinek változási gyakoriságához. A fejlesztés során jelentkező legfontosabb kihívás éppen a változási gyakoriság felmérése, a portálok egyes aloldalainak illetve tartalmi egységeinek (rovatainak) szintjén. A projekt gazdája az Ausztrál Nemzeti Könyvtár.

----

* [ https://github.com/nla/chronicrawl A szoftver oldala a GitHub-on]

[[Category:SZOFTVEREK]]

BESOCIAL (belga)

2020-09-07T11:26:48Z

Nemethmarton: Új oldal, tartalma: „ A Belga Nemzeti Könyvtár (KBR) 2020-ban indult, két év időtartamúra tervezett BESOCIAL projektjének keretében, egyetemi és kutatóintézeti partnerekkel együ…”

A Belga Nemzeti Könyvtár (KBR) 2020-ban indult, két év időtartamúra tervezett BESOCIAL projektjének keretében, egyetemi és kutatóintézeti partnerekkel együtt, a közösségi média archiválásának és megőrzésének, a fenntarthatóságot szem előtt tartó stratégiáját kívánja kialakítani.
A kihívás ugyamolyan komplex mint az adatforrások köre. A közösségi média az archiválás, a megőrzés és a hozzáférhetőség vonatkozásában, egyedi és efemer természete kapcsán is különös jelenség. A fő cél válogatott belgiumi eseményekhez kötődő közösségi média tartalmak archiválása, emellett a projekt kiterjed a KBR hírlapgyűjteményéhez illeszkedő közösségi média tartalmakra is. A begyűjtött adatok kutatási célú felhasználását is biztosítani szeretnék. Fontos adalékként szolgálhat a létrejövő gyűjtemény a PROMISE kutatási projekt (2017-2019) keretében begyűjtött belga honlapgyűjteményhez. A projekt keretei között felmérték a közösségi média aratásának nemzetközi gyakorlatát, az ezzel kapcsolatban összeállított kérdőívet az Országos Széchényi Könyvtár webarchívumának munkatársai is kitöltötték.
----

* [https://www.kbr.be/en/projects/besocial/ A projekt weboldala]

[[Category:PROJEKTEK]]

Jupyter notebooks for web archives

2020-08-05T12:51:26Z

Nemethmarton: Új oldal, tartalma: „A projektet az ausztrál a brit, az új-zálandi webarchívumok valamint az Internet Archive gondozzák. Az IIPC finanszírozza a kezdeti munkálatokat. Számítana…”

A projektet az ausztrál a brit, az új-zálandi webarchívumok valamint az Internet Archive gondozzák. Az [[IIPC]] finanszírozza a kezdeti munkálatokat. Számítanak Kutatási Munkacsoport tagjainak, illetve az egyes konzorciumi tagoknak a közreműködésére is. A projektben a Jupyter Notebook alkalmazásfelület segítségével olyan tananyagokat fejlesztenek melyek révén a gyűjtemények kutatási célú felhasználásának különféle formái sajátíthatók el. A tananyagok elérhetők passzív letölthető formában, de egy olyan gyakorló felületen is, ahol élőben mindent be is lehet gyakorolni, miutána teljes virtuális hardver és szoftverkörnyezet a felhőben áll elő s egy webböngészővel érhető el. Kitűnően alkalmas a webarchívumokból történő adatkinyerés alapjainak elsajátítására, a visszakeresési és indexelési eljárások használatának bemutatására, valamint a webarchívumok időbeli dimenziója kutatási célú használatának áttekintésére egyaránt. Egy megfelelő plugin segítségével az összes menetó kompatibilis, illetve OWB-t vagy PyWb-t használó webarchívumok gyűjteményei is beilleszthetők a tananyagokba a fejlesztő intézmények webarchívumai mellé.

----

* [http://netpreserve.org/projects/jupyter-notebooks-for-historians/ A Jupyter notebooks for historians projekt honlapja]
* [https://glam-workbench.github.io/web-archives/ A tananyagok és a futtatási környezetek tárhelye]
* [https://slides.com/wragge/iipc-jupyter/ A projekt alapvonásait bemutató prezentáció]

[[Category:PROJEKTEK]]

EWA

2020-07-30T08:06:50Z

Nemethmarton: Új oldal, tartalma: „= (Engaging with Web Archives) = A webarchívumok tudományos célú hasznosításával foglalkozó konferenciasorozat fő célja, hogy a webarchívumok fejlesztőit,…”

= (Engaging with Web Archives) =

A webarchívumok tudományos célú hasznosításával foglalkozó konferenciasorozat fő célja, hogy a webarchívumok fejlesztőit, a webarchívumok használatában érdekelt kutatókat és felsőoktatási szakembereket megszólítva bemutassa a webarchívumok működését, fejlesztési irányait, az azokhoz kötődő kutatási ágakat. Az első rendezvényre az írországi Dublinban került volna sor 2020 április 15-16 -án, ám ez a COVID járvány miatt halasztást szenved.
----

* [https://ewaconference.com/ Az EWA weboldala]

[[Category:RENDEZVÉNYEK]]

LinkGate

2020-07-29T08:20:33Z

Nemethmarton:

A projekt a kutatók számára a webarchívumok [[Vizualizáció|vizuális alapú kutatásának]] lehetőségét teremti meg, a potenciális felhasználási lehetőségek adatbázisba rendezésével együtt. A forráskód és a dokumentáció is elérhető a GitHubon a GNU Általános Licensz (GPL) harmadik verziója szerint. A linkvizualizációs környezet demonstrálására a Bibliotheca Alexandrina szolgáltatási infrastruktúráját használják fel. A projekt gazdája az imént említett intézmény valamint az Új-Zélandi Nemzeti Könyvtár. Számítanak az IIPC Kutatási munkacsoport tagjainak, illetve az egyes konzorciumi tagoknak a közreműködésére is. A projekt három fő komponenssel bír, egy linkszolgáltatással mely összeköti a kapcsolt adatokat, egy link indexelővel mely kinyeri az információkat a webarchívumból s beilleszti a linkszolgáltatásba, és a link vizualizáló eszközzel mely grafikus felületen megjeleníti és visszakereshetővé teszi a linkszolgáltatás által kinyert kapcsolt adatokat.

----

* [http://netpreserve.org/projects/linkgate/ A LinkGate projekt honlapja]
* [https://netpreserveblog.wordpress.com/2020/04/23/linkgate-update/ Youssef Eldakar - Lana Alsabbagh: LinkGate: Let’s build a scalable visualization tool for web archive research]

[[Category:PROJEKTEK]]

LinkGate

2020-07-29T08:19:59Z

Nemethmarton: Új oldal, tartalma: „A projekt a kutatók számára a webarchívumok [Vizualizáció|[vizuális alapú kutatásának]] lehetőségét teremti meg, a potenciális felhasználási lehetőség…”

A projekt a kutatók számára a webarchívumok [Vizualizáció|[vizuális alapú kutatásának]] lehetőségét teremti meg, a potenciális felhasználási lehetőségek adatbázisba rendezésével együtt. A forráskód és a dokumentáció is elérhető a GitHubon a GNU Általános Licensz (GPL) harmadik verziója szerint. A linkvizualizációs környezet demonstrálására a Bibliotheca Alexandrina szolgáltatási infrastruktúráját használják fel. A projekt gazdája az imént említett intézmény valamint az Új-Zélandi Nemzeti Könyvtár. Számítanak az IIPC Kutatási munkacsoport tagjainak, illetve az egyes konzorciumi tagoknak a közreműködésére is. A projekt három fő komponenssel bír, egy linkszolgáltatással mely összeköti a kapcsolt adatokat, egy link indexelővel mely kinyeri az információkat a webarchívumból s beilleszti a linkszolgáltatásba, és a link vizualizáló eszközzel mely grafikus felületen megjeleníti és visszakereshetővé teszi a linkszolgáltatás által kinyert kapcsolt adatokat.

----

* [http://netpreserve.org/projects/linkgate/ A LinkGate projekt honlapja]
* [https://netpreserveblog.wordpress.com/2020/04/23/linkgate-update/ Youssef Eldakar - Lana Alsabbagh: LinkGate: Let’s build a scalable visualization tool for web archive research]

[[Category:PROJEKTEK]]

Youtube-dl

2020-07-29T07:53:23Z

Nemethmarton:

{{DISPLAYTITLE:youtube-dl}}

Pythonban írt, parancs módban futó, open source program videofájlok letöltésére a Youtube-ról és számos más videó-megosztó, illetve -szolgáltató site-ról. Van Windows és Mac OS X alatt működő változata is, és többféle felhasználói felület (GUI) is létezik hozzá, melyeket külön kell telepíteni, akárcsak a fájlok konvertálására szolgáló FFmpeg programot. A legelterjedtebben használt grafikus felület a youtube-dl-gui. Ez grafikus eléréssel tartalmazza a youtube-dl alapfunkcióit és általános beállításait. Speciális parancssori opciók is érvényesíthetők benne. A letöltött fájlok utófeldolgozásához opcionálisan telepíthető mellé az FFmpeg program is. Lehetővé teszi a grafikus felület mögött futó alapprogram folyamatos frissítését is. Így rugalmasan tudnak reagálni a fejlesztők a különféle tartalomszolgáltatási platformokon bekövetkező változtatásokra.

----

* [https://youtube-dl.org/ A youtube-dl honlapja]
* [https://github.com/ytdl-org/youtube-dl/ A youtube-dl a Github-on]
* [https://github.com/MrS0m30n3/youtube-dl-gui/ A youtube-dl-gui a Github-on]

[[Category:SZOFTVEREK]]

IIPC General Assembly

2020-07-29T07:41:36Z

Nemethmarton:

Az [[IIPC]] tagok éves közgyűlése a WAC (Web Archiving Conference) konferenciákkal egybekötve, mindig más helyszínen. A 2020. évi rendezvény a járványhelyzet miatt csupán online került megrendezésre, a kapcsolódó konferencia nélkül. A konferenciának épp ezért nincs önálló szócikke.

----

* [http://netpreserve.org/general-assembly/ Az IIPC GA-k listája]

[[Category:RENDEZVÉNYEK]]

MailStore

2020-07-29T07:37:40Z

Nemethmarton: Új oldal, tartalma: „A MailStore program lehetővé teszi személyes emailjeink mentését és visszaállítását. Kompatibilis az összes gyakorta használt levelezőprogrammal és online…”

A MailStore program lehetővé teszi személyes emailjeink mentését és visszaállítását. Kompatibilis az összes gyakorta használt levelezőprogrammal és online platformmal. A mentett anyagban teljesszövegű visszakeresést biztosít. Fel lehet telepíteni a számítógépünkre, de használható portable verzióban is, egy külső USB eszközön futtatva. A Home verzió használata nem kereskedelmi célra ingyenes. A program magyar nyelvű kezelőfelülettel is rendelkezik.

----

* [https://www.mailstore.com/en/products/mailstore-home/ A MailStore Home weboldala]

[[Category:SZOFTVEREK]]

Szoftvergyűjtemények

2020-07-29T07:23:46Z

Nemethmarton:

* [https://www.archiveteam.org/index.php?title=Software Archiveteam : Software]
* [https://github.com/iipc/awesome-web-archiving#tools--software Awesome Web Archiving - Tools & Software]
* [http://coptr.digipres.org COPTR - Community Owned digital Preservation Tool Registry]
* [http://netpreserve.org/web-archiving/tools-and-software IIPC Tools and Software]
* [http://mementoweb.org/tools Memento Tools]
* [https://sbforge.org SBForge Open Source hosting site]
* [https://ils.unc.edu/callee/temp-dc-tools/web-archiving.htm) Web Archiving - Harvesting, Capture, Management, Access]
* [https://github.com/pirate/ArchiveBox/wiki/Web-Archiving-Community Web Archiving Community]
* [http://www.netlab.dk/services/tools-and-tutorials/ NETLAB - Tools and Tutorials]

[[Category:SZOFTVEREK]]