MIA - Szerkesztő közreműködései [hu]

404 workshop

2026-03-25T07:42:21Z

Admin:

= ("404 Not Found - Ki őrzi meg az internetet?" workshop) =

Az Országos Széchényi Könyvtárban első alkalommal 2017 október 13-án megszervezett félnapos rendezvény, melynek célja az OSZK webarchiválási projektjének helyzetjelentésén túl más internetes archívumok bemutatkozása és az intézmények közötti együttműködési lehetőségek keresése.

----

* [https://webarchivum.oszk.hu/szakembereknek/404-not-found-workshop/ A workshop weboldala]

[[Category:RENDEZVÉNYEK]]

ReplayWeb.page

2026-03-20T08:45:12Z

Admin:

A [[Webrecorder Player]] utódjaként kifejlesztett, [WARC]], [[WACZ]], [[HAR]] és [[WBN]] fájlokat megjelenítő online szolgáltatás, amely open source szoftverként saját szerverre is feltelepíthető, beágyazható, illetve önálló kliensként is futtatható Windows és Linux rendszerű gépeken. Az archív fájlok lehetnek a helyi meghajtón vagy akár GoogleDrive-on is. Többféle nézete van: ''story'' módban csak az archívum készítője által kiemelt oldalak jelennek meg, ''page search'' módban minden weboldal látszik és kereshető, az ''URL search'' nézetben pedig valamennyi fájl böngészhető MIME típusok szerint és kereshető URL cím vagy annak részlete alapján. A ReplayWeb.page-be feltöltött vagy a GoogleDrive-ról betöltött fájlokból álló archívum másokkal is megosztható, akár adott nézetben is. Mivel a Webrecorder projekt keretében készül, ezért jól kezeli a [[Webrecorder | Webrecorder Desktop]], a [[Conifer]] és az [[ArchiveWeb.page]] által készített archív állományokat, ami más megjelenítőkre nem mindig igaz. Az archivált weboldalakat az eredetihez képest a leghűbben igyekszik megjeleníteni – az interaktív elemekkel együtt – a beépített Chromium motor segítségével.

----

* [https://replayweb.page/ A ReplayWeb.page honlapja]
* [https://github.com/webrecorder/replayweb.page A ReplayWeb.page a GitHub-on]
* [https://replayweb.page/docs/embedding/ A ReplayWeb.page beágyazási lehetőségei]

[[Category:SZOFTVEREK]]

Browsertrix

2025-08-21T08:52:18Z

Admin:

== 1. változat ==

A weboldalak bárki által annotálhatóvá tételével foglalkozó Hypothes.is projekt Annotator szoftvere számára 2015-ben kifejlesztett (de bármilyen más rendszerbe is beépíthető) open source webarchiváló eszköz, amely egy valódi böngészőbe (jelenleg Chrome vagy Firefox) tölti be a megadott weboldalakat, majd elküldi őket valamelyik [[archive-on-demand]] szolgáltatásnak megőrzésre (jelenleg a [[webrecorder|webrecorder.io]] vagy a [[Save Page Now]] választható). A böngészőt gyakorlatilag [[headless browser]]-ként használja egy Selenium böngésző-automatizáló eszköz segítségével, amely így programból vezérelhetővé válik, és a weboldal tartalma mellett a letöltés metaadatait (pl. a szervertől kapott esetleges hibakódok, időbélyeg, az eredeti és az archív URL) egy JSON naplófájlba el tudja menteni. A [[Heritrix]]-típusú mentéshez képest ennek a megoldásnak az a nagy előnye, hogy a weboldalakat úgy őrzi meg, ahogy azokat egy felhasználó az aktuálisan népszerű böngészőkben látná.

== 2. változat ==

Az [[IIPC]] 2019-es konferenciáján bemutatott továbbfejlesztett változat, amely egy Docker konténerben futtatható önálló archiváló eszköztár. Ehhez már készült egy saját, egyszerű GUI, de a bonyolultabb aratásokat csak parancsmódban vagy yaml fájlokon keresztül lehet konfigurálni. A [[headless browser | headless]] módban futtatott Chrome böngészőhöz külön definiálhatók "viselkedések" (behaviors), ezekkel vezérelve például a Twitter vagy a Facebook oldalak letöltését. (Hasonlóan az [[ArchiveWeb.page]] "autopilot" funkciójához.) Opcionálisan oldalképek is készíthetők vele, valamint a weboldalak szövege Solr-ral leindexelhető. A bejelentkezést igénylő webhelyekhez külön böngészőprofilok készíthetők, így elkerülhető (bár nem száz százalékos biztonsággal), hogy a bejelentkezési adatok bekerüljenek a [[WARC]] fájlba. A mentéseket [[PyWb]]-vel lehet visszanézni.

== 3. változat ==

Két évvel később a projekt ismét új irányt vett: egyetlen integrált rendszer helyett modulokra szedte szét a fejlesztője. 2021 őszén még csak a Browsertrix Crawler komponens volt letölthető, szintén Dockerben, amihez akkor még nem készült el a grafikus felület, az csak egy évvel később jelent meg Browsertrix Cloud néven. A Browsertrix Crawler a Puppeteer segítségével vezérli a böngészőt, a mentést pedig a [[PyWb]] végzi capturing üzemmódban. Van egy screencasting opciója, amivel a böngészőben figyelhetjük, ahogy a robot letölti a weboldalakat. A [[seed]] lista külön fájlban is megadható és seed-enként külön konfigurációs szabályok határozhatók meg. Több szálon is futtatható és ehhez is vannak behavior scriptek (pl. autoscroll, video autoplay, valamint webhely-specifikus viselkedések). [[WACZ]] formátumba is tud menteni, ami a [[ReplayWeb.page]] számára szükséges indexeket és technikai adatokat is tartalmazza, de természetesen PyWb-vel is visszanézhető az archivált tartalom.

----

* [https://github.com/ikreymer/browsertrix A Browsertrix 1. változata a GitHub-on]
* [https://hypothes.is/blog/fund-on-demand-web-archiving-completion/ Benjamin Young: Fund: On-Demand Web Archiving Completion]
* [https://github.com/webrecorder/browsertrix A Browsertrix 2. változata a GitHub-on]
* [https://digital.library.unt.edu/ark:/67531/metadc1608963/ Ilya Kreymer: Browsertrix: A New Browser-Based Crawling System from Webrecorder]
* [https://github.com/webrecorder/browsertrix-crawler A Browsertrix Crawler 3. változata a GitHub-on]
* [https://github.com/webrecorder/browsertrix-cloud A Browsertrix Cloud a GitHub-on]
* [https://webrecorder.net/2021/02/22/introducing-browsertrix-crawler.html Ilya Kreymer: Introducing Browsertrix Crawler]
* [https://webrecorder.net/2022/02/23/browsertrix-cloud.html Ilya Kreymer: Introducing Browsertrix Cloud]
* [https://blogs.bl.uk/webarchive/2024/10/archiving-social-media-with-browsertrix.html Carlos Lelkes-Rarugal: Archiving Social Media with Browsertrix]
* [https://www.youtube.com/watch?v=NZKfR33cjEc Crawling ODU CS Website With Browsertrix]
* [https://browsertrix.cloud/ Browsertrix Cloud]
* [https://beta.browsertrix.cloud/ IIPC tesztszerver]

[[Category:SZOFTVEREK]]

BelgicaWeb (belga)

2025-07-07T05:26:23Z

Admin:

A belga nemzeti könyvtár (KBR) két éves (eredetileg három évre tervezett) projektje 2024 és 2025 között, melynek során a korábbi [[PROMISE (belga)|PROMISE]] és [[BESOCIAL (belga)|BESOCIAL]] projektek eredményeire építve megoldásokat dolgoznak ki a digitálisan születő belga kultúra megőrzésére, szolgáltatására és kutathatóságára – együttműködve más intézmények szakértőivel. A webes és közösségi média tartalmak gyűjtésén túl egy szolgáltatófelületet és egy API-t is kifejlesztenek, leindexelik és adatgazdagítják az állományt (Linked Data és Natural Language Processing eszközökkel), megvizsgálják a szöveg- és adatbányászati célú felhasználásra vonatkozó EU-s jogi szabályozást, valamint sajtókampányokkal népszerűsítik a webarchiválást. 2025 áprilisi adatok szerint 16 részgyűjteményben 330 címet archiváltak (nagyrészt a [[Browsertrix]]-szel), melyek közül 125 volt webhely és 205 közösségi média oldal.

----

* [https://www.kbr.be/en/projects/belgicaweb/ A projekt weboldala a KBR honlapján]
* [https://www.youtube.com/watch?v=p-IEv1AXzj0 Friedel Geeraert: Web Archiving Update from KBR - Belgium]
* [https://www.youtube.com/watch?v=5yxJ94MhbvU Christina Vandendyck: Enhancing Accessibility to Belgian Born-Digital Heritage]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

BelgicaWeb (belga)

2025-07-07T05:24:30Z

Admin:

A belga nemzeti könyvtár (KBR) két éves (eredetileg három évre tervezett) projektje 2024 és 2025 között, melynek során a korábbi [[PROMISE (belga)|PROMISE]] és [[BESOCIAL (belga)|BESOCIAL]] projektek eredményeire építve megoldásokat dolgoznak ki a digitálisan születő belga kultúra megőrzésére, szolgáltatására és kutathatóságára – együttműködve más intézmények szakértőivel. A webes és közösségi média tartalmak gyűjtésén túl egy szolgáltatófelületet és egy API-t is kifejlesztenek, leindexelik és adatgazdagítják az állományt (Linked Data és Natural Language Processing eszközökkel), megvizsgálják a szöveg- és adatbányászati célú felhasználásra vonatkozó EU-s jogi szabályozást, valamint sajtókampányokkal népszerűsítik a webarchiválást. 2025 áprilisi adatok szerint 16 részgyűjteményben 330 címet archiváltak, melyek közül 125 volt webhely és 205 közösségi média oldal.

----

* [https://www.kbr.be/en/projects/belgicaweb/ A projekt weboldala a KBR honlapján]
* [https://www.youtube.com/watch?v=p-IEv1AXzj0 Friedel Geeraert: Web Archiving Update from KBR - Belgium]
* [https://www.youtube.com/watch?v=5yxJ94MhbvU Christina Vandendyck: Enhancing Accessibility to Belgian Born-Digital Heritage]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

WAS (szingapúri)

2025-07-04T12:52:45Z

Admin:

= (Web Archive Singapore) =

A szingapúri National Library Board (mely alá a nemzeti könyvtár és a levéltár, valamint 26 közkönyvtár tartozik) által működtetett webarchívum. Az [[IIPC]] által ajánlott [[Heritrix]], [[NutchWAX]] és [[WERA]] szoftverekkel kezdték el a munkát. Mindenféle témájú webhelyet gyűjtenek 2006 októbere óta, és a tematikus besorolás mellett egy néhány mondatos angol nyelvű ismertetőt is írnak róluk. 2005-ben egy ezer tételes archívumot céloztak csak meg, de már 2007-ben meghaladták a háromezret. Akkor mintegy 72 ezer aldomain volt az .sg alatt és ezeknek a teljes körű aratását is elkezdték évente egyszer, de technikai korlátok miatt 2009-re még csak mintegy 20 ezret tudtak letölteni. Azok a szelektíven mentett webhelyek, amelyekre az eredeti tartalomgazda engedélyt adott, nyilvánosan is hozzáférhetők. 2019-ben a teljes .sg domén archiválására is megkapták a törvényi felhatalmazást. 2017 óta kísérleteznek a közösségi média mentésével, 2024-től már szervezett módon, főként külső cégek segítségével ([[PageFreezer]] és Brolly), valamint a fióktulajdonosok által beadott csomagok formájában.

----

* [http://eresources.nlb.gov.sg/webarchives/ A WAS honlapja]
* [http://www.las.org.sg/wp/bulletin/web-archive-singapore/ Siow Lian San: Web Archive Singapore]
* [http://library.ifla.org/217/1/198-cadavid-en.pdf Jhonny Antonio Pabón Cadavid - Johnkhan Sathik Basha - Gandhimani Kaleeswaran: Legal and Technical Difficulties of Web Archival in Singapore]
* [https://www.youtube.com/watch?v=uLgeVNW4H8Q Shereen Tay - Meiyu Lee: The National Library of Singapore’s Journey in Collecting Social Media]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

WAS (szingapúri)

2025-07-04T12:49:51Z

Admin:

= (Web Archive Singapore) =

A szingapúri National Library Board (mely alá a nemzeti könyvtár és a levéltár, valamint 26 közkönyvtár tartozik) által működtetett webarchívum. Az [[IIPC]] által ajánlott [[Heritrix]], [[NutchWAX]] és [[WERA]] szoftverekkel kezdték el a munkát. Mindenféle témájú webhelyet gyűjtenek 2006 októbere óta, és a tematikus besorolás mellett egy néhány mondatos angol nyelvű ismertetőt is írnak róluk. 2005-ben egy ezer tételes archívumot céloztak csak meg, de már 2007-ben meghaladták a háromezret. Akkor mintegy 72 ezer aldomain volt az .sg alatt és ezeknek a teljes körű aratását is elkezdték évente egyszer, de technikai korlátok miatt 2009-re még csak mintegy 20 ezret tudtak letölteni. Azok a szelektíven mentett webhelyek, amelyekre az eredeti tartalomgazda engedélyt adott, nyilvánosan is hozzáférhetők. 2019-ben a teljes .sg domén archiválására is megkapták a törvényi felhatalmazást. 2017 óta kísérleteznek a közösségi média mentésével, főként külső cégek segítségével ([[PageFreezer]] és Brolly), valamint a fióktulajdonosok által beadott csomagok formájában.

----

* [http://eresources.nlb.gov.sg/webarchives/ A WAS honlapja]
* [http://www.las.org.sg/wp/bulletin/web-archive-singapore/ Siow Lian San: Web Archive Singapore]
* [http://library.ifla.org/217/1/198-cadavid-en.pdf Jhonny Antonio Pabón Cadavid - Johnkhan Sathik Basha - Gandhimani Kaleeswaran: Legal and Technical Difficulties of Web Archival in Singapore]
* [https://www.youtube.com/watch?v=uLgeVNW4H8Q Shereen Tay - Meiyu Lee: The National Library of Singapore’s Journey in Collecting Social Media]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

WAS (szingapúri)

2025-07-04T12:49:18Z

Admin:

= (Web Archive Singapore) =

A szingapúri National Library Board (mely alá a nemzeti könyvtár és a levéltár, valamint 26 közkönyvtár tartozik) által működtetett webarchívum. Az [[IIPC]] által ajánlott [[Heritrix]], [[NutchWAX]] és [[WERA]] szoftverekkel kezdték el a munkát. Mindenféle témájú webhelyet gyűjtenek 2006 októbere óta, és a tematikus besorolás mellett egy néhány mondatos angol nyelvű ismertetőt is írnak róluk. 2005-ben egy ezer tételes archívumot céloztak csak meg, de már 2007-ben meghaladták a háromezret. Akkor mintegy 72 ezer aldomain volt az .sg alatt és ezeknek a teljes körű aratását is elkezdték évente egyszer, de technikai korlátok miatt 2009-re még csak mintegy 20 ezret tudtak letölteni. Azok a szelektíven mentett webhelyek, amelyekre az eredeti tartalomgazda engedélyt adott, nyilvánosan is hozzáférhetők. 2019-ben a teljes .sg domén archiválására is megkapták a törvényi felhatalmazást. 2017 óta kísérleteznek a közösségi média mentésével, főként külső szolgáltatók segítségével ([[PageFreezer]] és Brolly), valamint a fióktulajdonosok által beadott csomagok formájában.

----

* [http://eresources.nlb.gov.sg/webarchives/ A WAS honlapja]
* [http://www.las.org.sg/wp/bulletin/web-archive-singapore/ Siow Lian San: Web Archive Singapore]
* [http://library.ifla.org/217/1/198-cadavid-en.pdf Jhonny Antonio Pabón Cadavid - Johnkhan Sathik Basha - Gandhimani Kaleeswaran: Legal and Technical Difficulties of Web Archival in Singapore]
* [https://www.youtube.com/watch?v=uLgeVNW4H8Q Shereen Tay - Meiyu Lee: The National Library of Singapore’s Journey in Collecting Social Media]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

WAS (szingapúri)

2025-07-04T12:43:10Z

Admin:

= (Web Archive Singapore) =

A szingapúri National Library Board (mely alá a nemzeti könyvtár és a levéltár, valamint 26 közkönyvtár tartozik) által működtetett webarchívum. Az [[IIPC]] által ajánlott [[Heritrix]], [[NutchWAX]] és [[WERA]] szoftverekkel kezdték el a munkát. Mindenféle témájú webhelyet gyűjtenek 2006 októbere óta, és a tematikus besorolás mellett egy néhány mondatos angol nyelvű ismertetőt is írnak róluk. 2005-ben egy ezer tételes archívumot céloztak csak meg, de már 2007-ben meghaladták a háromezret. Akkor mintegy 72 ezer aldomain volt az .sg alatt és ezeknek a teljes körű aratását is elkezdték évente egyszer, de technikai korlátok miatt 2009-re még csak mintegy 20 ezret tudtak letölteni. Azok a szelektíven mentett webhelyek, amelyekre az eredeti tartalomgazda engedélyt adott, nyilvánosan is hozzáférhetők. 2019-ben a teljes .sg domén archiválására is megkapták a törvényi felhatalmazást. 2017 óta a közösségi média mentésével is kísérleteznek.

----

* [http://eresources.nlb.gov.sg/webarchives/ A WAS honlapja]
* [http://www.las.org.sg/wp/bulletin/web-archive-singapore/ Siow Lian San: Web Archive Singapore]
* [http://library.ifla.org/217/1/198-cadavid-en.pdf Jhonny Antonio Pabón Cadavid - Johnkhan Sathik Basha - Gandhimani Kaleeswaran: Legal and Technical Difficulties of Web Archival in Singapore]
* [https://www.youtube.com/watch?v=uLgeVNW4H8Q Shereen Tay - Meiyu Lee: The National Library of Singapore’s Journey in Collecting Social Media]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

WAS (szingapúri)

2025-07-04T12:39:50Z

Admin:

= (Web Archive Singapore) =

A szingapúri National Library Board (mely alá a nemzeti könyvtár és a levéltár, valamint 26 közkönyvtár tartozik) által működtetett webarchívum. Az [[IIPC]] által ajánlott [[Heritrix]], [[NutchWAX]] és [[WERA]] szoftverekkel kezdték el a munkát. Mindenféle témájú webhelyet gyűjtenek 2006 októbere óta, és a tematikus besorolás mellett egy néhány mondatos angol nyelvű ismertetőt is írnak róluk. 2005-ben egy ezer tételes archívumot céloztak csak meg, de már 2007-ben meghaladták a háromezret. Akkor mintegy 72 ezer aldomain volt az .sg alatt és ezeknek a teljes körű aratását is elkezdték évente egyszer, de technikai korlátok miatt 2009-re még csak mintegy 20 ezret tudtak letölteni. Azok a szelektíven mentett webhelyek, amelyekre az eredeti tartalomgazda engedélyt adott, nyilvánosan is hozzáférhetők.

----

* [http://eresources.nlb.gov.sg/webarchives/ A WAS honlapja]
* [http://www.las.org.sg/wp/bulletin/web-archive-singapore/ Siow Lian San: Web Archive Singapore]
* [http://library.ifla.org/217/1/198-cadavid-en.pdf Jhonny Antonio Pabón Cadavid - Johnkhan Sathik Basha - Gandhimani Kaleeswaran: Legal and Technical Difficulties of Web Archival in Singapore]
* [https://www.youtube.com/watch?v=uLgeVNW4H8Q Shereen Tay - Meiyu Lee: The National Library of Singapore’s Journey in Collecting Social Media]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

Webhely helyreállítás

2025-07-02T09:18:44Z

Admin:

A webarchívumokban tárolt mentésekből többé-kevésbé rekonstruálni lehet egy korábbi webhelyet, vagy legalább a tartalmát visszamenteni, ha a funkcionalitása nem is állítható automatikusan teljesen. Erre pl. véletlen törlés, vagy hacker támadás esetén lehet szükség, amennyiben nem volt saját biztonsági mentése az eredeti szolgáltatónak vagy tartalomgazdának. De lehet például nosztalgiából is újra életre kelteni régen eltűnt webhelyeket (amennyiben ennek szerzői jogi akadálya nincs). Ilyen célra fejlesztett szoftverek például a [[Warrick]] és a [[Wayback Machine Downloader]].

----

* [https://www.youtube.com/watch?v=l9x8JvQchRE Ricardo Basílio - Vasco Rato: Renascer Project Brings Back Old Websites at Arquivo.pt]
* [https://github.com/webrecorder/web-archive-site-mirror How to Mirror any Web Site using Web Archives]

[[Category:HASZNOSÍTÁS]]

Kansalliskirjaston verkkoarkisto (finn)

2025-07-02T06:42:02Z

Admin:

A finn nemzeti könyvtár (Kansalliskirjasto) második generációs projektje az online elérhető tartalom archiválására. Az 1997-ben indult kísérleti fázis, az [[EVA (finn)|EVA]] lezárása után néhány évvel, a törvényi felhatalmazás után, 2006-ban kezdtek bele a weben levő finn kulturális örökség szisztematikus megőrzésébe. Szelektív (esemény/téma/hírforrás) és teljes körű webarchiválást is végeznek, utóbbi minden évben több tíz millió finn webhely mentését jelenti. 2015-ben a webarchívum mérete (tömörített tárolással) több mint 80 terabájt volt, 2025-re pedig elérte a 300 terabájltot.

Igyekeznek egy reprezentatív mintát begyűjteni, ami azt jelenti, hogy a .fi és .ax (a Finnországhoz tartozó Åland szigetcsoport) domain alatt, valamint a fizikailag az országon belül működő webszervereken túl külföldi webhelyeket is belevesznek az aratásba, ahol a gyűjtőkörbe eső tartalom van. A napilapokat és hírportálokat 2011 óta már naponta mentik. Amit nem tudnak automatikusan leszedni (mert pl. fizetős), annál segítséget kérnek a szolgáltatótól, vagy megkérik, hogy adja be ő a tartalmát.

Az archívum nem nyilvános, de keresni szabadon lehet benne URL cím, illetve teljes szöveg alapján, az archivált tartalomhoz viszont csak dedikált gépekről lehet hozzáférni (egy [[OpenWayback]] felületen) a nemzeti ill. más könyvtárakban, és néhány további intézményben (pl. az ottani NAVA-nál). Digitális másolatok helyben sem készíthetők, de saját eszközzel le lehet fotózni a képernyőt, lehet hangfelvételt készíteni, illetve kérhető nyomtatás.

----

* [https://www.kansalliskirjasto.fi A Kansalliskirjaston verkkoarkisto nyilvános, finn nyelvű keresője]
* [https://fi.wikipedia.org/wiki/Kansalliskirjaston_verkkoarkisto Wikipedia: Kansalliskirjaston verkkoarkisto]
* [http://www.doria.fi/handle/10024/123719 Veikkolainen Petteri - Lassi Lager: Long-Term Preservation of the Finnish Web Archive]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

Deutsche Nationalbibliothek - Webarchiv (német)

2025-07-02T05:49:22Z

Admin:

A német nemzeti könyvtár egy 2006-os törvényi felhatalmazás alapján kezdett el online tartalmakat, köztük webhelyeket is archiválni. A szelektíven mentett honlapok és blogok a központi katalógusban, ill. teljes szöveggel is visszakereshetők, vagy tematikus részgyűjteményekben böngészhetők, de csak néhány lementett site nézhető meg nyilvánosan, a többi csupán helyben használható a jogi korlátok miatt. 2015-ben kb. 700 webhelyet mentettek, átlagosan negyedéves gyakorisággal. 2025 áprilisában ez a szám közel 9500 volt és a lementett tartalom elérte a 73 terabájtot (136 esemény-alapú és 40 tematikus részgyűjtemény). A .de domaint 2014-ben aratták le először (az [[Internet Memory Research]] segítségével), és ebben az állományban is van full text keresési lehetőség az URL cím alapján való elérés mellett (2017 áprilisában ennek már a keresője sem volt nyilvános). 2025-re már kb. 6 millió webhelyre terjedt ki a webtér-szintű aratás, a teljes archivált tartalom pedig 139 terabájt volt.

----

* [http://dnb.oia-dwa.de A Webarchiv honlapja]
* [http://www.dnb.de/EN/Netzpublikationen/Webarchiv/webarchiv_node.html A Webarchiv weboldala a könyvtár honlapján]
* [http://www.dnb.de/EN/Aktuell/Presse/internetsammlungBenutzung.html A Webarchiv-ról kiadott 2015-ös sajtóközlemény]
* [https://www.youtube.com/watch?v=78_SCbYxbto Natanael Arndt: Under Construction: Web Archive of the German National Library]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

Deutsche Nationalbibliothek - Webarchiv (német)

2025-07-02T05:48:20Z

Admin:

A német nemzeti könyvtár egy 2006-os törvényi felhatalmazás alapján kezdett el online tartalmakat, köztük webhelyeket is archiválni. A szelektíven mentett honlapok és blogok a központi katalógusban, ill. teljes szöveggel is visszakereshetők, vagy tematikus részgyűjteményekben böngészhetők, de csak néhány lementett site nézhető meg nyilvánosan, a többi csupán helyben használható a jogi korlátok miatt. 2015-ben kb. 700 webhelyet mentettek, átlagosan negyedéves gyakorisággal. 2025 áprilisában ez a szám közel 9500 volt és a lementett tartalom elérte a 73 terabájtot. A .de domaint 2014-ben aratták le először (az [[Internet Memory Research]] segítségével), és ebben az állományban is van full text keresési lehetőség az URL cím alapján való elérés mellett (2017 áprilisában ennek már a keresője sem volt nyilvános). 2025-re már kb. 6 millió webhelyre terjedt ki a webtér-szintű aratás, a teljes archivált tartalom pedig 139 terabájt volt.

----

* [http://dnb.oia-dwa.de A Webarchiv honlapja]
* [http://www.dnb.de/EN/Netzpublikationen/Webarchiv/webarchiv_node.html A Webarchiv weboldala a könyvtár honlapján]
* [http://www.dnb.de/EN/Aktuell/Presse/internetsammlungBenutzung.html A Webarchiv-ról kiadott 2015-ös sajtóközlemény]
* [https://www.youtube.com/watch?v=78_SCbYxbto Natanael Arndt: Under Construction: Web Archive of the German National Library]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

Deutsche Nationalbibliothek - Webarchiv (német)

2025-07-02T05:41:34Z

Admin:

A német nemzeti könyvtár egy 2006-os törvényi felhatalmazás alapján kezdett el online tartalmakat, köztük webhelyeket is archiválni. A szelektíven mentett honlapok és blogok a központi katalógusban, ill. teljes szöveggel is visszakereshetők, vagy tematikus részgyűjteményekben böngészhetők, de csak néhány lementett site nézhető meg nyilvánosan, a többi csupán helyben használható a jogi korlátok miatt. 2015-ben kb. 700 webhelyet mentettek, átlagosan negyedéves gyakorisággal. A .de domaint 2014-ben aratták le először (az [[Internet Memory Research]] segítségével), és ebben az állományban is van full text keresési lehetőség az URL cím alapján való elérés mellett (2017 áprilisában ennek már a keresője sem volt nyilvános).

----

* [http://dnb.oia-dwa.de A Webarchiv honlapja]
* [http://www.dnb.de/EN/Netzpublikationen/Webarchiv/webarchiv_node.html A Webarchiv weboldala a könyvtár honlapján]
* [http://www.dnb.de/EN/Aktuell/Presse/internetsammlungBenutzung.html A Webarchiv-ról kiadott 2015-ös sajtóközlemény]
* [https://www.youtube.com/watch?v=78_SCbYxbto Natanael Arndt: Under Construction: Web Archive of the German National Library]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

Saving Ads

2025-07-01T09:23:01Z

Admin:

A Drexel University és az Old Dominion University kutatóinak két éves projektje (2022-2024), melyben azt vizsgálták, hogy a webarchívumokban mennyire őrződnek meg az online reklámok és milyen technikai nehézségek merülnek fel ezeknek a weboldalakba gyakran dinamikusan beinjektált és személyre szabottan generált hirdetéseknek az archiválásával kapcsolatban.

----

* [https://github.com/savingads A projekt keretében fejlesztett szoftverek a GitHub-on]
* [https://www.imls.gov/sites/default/files/project-proposals/LG-252362-OLS-22-full-proposal.pdf A Saving Ads projekt tervezete]
* [https://ipres2024.pubpub.org/pub/x38rbwuu/ Christopher Rauch <nowiki>[et al.]</nowiki>: Archiving Digital Marketing]
* [https://www.youtube.com/watch?v=xZQrY4r1oeM Christopher Rauch: Saving Ads: Assessing and Improving Web Archives’ Holdings of Online Ads]

[[Category:PROJEKTEK]]

Webrecorder US Government Web Archive

2025-05-06T08:23:53Z

Admin: Új oldal, tartalma: „Az End of Term Web Archive és a Webrecorder projekt együttműködésével 2024 novemberében indult archívum Biden elnöki periódusának végén és Trump m…”

Az [[End of Term Web Archive]] és a [[Webrecorder]] projekt együttműködésével 2024 novemberében indult archívum Biden elnöki periódusának végén és Trump második elnökségének elején lementett webhelyekről. A mentések a Browsertrix és az ArchiveWeb.page programokkal készültek, főként a komplex és interaktív, vagyis a [[Heritrix]]-szel nem jól archiválható oldalakról.

----

* [https://govarchive.us/ A projekt honlapja]
* [https://app.browsertrix.com/explore/usgov-archive/ Az archivált webhelyek gyűjteménye]

[[Category:PROJEKTEK]]

Jupyter notebooks for web archives

2025-05-06T07:54:28Z

Admin: /* (GLAM Workbench - Web Archives) */

= (GLAM Workbench / Web Archives) =

A Tim Sherratt által gondozott, a közgyűjtemények digitális szolgáltatásainak használatát oktató GLAM Workbench projekt webarchívumokkal foglalkozó fejezete. A projektet az ausztrál, a brit, az új-zélandi webarchívumok, valamint az [[Internet Archive]] gondozzák és az [[IIPC]] finanszírozza a kezdeti munkálatokat. Számítanak az IIPC Kutatási Munkacsoport tagjainak, illetve az egyes konzorciumi tagoknak a közreműködésére is. A projektben a Jupyter Notebook alkalmazásfelület segítségével olyan tananyagokat fejlesztenek, melyekkel a gyűjtemények kutatási célú felhasználásának különféle formái sajátíthatók el. Az interaktív tananyaggyűjtemény elérhető felhőszolgáltatásként többféle - publikus vagy regisztrációhoz kötött - platformon (Binder, Reclaim Cloud, Nectar Cloud), illetve Docker konténerként saját gépre is feltehető. A főbb témakörök: adattípusok ([[Memento Project|Memento protokoll]], [[Memento TimeGate|Timegate]], [[Memento TimeMap|TimeMap]], [[CDX]] API), adatkészletek létrehozása (archív URL-ek, aldomének, szövegek és prezentációk kinyerése), változások felderítése (két archivált verzió összehasonlítása, egy weboldal időbeli változása oldalképek, illetve szövegek összehasonlítása alapján, egy adott szöveg megjelenése és/vagy eltűnése egy adott weboldalon). Egy megfelelő plugin segítségével bármely más, [[Memento Project|memento]] kompatibilis, illetve [[Wayback|OWB]]-t vagy [[PyWb]]-t használó archívum is beilleszthető a tananyagokba a fejlesztő intézmények webarchívumai mellé.

----

* [https://github.com/GLAM-Workbench/web-archives/ A GLAM Workbench / web archives a GitHub-on]
* [http://netpreserve.org/projects/jupyter-notebooks-for-historians/ A projekt weboldala az IIPC honlapján]
* [https://glam-workbench.github.io/web-archives/ A tananyagok és a futtatási környezetek tárhelye]
* [https://slides.com/wragge/iipc-jupyter/ A projektet bemutató prezentáció]
* [https://zenodo.org/records/3894079 Tim Sherratt - Andrew Jackson: GLAM-Workbench/web-archives]
* [https://www.youtube.com/watch?v=rVidh_wexoo Tim Sherratt: Jupyter notebooks for web archives]

[[Category:PROJEKTEK]]

Jupyter notebooks for web archives

2025-05-06T07:34:24Z

Admin:

= (GLAM Workbench - Web Archives) =

A Tim Sherratt által gondozott, a közgyűjtemények digitális szolgáltatásainak használatát oktató GLAM Workbench projekt webarchívumokkal foglalkozó fejezete. A projektet az ausztrál, a brit, az új-zélandi webarchívumok, valamint az [[Internet Archive]] gondozzák és az [[IIPC]] finanszírozza a kezdeti munkálatokat. Számítanak az IIPC Kutatási Munkacsoport tagjainak, illetve az egyes konzorciumi tagoknak a közreműködésére is. A projektben a Jupyter Notebook alkalmazásfelület segítségével olyan tananyagokat fejlesztenek, melyekkel a gyűjtemények kutatási célú felhasználásának különféle formái sajátíthatók el. Az interaktív tananyaggyűjtemény elérhető felhőszolgáltatásként többféle - publikus vagy regisztrációhoz kötött - platformon (Binder, Reclaim Cloud, Nectar Cloud), illetve Docker konténerként saját gépre is feltehető. A főbb témakörök: adattípusok ([[Memento Project|Memento protokoll]], [[Memento TimeGate|Timegate]], [[Memento TimeMap|TimeMap]], [[CDX]] API), adatkészletek létrehozása (archív URL-ek, aldomének, szövegek és prezentációk kinyerése), változások felderítése (két archivált verzió összehasonlítása, egy weboldal időbeli változása oldalképek, illetve szövegek összehasonlítása alapján, egy adott szöveg megjelenése és/vagy eltűnése egy adott weboldalon). Egy megfelelő plugin segítségével bármely más, [[Memento Project|memento]] kompatibilis, illetve [[Wayback|OWB]]-t vagy [[PyWb]]-t használó archívum is beilleszthető a tananyagokba a fejlesztő intézmények webarchívumai mellé.

----

* [https://github.com/GLAM-Workbench/web-archives/ A GLAM Workbench / web archives a GitHub-on]
* [http://netpreserve.org/projects/jupyter-notebooks-for-historians/ A projekt weboldala az IIPC honlapján]
* [https://glam-workbench.github.io/web-archives/ A tananyagok és a futtatási környezetek tárhelye]
* [https://slides.com/wragge/iipc-jupyter/ A projektet bemutató prezentáció]
* [https://zenodo.org/records/3894079 Tim Sherratt - Andrew Jackson: GLAM-Workbench/web-archives]
* [https://www.youtube.com/watch?v=rVidh_wexoo Tim Sherratt: Jupyter notebooks for web archives]

[[Category:PROJEKTEK]]

Datasheets for Datasets: Describing Web Archives Collections

2024-11-26T08:03:23Z

Admin:

A British Library-ban 2023. február 23-án tartott workshop, melynek témája a webarchívumok leírásának lehetősége volt a Microsoft Research kezdeményezésére 2018-ban kidolgozott „datasheets for datasets” keretrendszerben. A résztvevőknek egy, a gépi tanulással foglalkozó kutatók igényeire szabott, 9 szekcióra osztott sablon webarchívumokra való alkalmazhatóságát kellett megvitatniuk és MoSCoW (Must, Should, Can’t, Won’t have) módszerrel kategóriákba sorolni az adatlapon szereplő kérdéseket.

----

* [https://www.dpconline.org/news/news-datasheets-for-datasets-workshop A workshop weboldala a Digital Preservation Coalition honlapján]
* [https://www.microsoft.com/en-us/research/project/datasheets-for-datasets/ Microsoft Research – Data Documentation]
* [https://blogs.bl.uk/webarchive/2024/11/datasheets-for-web-archives-toolkit-is-now-live.html Helena Byrne: Datasheets for Web Archives Toolkit is now live]
* [https://www.youtube.com/watch?v=wLwTFuGqC5k Helena Byrne: Describing Collections with Datasheets for Datasets]

[[Category:RENDEZVÉNYEK]]

WCT

2024-10-08T14:03:26Z

Admin:

= (Web Curator Tool) =

Open source munkafolyamat nyilvántartó szoftver szelektív webarchívumok építéséhez. A [[Heritrix]]-szel van összeépítve és egy felhasználóbarát felületen lehet vele a válogatást, az aratási folyamatot és annak ütemezését, a minőségellenőrzést, a metaadatolást, az engedélyeket stb. menedzselni. 2006-ban a National Library of New Zealand és a British Library kezdte fejleszteni az [[IIPC]] kezdeményezésére. (Az angolok később kiszálltak a projektből.) Java nyelven íródott, és Oracle, MySQL ill. PostgreSQL adatbázisokat egyaránt támogat. A [[Heritrix]] mellett ezeket a szoftvereket használja még: [[Wayback]], Acegi Security System, Apache Tomcat, Apache Axis, Apache Commons Logging, Hibernate, Quartz, Spring Application Framework. Együtt tud működni az ExLibris cég Rosetta nevű [[DPS]] rendszerével is, így az új-zélandi könyvtár ebben tárolja a WCT-vel archivált anyagot. 2018 novemberében jelent meg a rendszer 2.0-ás verziója, melynek fejlesztésében a holland királyi könyvtár is részt vett és ami már támogatja a Heritrix legújabb változatait is. A WCT Windows alatt is futtatható Virtual Box-ban egy virtuális Linux szerveren.

----

* [https://webcuratortool.org/ A Web Curator Tool honlapja]
* [https://webcuratortool.readthedocs.io/en/latest/ Web Curator Tool Documentation]
* [https://webcuratortool.readthedocs.io/en/latest/guides/tutorials.html WCT 2.0 Tutorial]
* [https://www.ariadne.ac.uk/issue/50/beresford/ Philip Beresford: Web Curator Tool]
* [https://www.dlib.org/dlib/may08/paynter/05paynter.html Gordon Paynter <nowiki>[et al.]</nowiki>: A Year of Selective Web Archiving with the Web Curator at the National Library of New Zealand]
* [https://netpreserveblog.wordpress.com/2018/04/12/world-wide-webarchiving-upgrading-the-web-curator-tool/ Kees Teszelszky: World Wide Webarchiving: Upgrading the Web Curator Tool]
* [http://openpreservation.org/blog/2018/12/20/wctrelaunch/ Kees Teszelszky: Web Archiving Down Under: Relaunch of the Web Curator Tool at the IIPC conference, Wellington, New Zealand]
[[Category:SZOFTVEREK]]

WCT

2024-10-08T14:02:36Z

Admin:

= (Web Curator Tool) =

Open source munkafolyamat nyilvántartó szoftver szelektív webarchívumok építéséhez. A [[Heritrix]]-szel van összeépítve és egy felhasználóbarát felületen lehet vele a válogatást, az aratási folyamatot és annak ütemezését, a minőségellenőrzést, a metaadatolást, az engedélyeket stb. menedzselni. 2006-ban a National Library of New Zealand és a British Library kezdte fejleszteni az [[IIPC]] kezdeményezésére. (Az angolok később kiszálltak a projektből.) Java nyelven íródott, és Oracle, MySQL ill. PostgreSQL adatbázisokat egyaránt támogat. A [[Heritrix]] mellett ezeket a szoftvereket használja még: [[Wayback]], Acegi Security System, Apache Tomcat, Apache Axis, Apache Commons Logging, Hibernate, Quartz, Spring Application Framework. Együtt tud működni az ExLibris cég Rosetta nevű [[DPS]] rendszerével is, így az új-zélandi könyvtár ebben tárolja a WCT-vel archivált anyagot. 2018 novemberében jelent meg a rendszer 2.0-ás verziója, melynek fejlesztésében a holland királyi könyvtár is részt vett és ami már támogatja a Heritrix legújabb változatait is. A WCT Windows alatt is futtatható Virtual Box-ban egy virtuális Linux szerveren.

----

* [https://webcuratortool.org/ A Web Curator Tool honlapja]
* [https://webcuratortool.readthedocs.io/en/latest/ Web Curator Tool Documentation]
* [https://webcuratortool.readthedocs.io/en/latest/guides/tutorials.html WCT 2.0 Tutorial]
* [https://www.ariadne.ac.uk/issue/50/beresford/ Philip Beresford: Web Curator Tool]
* [https://lianza.org.nz/building-web-curator-tool-national-library-new-zealand Gordon Paynter <nowiki>[et al.]</nowiki>: A Year of Selective Web Archiving with the Web Curator at the National Library of New Zealand]
* [https://netpreserveblog.wordpress.com/2018/04/12/world-wide-webarchiving-upgrading-the-web-curator-tool/ Kees Teszelszky: World Wide Webarchiving: Upgrading the Web Curator Tool]
* [http://openpreservation.org/blog/2018/12/20/wctrelaunch/ Kees Teszelszky: Web Archiving Down Under: Relaunch of the Web Curator Tool at the IIPC conference, Wellington, New Zealand]
[[Category:SZOFTVEREK]]

WCT

2024-10-08T14:01:42Z

Admin: /* (Web Curator Tool) */

= (Web Curator Tool) =

Open source munkafolyamat nyilvántartó szoftver szelektív webarchívumok építéséhez. A [[Heritrix]]-szel van összeépítve és egy felhasználóbarát felületen lehet vele a válogatást, az aratási folyamatot és annak ütemezését, a minőségellenőrzést, a metaadatolást, az engedélyeket stb. menedzselni. 2006-ban a National Library of New Zealand és a British Library kezdte fejleszteni az [[IIPC]] kezdeményezésére. (Az angolok később kiszálltak a projektből.) Java nyelven íródott, és Oracle, MySQL ill. PostgreSQL adatbázisokat egyaránt támogat. A [[Heritrix]] mellett ezeket a szoftvereket használja még: [[Wayback]], Acegi Security System, Apache Tomcat, Apache Axis, Apache Commons Logging, Hibernate, Quartz, Spring Application Framework. Együtt tud működni az ExLibris cég Rosetta nevű [[DPS]] rendszerével is, így az új-zélandi könyvtár ebben tárolja a WCT-vel archivált anyagot. 2018 novemberében jelent meg a rendszer 2.0-ás verziója, melynek fejlesztésében a holland királyi könyvtár is részt vett és ami már támogatja a Heritrix legújabb változatait is. A WCT Windows alatt is futtatható Virtual Box-ban egy virtuális Linux szerveren.

----

* [https://webcuratortool.org/ A Web Curator Tool honlapja]
* [http://webcurator.sourceforge.net A Web Curator Tool korábbi weblapja a SourceForge-n]
* [https://webcuratortool.readthedocs.io/en/latest/ Web Curator Tool Documentation]
* [https://webcuratortool.readthedocs.io/en/latest/guides/tutorials.html WCT 2.0 Tutorial]
* [https://www.ariadne.ac.uk/issue/50/beresford/ Philip Beresford: Web Curator Tool]
* [https://lianza.org.nz/building-web-curator-tool-national-library-new-zealand Gordon Paynter <nowiki>[et al.]</nowiki>: A Year of Selective Web Archiving with the Web Curator at the National Library of New Zealand]
* [https://netpreserveblog.wordpress.com/2018/04/12/world-wide-webarchiving-upgrading-the-web-curator-tool/ Kees Teszelszky: World Wide Webarchiving: Upgrading the Web Curator Tool]
* [http://openpreservation.org/blog/2018/12/20/wctrelaunch/ Kees Teszelszky: Web Archiving Down Under: Relaunch of the Web Curator Tool at the IIPC conference, Wellington, New Zealand]
[[Category:SZOFTVEREK]]

Pywb+wabac

2024-09-05T16:00:40Z

Admin:

Alex Osborne, az ausztrál webarchívum informatikai vezetője GitHub oldalán közzétett „proof of concept” típusú fejlesztés, ami a [[PyWb]] megjelenítő képességeit próbálja javítani azzal, hogy a wb_frame.js JavaScript helyett a [[ReplayWeb.page]]-be beépített [[WABAC|wabac.js]]-t használja.

----

* [https://github.com/ato/pywb-wabac A pywb+wabac a GitHub-on]

[[Category:SZOFTVEREK]]

Pywb+wabac

2024-09-05T16:00:19Z

Admin:

Alex Osborne, az ausztrál webarchívum informatikai vezetője GitHub oldalán közzétett „proof of concept” típusú fejlesztés, ami a [[PyWb]] megjelenítő képességeit próbálja javítani azzal, hogy a wb_frame.js JavaScriptet helyett a [[ReplayWeb.page]]-be beépített [[WABAC|wabac.js]]-t használja.

----

* [https://github.com/ato/pywb-wabac A pywb+wabac a GitHub-on]

[[Category:SZOFTVEREK]]

Pywb+wabac

2024-09-05T15:25:56Z

Admin: Új oldal, tartalma: „Alex Osborne, az ausztrál webarchívum informatikai vezetője GitHub oldalán közzétett „proof of concept” típusú fejlesztés, ami a PyWb megjelenítő ké…”

Alex Osborne, az ausztrál webarchívum informatikai vezetője GitHub oldalán közzétett „proof of concept” típusú fejlesztés, ami a [[PyWb]] megjelenítő képességeit próbálja javítani azzal, hogy a wb_frame.js JavaScriptet helyett a [[ReplayWeb.page]]-be beépített [[wabac|wabac.js]]-t használja.

----

* [https://github.com/ato/pywb-wabac A pywb+wabac a GitHub-on]

[[Category:SZOFTVEREK]]

Archive-friendly website

2024-09-05T13:05:59Z

Admin:

Olyan webhely, amely nemcsak [[crawler-friendly website|crawler-friendly]], vagyis robotokkal könnyen bejárható, hanem jó minőségben archiválható is: a lementett változat tartalmában, megjelenésében és funkcionalitásában kellően hű mása az eredetinek. Többek között ilyen szempontoknak érdemes megfelelni:

* logikus site-struktúra, amelynek a felépítése az URL címekben is tükröződik, mert így könnyebb kiválasztani az archiválásra érdemes részeket és utólag ellenőrizni az eredményt
* valid HTML és CSS kód, ami lehetővé teszi a helyes megjelenítést a szabványokat követő böngészőkben a jövőben is
* ékezetek és egyes speciális karakterek kerülése az alkönyvtárak és a fájlok neveiben
* lehetőleg nyílt fájlformátumok használata, melyek hosszú távon is megjeleníthetők maradnak
* nincs benne olyan speciális formátumú tartalom, amihez külön megjelenítőt/böngésző-kiegészítőt kell telepíteni
* a hang és a videó tartalom nem sugárzott (stream) módon van beágyazva, hanem letölthető fájlok formájában (is)
* a [[robots txt|robots.txt]] fájlban nincs letiltva a külalakot szabályozó (pl. .css) fájlok letöltése
* nem tartalmaz olyan szerver oldalon futó scripteket, programokat, vagy adatbázist, amelyek nélkül a website használhatatlan
* a webszerver nem használ olyan session vagy persistent típusú cookie-kat, amelyek alapvetően befolyásolják a megjelenő tartalmat (pl. a felhasználói felület nyelvét)
* részletes beágyazott metaadatok vannak a weboldalak fejlécében és az egyéb dokumentumokban (pl. képek, PDF fájlok), melyek megkönnyítik a begyűjtött digitális objektumok beazonosítását és automatikus metaadatolását
* a készítés vagy az utolsó módosítás dátumának feltüntetése a weboldalakon és a dokumentumokban, hogy az archivált változat használója meg tudja állapítani, mikor készültek (ne csak azt lássa, hogy mikor lettek archiválva)
* a webhely jogi közleményében kitér az archiválásra is (pl. "archiválható, de csak fél év után szolgáltatható és csak könyvtáron belül"), vagy egy CC licenccel szabályozza a felhasználást az archivált példány esetében is.

Az archiválhatósági jellemzők egy része könnyen ellenőrizhető egy website esetében olyan szolgáltatásokkal, mint például az [[Archive Ready]].

----

* [https://nullhandle.org/web-archivability/ Nicholas Taylor: Web Archívability]
* [https://siarchives.si.edu/blog/five-tips-designing-preservable-websites Robin C. Davis: Five Tips for Designing Preservable Websites]
* [http://blogs.loc.gov/thesignal/2012/02/designing-preservable-websites-redux/ Butch Lazorchak: Designing Preservable Websites, Redux]
* [http://sobre.arquivo.pt/en/recommendations-for-authors-to-enable-web-archiving/ arquivo.pt: Recommendations for authors to enable web archiving]
* [https://library.columbia.edu/collections/web-archives/guidelines.html Columbia University Libraries: Guidelines for Preservable Websites]
* [https://www.loc.gov/programs/web-archiving/for-site-owners/creating-preservable-websites/ Library of Congress: Creating Preservable Websites]
* [https://www.webarchive.lu/is-your-website-archive-compliant/ Bibliothèque nationale du Luxembourg: Is your website archive compliant?]

[[Category:FOGALMAK]]

Wacz-preparator

2024-09-03T07:23:42Z

Admin: Új oldal, tartalma: „A Perma.cc eszközkészlet keretében 2023-ban létrehozott, de már nem fejlesztett JavaScript kód, amivel egy távoli webarchívumban levő WARC fájlok egye…”

A [[Perma.cc]] eszközkészlet keretében 2023-ban létrehozott, de már nem fejlesztett JavaScript kód, amivel egy távoli webarchívumban levő [[WARC]] fájlok egyetlen [[WACZ]] csomaggá való konvertálásának teljes munkafolyamata automatizálható: a hitelesítő adatok érvényességének és a távoli gyűjteményhez való hozzáférésnek ellenőrzése, a helyi gyűjteménymappa létrehozása, a távoli gyűjtemény adatainak lehívása, az elérhető WARC fájlok listájának létrehozása, a [[seed]]-ek kigyűjtése, az URL-ek ''title'' adatának lekérése (ha az élő weben már nem elérhető egy oldal, akkor a [[Wayback Machine]]-t kérdezi le), a helyben már meglévő WARC fájlok összehasonlítása a távoliakkal és a hiányzók letöltése, a hash-ek ellenőrzése, az oldalak listájának összeállítása, a WACZ előállítása.

----

* [https://github.com/harvard-lil/wacz-preparator A wacz-preparator a GitHub-on]

[[Category:SZOFTVEREK]]

Js-wacz

2024-09-03T06:55:25Z

Admin: Új oldal, tartalma: „A py-wacz-hoz hasonló, de JavaScript-ben írt eszköz, WARC fájlok WACZ formátumba való összecsomagolása céljából. ---- * [https://github.com/har…”

A [[py-wacz]]-hoz hasonló, de JavaScript-ben írt eszköz, [[WARC]] fájlok [[WACZ]] formátumba való összecsomagolása céljából.

----

* [https://github.com/harvard-lil/js-wacz A js-wacz a GitHub-on]

[[Category:SZOFTVEREK]]

Py-wacz

2024-09-03T06:49:33Z

Admin: Új oldal, tartalma: „A Webrecorder eszközkészlet egyik, Python-ban írt eleme, amivel WARC fájlokat lehet WACZ-ba csomagolni, opcionálisan a teljes szövegű kereséshez sz…”

A [[Webrecorder]] eszközkészlet egyik, Python-ban írt eleme, amivel [[WARC]] fájlokat lehet [[WACZ]]-ba csomagolni, opcionálisan a teljes szövegű kereséshez szükséges indexfájllal együtt.

----

* [https://github.com/webrecorder/py-wacz A py-wacz a GitHub-on]

[[Category:SZOFTVEREK]]

Wacz-signing

2024-09-02T15:16:17Z

Admin: Új oldal, tartalma: „A Harvard Library Innovation Laboratory programozója által írt Python script WACZ fájlok aláírásához és kisebb mértékben azok ellenőrzéséhez. ---- *…”

A Harvard Library Innovation Laboratory programozója által írt Python script [[WACZ]] fájlok aláírásához és kisebb mértékben azok ellenőrzéséhez.

----

* [https://github.com/harvard-lil/wacz-signing A wacz-signing a GitHub-on]
* [https://specs.webrecorder.net/wacz-auth/0.1.0/ WACZ Signing and Verification]

[[Category:SZOFTVEREK]]

Wacz-exhibitor

2024-09-02T15:05:41Z

Admin: Új oldal, tartalma: „A Perma.cc projekt részeként fejlesztett wrapper és proxy WARC és WACZ fájlok tartalmának visszanézéséhez, iframe keretként beágyazva egy webolda…”

A [[Perma.cc]] projekt részeként fejlesztett wrapper és proxy [[WARC]] és [[WACZ]] fájlok tartalmának visszanézéséhez, iframe keretként beágyazva egy weboldalba a [[ReplayWeb.page]] felületét. Dockerként telepíthető, beépített nginx webszervert tartalmaz. A megjeleníteni kívánt archív fájl lehet a helyi /archives/ mappában, vagy egy távoli címen, ahonnan az nginx proxy szolgáltatja.

----

* [https://github.com/harvard-lil/wacz-exhibitor A wacz-exhibitor a GitHub-on]
* [https://warcembed-demo.lil.tools/ A wacz-exhibitor demója]
* [https://lil.law.harvard.edu/blog/2022/09/15/opportunities-and-challenges-of-client-side-playback/ Matteo Cargnelutti: Web Archiving: Opportunities and Challenges of Client-Side Playback]

[[Category:SZOFTVEREK]]

Scoop

2024-09-02T14:43:52Z

Admin: Új oldal, tartalma: „A Perma.cc projekt keretében a Harvard Library Innovation Lab programozói által 2023 óta fejlesztett böngésző-alapú, nagyon pontos másolatokat készítő,…”

A [[Perma.cc]] projekt keretében a Harvard Library Innovation Lab programozói által 2023 óta fejlesztett böngésző-alapú, nagyon pontos másolatokat készítő, de csak egy-egy weboldal archiválására alkalmas eszköz. Nagyrészt JavaScript-ben íródott, a Chromium böngészőmotorra épül, és Linux, Mac OS, valamint Windows alatt futó Linux rendszereken egyaránt működik. Tömörített vagy tömörítetlen [[WARC]], illetve [[WACZ]] fájlokba tud menteni, utóbbi formátumnál támogatja a digitális aláírással való hitelesítést, valamint lehetővé teszi a kliens és a szerver közötti adatcsere „raw" formában való tárolását is. Lehet vele oldalképeket készíteni (PDF-ben is) és ki tudja vonni a beágyazott videókat metaadatokkal együtt.

----

* [https://github.com/harvard-lil/scoop/ A Scoop a GitHub-on]
* [https://lil.law.harvard.edu/blog/2023/04/13/scoop-witnessing-the-web/ Matteo Cargnelutti: Witnessing the web is hard: Why and how we built the Scoop web archiving capture engine]
* [https://archive.blogs.harvard.edu/perma/2023/03/28/867/ New Release: High Fidelity Capture Engine for Witnessing the Web]

Warcing-legacy-websites

2024-09-02T14:21:32Z

Admin: Új oldal, tartalma: „A német Archiv der sozialen Demokratie gyűjtemény számára írt Python script régi webarchiváló eszközökkel (Teleport Pro, Offline Ex…”

A német Archiv der sozialen Demokratie gyűjtemény számára írt Python script régi webarchiváló eszközökkel ([[Teleport Webspiders|Teleport Pro]], [[Offline Explorer|Offline Explorer Pro]], [[OWA|Offline Web Archiv]]) készült fájlrendszerek [[WARC]] formátumra való konvertálása céljából a [[warcit]] programmal.

----

* [https://github.com/adsd-digital/warcing-legacy-websites A warcing-legacy-websites a GitHub-on]
* [https://www.youtube.com/watch?v=tebThtZVJL8 Annabel Walz: WARC-ing Legacy Archived Web Sites]

[[Category:SZOFTVEREK]]

Datasheets for Datasets: Describing Web Archives Collections

2024-09-02T13:41:41Z

Admin:

A British Library-ban 2023. február 23-án tartott workshop, melynek témája a webarchívumok leírásának lehetősége volt a Microsoft Research kezdeményezésére 2018-ban kidolgozott „datasheets for datasets” keretrendszerben. A résztvevőknek egy, a gépi tanulással foglalkozó kutatók igényeire szabott, 9 szekcióra osztott sablon webarchívumokra való alkalmazhatóságát kellett megvitatniuk és MoSCoW (Must, Should, Can’t, Won’t have) módszerrel kategóriákba sorolni az adatlapon szereplő kérdéseket.

----

* [https://www.dpconline.org/news/news-datasheets-for-datasets-workshop A workshop weboldala a Digital Preservation Coalition honlapján]
* [https://www.microsoft.com/en-us/research/project/datasheets-for-datasets/ Microsoft Research – Data Documentation]
* [https://www.youtube.com/watch?v=wLwTFuGqC5k Helena Byrne: Describing Collections with Datasheets for Datasets]

[[Category:RENDEZVÉNYEK]]

Datasheets for Datasets: Describing Web Archives Collections

2024-09-02T13:37:56Z

Admin: Új oldal, tartalma: „A British Library-ban 2023 február 23-án tartott workshop, melynek témája a webarchívumok leírásának lehetősége volt a Microsoft kezdeményezésére 2018-ben…”

A British Library-ban 2023 február 23-án tartott workshop, melynek témája a webarchívumok leírásának lehetősége volt a Microsoft kezdeményezésére 2018-ben kidolgozott „datasheets for datasets” keretrendszerben. A résztvevőknek egy, a gépi tanulással foglalkozó kutatók igényeire szabott és 9 szekcióra osztott sablon webarchívumokra való alkalmazhatóságát kellett megvitatniuk és MoSCoW (Must, Should, Can’t, Won’t have) módszerrel kategóriákba sorolni az adatlapon szereplő kérdéseket.

----

* [https://www.dpconline.org/news/news-datasheets-for-datasets-workshop A workshop weboldala a Digital Preservation Coalition honlapján]
* [https://www.microsoft.com/en-us/research/project/datasheets-for-datasets/ Microsoft Research – Data Documentation]
* [https://www.youtube.com/watch?v=wLwTFuGqC5k Helena Byrne: Describing Collections with Datasheets for Datasets]

[[Category:RENDEZVÉNYEK]]

UNHCR Web Archive

2024-09-02T13:18:09Z

Admin:

Az ENSZ menekültügyi szervezete, a UN Refugee Agency által működtetett webarchívum, de magát az archiválást a [[MirrorWeb]] végzi. A projekt 2015-ben indult és 2024 elején már 500 webhely és 271 közösségi média fiók (Twitter és Youtube) mentéseit tartalmazta – beleértve a UNHCR saját anyagait is. A gyűjtemény nyilvános, a böngészés mellett van kulcsszavas és teljes szövegű keresés is, és a szervezet levéltárának Adlib katalógusában szintén megtalálhatóak az archivált tartalmak metaadatai.

----

* [https://webarchive.archive.unhcr.org/ A UNHCR Web Archive honlapja]

[[Category:PROJEKTEK]]

UNHCR Web Archive

2024-09-02T13:17:45Z

Admin: Új oldal, tartalma: „Az ENSZ menekültügyi szervezete, a UN Refugee Agency által működtetett webarchívum, de magát az archiválást a Mirrorweb végzi. A projekt 2015-ben indult…”

Az ENSZ menekültügyi szervezete, a UN Refugee Agency által működtetett webarchívum, de magát az archiválást a [[Mirrorweb]] végzi. A projekt 2015-ben indult és 2024 elején már 500 webhely és 271 közösségi média fiók (Twitter és Youtube) mentéseit tartalmazta – beleértve a UNHCR saját anyagait is. A gyűjtemény nyilvános, a böngészés mellett van kulcsszavas és teljes szövegű keresés is, és a szervezet levéltárának Adlib katalógusában szintén megtalálhatóak az archivált tartalmak metaadatai.

----

* [https://webarchive.archive.unhcr.org/ A UNHCR Web Archive honlapja]

[[Category:PROJEKTEK]]

BelgicaWeb (belga)

2024-09-02T08:09:51Z

Admin:

A belga nemzeti könyvtár (KBR) két éves projektje 2024 és 2026 között, melynek során a korábbi [[PROMISE (belga)|PROMISE]] és [[BESOCIAL (belga)|BESOCIAL]] projektek eredményeire építve megoldásokat dolgoznak ki a digitálisan születő belga kultúra megőrzésére, szolgáltatására és kutathatóságára – együttműködve más intézmények szakértőivel. A webes és közösségi média tartalmak gyűjtésén túl egy szolgáltatófelületet és egy API-t is kifejlesztenek, leindexelik és adatgazdagítják az állományt (Linked Data és Natural Language Processing eszközökkel), megvizsgálják a szöveg- és adatbányászati célú felhasználásra vonatkozó EU-s jogi szabályozást, valamint sajtókampányokkal népszerűsítik a webarchiválást.

----

* [https://www.kbr.be/en/projects/belgicaweb/ A projekt weboldala a KBR honlapján]
* [https://www.youtube.com/watch?v=p-IEv1AXzj0 Friedel Geeraert: Web Archiving Update from KBR - Belgium]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

BelgicaWeb (belga)

2024-09-02T08:09:00Z

Admin: Új oldal, tartalma: „A belga nemzeti könyvtár (KBR) két éves projektje 2024 és 2026 között, melynek során a korábbi PROMISE és BESOCIAL projektek eredményeire építve me…”

A belga nemzeti könyvtár (KBR) két éves projektje 2024 és 2026 között, melynek során a korábbi [[PROMISE]] és [[BESOCIAL]] projektek eredményeire építve megoldásokat dolgoznak ki a digitálisan születő belga kultúra megőrzésére, szolgáltatására és kutathatóságára – együttműködve más intézmények szakértőivel. A webes és közösségi média tartalmak gyűjtésén túl egy szolgáltatófelületet és egy API-t is kifejlesztenek, leindexelik és adatgazdagítják az állományt (Linked Data és Natural Language Processing eszközökkel), megvizsgálják a szöveg- és adatbányászati célú felhasználásra vonatkozó EU-s jogi szabályozást, valamint sajtókampányokkal népszerűsítik a webarchiválást.

----

* [https://www.kbr.be/en/projects/belgicaweb/ A projekt weboldala a KBR honlapján]
* [https://www.youtube.com/watch?v=p-IEv1AXzj0 Friedel Geeraert: Web Archiving Update from KBR - Belgium]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

BESOCIAL (belga)

2024-09-02T07:54:39Z

Admin:

A belga nemzeti könyvtár (KBR) 2020-ban indult és két évre tervezett BESOCIAL projektjének keretében (egyetemi és kutatóintézeti partnerekkel együtt) a közösségi média archiválásának és megőrzésének - a fenntarthatóságot is szem előtt tartó - stratégiáját kívánják kialakítani. A fő cél a fontos belgiumi eseményekhez kötődő közösségi média tartalmak archiválása, emellett a projekt kiterjed a KBR hírlapgyűjteményéhez kapcsolódó közösségi oldalakra is. A begyűjtött anyag kutatási célú felhasználását is biztosítani szeretnék. Ez az állomány fontos kiegészítője lehet a 2017-2019 közötti [[PROMISE (belga) | PROMISE]] projekt keretében archivált belga honlapgyűjteménynek. A BESOCIAL előkészítő fázisában felmérték a közösségi média aratásának nemzetközi gyakorlatát is.

----

* [https://www.kbr.be/en/projects/besocial/ A projekt weboldala a KBR honlapján]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

BESOCIAL (belga)

2024-09-02T07:51:02Z

Admin: Admin átnevezte a(z) BESOCIAL lapot a következő névre: BESOCIAL (belga): Nemzeti projekt

A Belga Nemzeti Könyvtár 2020-ban indult és két évre tervezett BESOCIAL projektjének keretében (egyetemi és kutatóintézeti partnerekkel együtt) a közösségi média archiválásának és megőrzésének - a fenntarthatóságot is szem előtt tartó - stratégiáját kívánják kialakítani. A fő cél a fontos belgiumi eseményekhez kötődő közösségi média tartalmak archiválása, emellett a projekt kiterjed a KBR hírlapgyűjteményéhez kapcsolódó közösségi oldalakra is. A begyűjtött anyag kutatási célú felhasználását is biztosítani szeretnék. Ez az állomány fontos kiegészítője lehet a 2017-2019 közötti [[PROMISE (belga) | PROMISE]] projekt keretében archivált belga honlapgyűjteménynek. A BESOCIAL előkészítő fázisában felmérték a közösségi média aratásának nemzetközi gyakorlatát is.

----

* [https://www.kbr.be/en/projects/besocial/ A projekt weboldala]

[[Category:PROJEKTEK]]
[[Category:NEMZETI PROJEKTEK]]

BESOCIAL

2024-09-02T07:51:02Z

Admin: Admin átnevezte a(z) BESOCIAL lapot a következő névre: BESOCIAL (belga): Nemzeti projekt

#ÁTIRÁNYÍTÁS [[BESOCIAL (belga)]]

BESOCIAL (belga)

2024-09-02T07:48:16Z

Admin:

Display Archived Ads

2024-09-02T07:44:29Z

Admin: Új oldal, tartalma: „A Saving Ads projekt keretében készült Python kód, amivel egy WARC fájlból kigyűjthetők a reklámok és megjeleníthetők azok „élő” verziói mell…”

A [[Saving Ads]] projekt keretében készült Python kód, amivel egy [[WARC]] fájlból kigyűjthetők a reklámok és megjeleníthetők azok „élő” verziói mellett, így ellenőrizve, hogy mennyire sikerült őket archiválni.

----

* [https://github.com/savingads/Display-Archived-Ads A Display Archived Ads a GitHub-on]

[[Category:SZOFTVEREK]]

Saving Ads

2024-09-02T07:39:13Z

Admin: Új oldal, tartalma: „A Drexel University és az Old Dominion University kutatóinak két éves projektje (2022-2024), melyben azt vizsgálták, hogy a webarchívumokban mennyire őrződnek…”

A Drexel University és az Old Dominion University kutatóinak két éves projektje (2022-2024), melyben azt vizsgálták, hogy a webarchívumokban mennyire őrződnek meg az online reklámok és milyen technikai nehézségek merülnek fel ezeknek a weboldalakba gyakran dinamikusan beinjektált és személyre szabottan generált hirdetéseknek az archiválásával kapcsolatban.

----

* [https://www.imls.gov/sites/default/files/project-proposals/LG-252362-OLS-22-full-proposal.pdf A Saving Ads projekt tervezete]
* [https://ipres2024.pubpub.org/pub/x38rbwuu/ Christopher Rauch <nowiki>[et al.]</nowiki>: Archiving Digital Marketing]
* [https://www.youtube.com/watch?v=xZQrY4r1oeM Christopher Rauch: Saving Ads: Assessing and Improving Web Archives’ Holdings of Online Ads]

[[Category:PROJEKTEK]]

Szoftvergyűjtemények

2024-09-02T06:37:54Z

Admin:

* [https://apify.com/store Apify Store]
* [https://www.archiveteam.org/index.php?title=Software Archiveteam : Software]
* [https://github.com/iipc/awesome-web-archiving#tools--software Awesome Web Archiving - Tools & Software]
* [https://coptr.digipres.org/index.php/Web COPTR - Community Owned digital Preservation Tool Registry - Web]
* [https://wiki.digitalmethods.net/Dmi/ToolDatabase DMI Tools]
* [http://netpreserve.org/web-archiving/tools-and-software IIPC Tools and Software]
* [http://mementoweb.org/tools Memento Tools]
* [http://www.netlab.dk/services/tools-and-tutorials/ NETLAB - Tools and Tutorials]
* [https://tools.perma.cc/ Perma Tools]
* [https://sbforge.org SBForge Open Source hosting site]
* [https://ils.unc.edu/callee/temp-dc-tools/web-archiving.htm) Web Archiving - Harvesting, Capture, Management, Access]
* [https://github.com/ArchiveBox/ArchiveBox/wiki/Web-Archiving-Community Web Archiving Community]

[[Category:SZOFTVEREK]]

IAB Workshop on AI-CONTROL

2024-09-02T06:13:13Z

Admin:

Az Internet Architecture Board, az IETF (Internet Engineering Task Force) egyik bizottsága által első alkalommal 2024. szeptember 19-20. között megtartott workshopja a nagy nyelvi modellek (LLM) tanításához szükséges adatokat begyűjtő [[crawler]]ek szabályozásáról. A Robots Exclusion Protocol (RFC 9309) szerint a webhely tulajdonosa a [[robots.txt]] fájlban megadott szabályokkal kontrollálhatja a robotok viselkedését, de ezzel a megoldással jelenleg nem lehet külön kezelni a mesterséges intelligencia (AI) modellek fejlesztéséhez használt crawlereket az egyéb (pl. keresőgépek vagy webarchívumok) által működtetett robotoktól. A workshop célja annak megvizsgálása, hogy az AI célú crawling és scraping milyen módon lehetne jogkövetőbb és etikusabb, milyen mechanizmusokkal lehetne biztosítani, hogy a tartalom tulajdonosa az „opt-out” jogát maradéktalanul érvényesíthesse.

----

* [https://datatracker.ietf.org/group/aicontrolws/ A workshop honlapja]

[[Category:RENDEZVÉNYEK]]

IAB Workshop on AI-CONTROL

2024-09-02T06:10:04Z

Admin: Új oldal, tartalma: „Az Internet Architecture Board, az IETF (Internet Engineering Task Force) egyik bizottsága által első alkalommal 2024. szeptember 19-20. között megtartott worksho…”

Az Internet Architecture Board, az IETF (Internet Engineering Task Force) egyik bizottsága által első alkalommal 2024. szeptember 19-20. között megtartott workshopja a nagy nyelvi modellek (LLM) tanításához szükséges adatokat begyűjtő [[crawler]]ek szabályozásáról. A Robots Exclusion Protocol (RFC 9309) szerint a webhely tulajdonosa a [[robots.txt]] fájlban szabályozhatja a robotok viselkedését, de ezzel a megoldással nem lehet külön kezelni a mesterséges intelligencia (AI) modellek fejlesztéséhez használt crawlereket az egyéb (pl. keresőgépek vagy webarchívumok) által működtetett robotoktól. A workshop célja annak megvizsgálása, hogy az AI célú crawling és scraping milyen módon lehetne jogkövetőbb és etikusabb, milyen mechanizmusokkal lehetne biztosítani, hogy a tartalom tulajdonosa az „opt-out” jogát maradéktalanul érvényesíthesse.

----

* [https://datatracker.ietf.org/group/aicontrolws/ A workshop honlapja]

[[Category:RENDEZVÉNYEK]]

WARC-GPT

2024-09-01T17:12:25Z

Admin:

A Harvard Law School Library kísérleti laboratóriuma által fejlesztett eszköz a nagy nyelvi modellek (LLM) felhasználására a webarchívumokban való természetes nyelvű kereséshez. A WARC-GPT többféle LLM rendszerrel is összekapcsolható és azok tudásbázisát RAG (Retrieval Augmented Generation) technikával egészíti ki a [[WARC]] fájlokból kinyert információkkal, így csökkentve a „hallucinálás” jelenségét. A nyílt forráskódú szoftver nagyrészt Python és JavaScript nyelven íródott, saját API és webes felület tartozik hozzá, és interaktív pontfelhődiagram formájában vizualizálni is tudja a vektor beágyazásokat. A chatbot a válasz mellett megadja a felhasznált forrásokat is a releváns szövegrészletekkel együtt, így a felhasználó ellenőrizheti a válasz helyességét és megtalálhatja a számára érdekes részeket a webarchívumon belül.

----

* [https://github.com/harvard-lil/warc-gpt A WARC-GPT a GitHub-on]
* [https://lil.law.harvard.edu/blog/2024/02/12/warc-gpt-an-open-source-tool-for-exploring-web-archives-with-ai/ Matteo Cargnelutti - Kristi Mukk - Clare Stanton: WARC-GPT: An Open-Source Tool for Exploring Web Archives Using AI]
* [https://lil.law.harvard.edu/blog/2024/04/04/a-modest-improvement-to-warc-gpt/ Ben Steinberg: A modest improvement to WARC-GPT]
* [https://www.youtube.com/watch?v=Wq7gzmLjjz0 Matteo Cargnelutti - Kristi Mukk: WARC-GPT: An Open-Source Tool for Exploring Web Archives Using AI]

[[Category:SZOFTVEREK]]