https://webarchivum.oszk.hu/mediawiki/api.php?action=feedcontributions&feedformat=atom&user=Gyula 2026-05-05T05:30:11Z Szerkesztő közreműködései MediaWiki 1.31.16 https://webarchivum.oszk.hu/mediawiki/index.php?title=Brozzler&diff=2020 2025-04-29T14:14:59Z

<p>Gyula: </p> <hr /> <div>= (browser | crawler &lt;nowiki&gt;=&lt;/nowiki&gt; brozzler) =<br /> <br /> Az Internet Archive által fejlesztett, a [[Warcprox]]-hoz kapcsolódó, Pythonban írt [[crawler]], ami a Chrome böngészőt használja [[headless browser]] módban (valamint a youtube-dl nevű Youtube videó-letöltőt is) weboldalak begyűjtésére és a bennük levő linkek kinyerésére, így jobban boldogul a [[RIA]] típusú site-okkal, mint a [[Heritrix]]-féle hagyományos aratógépek. Az [[Archive-It]] szolgáltatás és nemzeti könyvtárak is kísérleteznek vele.<br /> <br /> ----<br /> <br /> * [https://github.com/internetarchive/brozzler A Brozzler a GitHub-on]<br /> * [https://github.com/internetarchive/brozzler/blob/master/job-conf.rst Brozzler Job Configuration]<br /> * [http://web.archive.org/web/20170317132129/http://www.netpreserve.org/sites/default/files/GA07-HEKLA-Jefferson_Bailey_1.pdf Jefferson Bailey - Noah Levitt: BROZZLER!]<br /> * [http://archive.org/~nlevitt/reveal.js Noah Levitt: brozzler]<br /> * [https://support.archive-it.org/hc/en-us/articles/360000343186-What-is-Brozzler- What is Brozzler?] <br /> * [https://support.archive-it.org/hc/en-us/articles/360000351986-How-and-when-to-use-Brozzler How and When to Use Brozzler?]<br /> [[Category:SZOFTVEREK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Brozzler&diff=2019 2025-04-29T14:13:10Z

<p>Gyula: </p> <hr /> <div>= (browser | crawler &lt;nowiki&gt;=&lt;/nowiki&gt; brozzler) =<br /> <br /> Az Internet Archive által fejlesztett, a [[Warcprox]]-hoz kapcsolódó, Pythonban írt [[crawler]], ami a Chrome böngészőt használja [[headless browser]] módban (valamint a youtube-dl nevű Youtube videó-letöltőt is) weboldalak begyűjtésére és a bennük levő linkek kinyerésére, így jobban boldogul a [[RIA]] típusú site-okkal, mint a [[Heritrix]]-féle hagyományos aratógépek. Az [[Archive-It]] szolgáltatás és nemzeti könyvtárak is kísérleteznek vele.<br /> <br /> ----<br /> <br /> * [https://github.com/internetarchive/brozzler A Brozzler a GitHub-on]<br /> * [https://github.com/internetarchive/brozzler/blob/master/job-conf.rst Brozzler Job Configuration]<br /> * [http://web.archive.org/web/20170317132129/http://www.netpreserve.org/sites/default/files/GA07-HEKLA-Jefferson_Bailey_1.pdf Jefferson Bailey - Noah Levitt: BROZZLER!]<br /> * [http://archive.org/~nlevitt/reveal.js Noah Levitt: brozzler]<br /> * [https://support.archive-it.org/hc/en-us/articles/360000343186-What-is-Brozzler- What is Brozzler?] <br /> <br /> [[Category:SZOFTVEREK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Screaming_Frog_SEO_Spider&diff=2018 2024-12-21T07:53:23Z

<p>Gyula: </p> <hr /> <div>Brit cég által Javában fejlesztett, Windows, MacOS és Ubuntu Linux alatt futtatható program annak felmérésére, hogy egy webhely mennyire &quot;keresőbarát&quot;. Mivel a robotja rengeteg adatot összeszed a megadott URL címen levő oldalakról, melyek táblázatos és grafikus formában is megjeleníthetők, ezért archiválandó site-ok szerkezetének előzetes felmérésére, illetve webhelyek metaadatainak tömeges begyűjtésére is jól használható. Az ingyenes verzióban egyszerre max. 500 URL adható meg és sok funkció ki van kapcsolva. <br /> <br /> ----<br /> <br /> * [https://www.screamingfrog.co.uk/seo-spider/ A Screaming Frog SEO Spider weboldala]<br /> <br /> [[Category:SZOFTVEREK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Internet_Archive&diff=1919 2024-08-14T10:41:39Z

<p>Gyula: </p> <hr /> <div>1996-ban San Franciscóban Brewster Kahle által alapított nonprofit szervezet és archívum. A főként az [[Alexa Internet]] cég által gyűjtött tartalomból álló világméretű webarchívuma (ami a [[Wayback Machine]] felületen böngészhető) mellett szövegesdokumentum- (főként digitalizáltkönyv- és periodika-), kép-, hang-, videó- és szoftverarchívuma is van (ezeket részben nagy partnerektől kapják, részben a felhasználók töltik fel). Az [[Archive-It]] nevű szolgáltatásán keresztül megbízásra is végeznek webarchiválást több mint 450 könyvtár és egyéb intézmény számára, továbbá néhány nemzeti könyvtárnak domainszintű aratásokat is csinálnak.&lt;br/&gt;<br /> Az archívum mérete 2024 augusztusában 145 petabájt, amely az alábbiakat foglalja magában:<br /> <br /> * 835 milliárd webhely<br /> * 44 millió könyv és egyéb szöveg<br /> * 15 millió hangfelvétel (255 ezer teljes koncertfelvétellel)<br /> * 10,6 millió videó (2,6 millió televíziós híradással)<br /> * 4,8 millió kép<br /> * 1 millió szoftver/program<br /> <br /> == Történeti adatok ==<br /> <br /> * A webarchívum mérete 2017 júniusában 284 milliárd weboldal és heti 1 milliárddal gyarapodik.<br /> * 2016 októberi adatok: 361 millió webhely, 273 milliárd weboldal, 510 milliárd digitális objektum, kb. 15 petabájt.) A teljes gyűjtemény (vagyis az összes médiatípus) tárhelyigénye 2017 közepén 32 petabájt (mindent legalább két példányban tárolnak).<br /> <br /> ----<br /> <br /> * [http://archive.org Internet Archive honlap]<br /> * [http://blog.archive.org Internet Archive blog]<br /> * [http://webservices.archive.org Internet Archive Web Archiving Services]<br /> * [https://hu.wikipedia.org/wiki/Internet_Archive Wikipédia: Internet Archive]<br /> * [https://en.wikipedia.org/wiki/Internet_Archive Wikipedia: Internet Archive]<br /> <br /> [[Category:PROJEKTEK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Internet_Archive&diff=1918 2024-08-14T10:40:45Z

<p>Gyula: </p> <hr /> <div>1996-ban San Franciscóban Brewster Kahle által alapított nonprofit szervezet és archívum. A főként az [[Alexa Internet]] cég által gyűjtött tartalomból álló világméretű webarchívuma (ami a [[Wayback Machine]] felületen böngészhető) mellett szövegesdokumentum- (főként digitalizáltkönyv- és periodika-), kép-, hang-, videó- és szoftverarchívuma is van (ezeket részben nagy partnerektől kapják, részben a felhasználók töltik fel).&lt;br/&gt;<br /> Az archívum mérete 2024 augusztusában 145 petabájt, amely az alábbiakat foglalja magában:<br /> <br /> * 835 milliárd webhely<br /> * 44 millió könyv és egyéb szöveg<br /> * 15 millió hangfelvétel (255 ezer teljes koncertfelvétellel)<br /> * 10,6 millió videó (2,6 millió televíziós híradással)<br /> * 4,8 millió kép<br /> * 1 millió szoftver/program<br /> <br /> == Történeti adatok ==<br /> <br /> * A webarchívum mérete 2017 júniusában 284 milliárd weboldal és heti 1 milliárddal gyarapodik.<br /> * 2016 októberi adatok: 361 millió webhely, 273 milliárd weboldal, 510 milliárd digitális objektum, kb. 15 petabájt.) A teljes gyűjtemény (vagyis az összes médiatípus) tárhelyigénye 2017 közepén 32 petabájt (mindent legalább két példányban tárolnak). Az [[Archive-It]] nevű szolgáltatásán keresztül megbízásra is végeznek webarchiválást több mint 450 könyvtár és egyéb intézmény számára, továbbá néhány nemzeti könyvtárnak domainszintű aratásokat is csinálnak.<br /> <br /> ----<br /> <br /> * [http://archive.org Internet Archive honlap]<br /> * [http://blog.archive.org Internet Archive blog]<br /> * [http://webservices.archive.org Internet Archive Web Archiving Services]<br /> * [https://hu.wikipedia.org/wiki/Internet_Archive Wikipédia: Internet Archive]<br /> * [https://en.wikipedia.org/wiki/Internet_Archive Wikipedia: Internet Archive]<br /> <br /> [[Category:PROJEKTEK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Internet_Archive&diff=1917 2024-08-14T10:40:10Z

<p>Gyula: </p> <hr /> <div>1996-ban San Franciscóban Brewster Kahle által alapított nonprofit szervezet és archívum. A főként az [[Alexa Internet]] cég által gyűjtött tartalomból álló világméretű webarchívuma (ami a [[Wayback Machine]] felületen böngészhető) mellett szövegesdokumentum- (főként digitalizáltkönyv- és periodika-), kép-, hang-, videó- és szoftverarchívuma is van (ezeket részben nagy partnerektől kapják, részben a felhasználók töltik fel).<br /> Az archívum mérete 2024 augusztusában 145 petabájt, amely az alábbiakat foglalja magában:<br /> <br /> * 835 milliárd webhely<br /> * 44 millió könyv és egyéb szöveg<br /> * 15 millió hangfelvétel (255 ezer teljes koncertfelvétellel)<br /> * 10,6 millió videó (2,6 millió televíziós híradással)<br /> * 4,8 millió kép<br /> * 1 millió szoftver/program<br /> <br /> ## Történeti adatok<br /> * A webarchívum mérete 2017 júniusában 284 milliárd weboldal és heti 1 milliárddal gyarapodik.<br /> * 2016 októberi adatok: 361 millió webhely, 273 milliárd weboldal, 510 milliárd digitális objektum, kb. 15 petabájt.) A teljes gyűjtemény (vagyis az összes médiatípus) tárhelyigénye 2017 közepén 32 petabájt (mindent legalább két példányban tárolnak). Az [[Archive-It]] nevű szolgáltatásán keresztül megbízásra is végeznek webarchiválást több mint 450 könyvtár és egyéb intézmény számára, továbbá néhány nemzeti könyvtárnak domainszintű aratásokat is csinálnak.<br /> <br /> ----<br /> <br /> * [http://archive.org Internet Archive honlap]<br /> * [http://blog.archive.org Internet Archive blog]<br /> * [http://webservices.archive.org Internet Archive Web Archiving Services]<br /> * [https://hu.wikipedia.org/wiki/Internet_Archive Wikipédia: Internet Archive]<br /> * [https://en.wikipedia.org/wiki/Internet_Archive Wikipedia: Internet Archive]<br /> <br /> [[Category:PROJEKTEK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Internet_Archive&diff=1916 2024-08-14T10:34:50Z

<p>Gyula: </p> <hr /> <div>1996-ban San Franciscóban Brewster Kahle által alapított nonprofit szervezet és archívum. A főként az [[Alexa Internet]] cég által gyűjtött tartalomból álló világméretű webarchívuma (ami a [[Wayback Machine]] felületen böngészhető) mellett szövegesdokumentum- (főként digitalizáltkönyv- és periodika-), kép-, hang-, videó- és szoftverarchívuma is van (ezeket részben nagy partnerektől kapják, részben a felhasználók töltik fel). A webarchívum mérete 2017 júniusában 284 milliárd weboldal és heti 1 milliárddal gyarapodik. (2016 októberi adatok: 361 millió webhely, 273 milliárd weboldal, 510 milliárd digitális objektum, kb. 15 petabájt.) A teljes gyűjtemény (vagyis az összes médiatípus) tárhelyigénye 2017 közepén 32 petabájt (mindent legalább két példányban tárolnak). Az [[Archive-It]] nevű szolgáltatásán keresztül megbízásra is végeznek webarchiválást több mint 450 könyvtár és egyéb intézmény számára, továbbá néhány nemzeti könyvtárnak domainszintű aratásokat is csinálnak.<br /> <br /> ----<br /> <br /> * [http://archive.org Internet Archive honlap]<br /> * [http://blog.archive.org Internet Archive blog]<br /> * [http://webservices.archive.org Internet Archive Web Archiving Services]<br /> * [https://hu.wikipedia.org/wiki/Internet_Archive Wikipédia: Internet Archive]<br /> * [https://en.wikipedia.org/wiki/Internet_Archive Wikipedia: Internet Archive]<br /> <br /> [[Category:PROJEKTEK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Apify&diff=1915 2024-08-14T10:26:37Z

<p>Gyula: /* (korábban: Apifier) */</p> <hr /> <div>= (korábban: Apifier) =<br /> <br /> Prágai cég által fejlesztett szoftvercsomag, valamint fizetős felhőszolgáltatás különféle webes feladatok automatizálására: például űrlapok kitöltésére, fájlok feltöltésére, webes szolgáltatások API-kon keresztül való összekapcsolására, adatfeldolgozásra. Tartozik hozzá egy Chrome-alapú [[crawler]] és olyan [[web scraping]] eszközökkel is bővíthető, melyeket egy programozó közösség készít. Már rengeteg API-hoz van ilyen ''actor'' modul (pl. Google, Google Maps, Instagram, Facebook, YouTube, Twitter). A kitiltások ellen egy HTTP proxy véd, amivel elrejthetők a robotokat futtató IP címek, az adatok tárolására pedig felhőtárhelyet biztosítanak. A cég egy open source, Node.js-alapú rendszerfejlesztői könyvtárat is gondoz a különböző web scraping és böngészőautomatizálási feladatokhoz.<br /> <br /> ----<br /> <br /> * [https://apify.com/ Az Apify honlapja]<br /> * [https://github.com/apify Az Apify a GitHub-on]<br /> <br /> [[Category:SZOLGÁLTATÁSOK]]<br /> [[Category:SZOFTVEREK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=MIA_WIKI&diff=1803 2023-10-19T06:11:34Z

<p>Gyula: szervezeti információ frissítése</p> <hr /> <div>== ''A Magyar Internet Archívumhoz készülő tudásbázis '' ==<br /> <br /> ----<br /> <br /> {|style=&quot;width: 55%; margin: auto;&quot;<br /> | colspan=&quot;2&quot; style=&quot;text-align:left; padding-left: 17pt;&quot; | A JELENLEGI [[:Category:MIA WIKI KATEGÓRIÁK|KATEGÓRIÁK]] ÉS SZÓCIKKEIK SZÁMA:<br /> |-<br /> |<br /> * [[:Category:FOGALMAK|FOGALMAK]] / {{PAGESINCATEGORY:FOGALMAK}}<br /> * [[:Category:FORMÁTUMOK|FORMÁTUMOK]] / {{PAGESINCATEGORY:FORMÁTUMOK}}<br /> * [[:Category:FÓRUMOK|FÓRUMOK]] / {{PAGESINCATEGORY:FÓRUMOK}}<br /> * [[:Category:HASZNOSÍTÁS|HASZNOSÍTÁS]] / {{PAGESINCATEGORY:HASZNOSÍTÁS}}<br /> * [[:Category:IRODALOM|IRODALOM]] / {{PAGESINCATEGORY:IRODALOM}}<br /> * [[:Category:PROJEKTEK|PROJEKTEK]] / {{PAGESINCATEGORY:PROJEKTEK}}<br /> |<br /> * [[:Category:RENDEZVÉNYEK|RENDEZVÉNYEK]] / {{PAGESINCATEGORY:RENDEZVÉNYEK}}<br /> * [[:Category:SZABVÁNYOK|SZABVÁNYOK]] / {{PAGESINCATEGORY:SZABVÁNYOK}}<br /> * [[:Category:SZERVEZETEK|SZERVEZETEK]] / {{PAGESINCATEGORY:SZERVEZETEK}}<br /> * [[:Category:SZOFTVEREK|SZOFTVEREK]] / {{PAGESINCATEGORY:SZOFTVEREK}}<br /> * [[:Category:SZOLGÁLTATÁSOK|SZOLGÁLTATÁSOK]] / {{PAGESINCATEGORY:SZOLGÁLTATÁSOK}}<br /> * [[Speciális:Az_összes_lap_listája|''Az összes szócikk listája'']]<br /> |}<br /> [[Fájl:3D_wall.png|center]]<br /> {| class=&quot;wikitable&quot; style=&quot;margin-left: auto; margin-right: 0px;&quot;<br /> | Szerkesztők: Drótos László - Kalcsó Gyula &lt;br /&gt;[http://www.oszk.hu OSZK] - [https://webarchivum.oszk.hu/a-projektrol/munkatarsak-es-segitok/ Digitális Filológiai és Webarchiválási Osztály]&lt;br /&gt;Információs e-mail cím: [mailto:webarchivum@oszk.hu webarchivum@oszk.hu]&lt;br /&gt;Projekt honlap: https://webarchivum.oszk.hu&lt;br /&gt;Creative Commons licenc: [https://creativecommons.org/licenses/by-nc-sa/2.5/hu/ by-nc-sa/2.5] <br /> |}</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=StormCrawler&diff=1802 2023-10-02T08:25:46Z

<p>Gyula: </p> <hr /> <div>A brit [[DigitalPebble]] cég által támogatott, 2014 óta fejlesztett, nagyrészt Java nyelvű open source programkönyvtár és eszközkészlet alacsony késleltetésű, rugalmas, jól skálázható, könnyen bővíthető, udvarias, de hatékony [[crawler]]-ek készítéséhez, melyek az Elasticsearch rendszert és az adatfolyamokat valós időben feldolgozó Apache Storm technológiát használják (ezért az Apache Mavent is telepíteni kell hozzá).<br /> <br /> ----<br /> <br /> * [http://stormcrawler.net/ A StormCrawler honlapja]<br /> * [https://github.com/DigitalPebble/storm-crawler StormCrawler a GitHub-on]<br /> <br /> [[Category:SZOFTVEREK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Crawler&diff=1801 2023-09-04T12:13:49Z

<p>Gyula: /* (spider, web robot, bot, harvester) */</p> <hr /> <div>= (spider, web robot, bot, harvester) =<br /> <br /> A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel:<br /> * Milyen mélységig kövesse a linkeket egy webhelyen belül?<br /> * Kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig?<br /> * Milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan?<br /> * Milyen gyakorisággal térjen vissza ugyanarra a webhelyre?<br /> * Figyelembe vegye-e a [[robots txt|robots.txt]]-ben megadott tiltásokat?<br /> <br /> ----<br /> <br /> * [https://hu.wikipedia.org/wiki/Keres%C5%91robot Wikipédia: Keresőrobot]<br /> * [https://en.wikipedia.org/wiki/Web_crawler Wikipedia: Web crawler]<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Crawler&diff=1800 2023-09-04T12:13:25Z

<p>Gyula: /* (spider, web robot, bot, harvester) */</p> <hr /> <div>= (spider, web robot, bot, harvester) =<br /> <br /> A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel:<br /> * milyen mélységig kövesse a linkeket egy webhelyen belül?<br /> * kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig?<br /> * milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan?<br /> * milyen gyakorisággal térjen vissza ugyanarra a webhelyre?<br /> * figyelembe vegye-e a [[robots txt|robots.txt]]-ben megadott tiltásokat?<br /> <br /> ----<br /> <br /> * [https://hu.wikipedia.org/wiki/Keres%C5%91robot Wikipédia: Keresőrobot]<br /> * [https://en.wikipedia.org/wiki/Web_crawler Wikipedia: Web crawler]<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Crawler&diff=1799 2023-09-04T12:12:12Z

<p>Gyula: /* (spider, web robot, bot, harvester) */</p> <hr /> <div>= (spider, web robot, bot, harvester) =<br /> <br /> A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel: milyen mélységig kövesse a linkeket egy webhelyen belül? kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig? milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan? milyen gyakorisággal térjen vissza ugyanarra a webhelyre? figyelembe vegye-e a [[robots txt|robots.txt]]-ben megadott tiltásokat?<br /> <br /> ----<br /> <br /> * [https://hu.wikipedia.org/wiki/Keres%C5%91robot Wikipédia: Keresőrobot]<br /> * [https://en.wikipedia.org/wiki/Web_crawler Wikipedia: Web crawler]<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Webarchief_KB_(holland)&diff=1722 2023-03-05T19:06:52Z

<p>Gyula: </p> <hr /> <div>A holland nemzeti könyvtár, a Koninklijke Bibliotheek 2007 szeptemberétől működő szelektív webarchívuma. Elsősorban a tudományos és kulturális, továbbá az innovatív webhelyekre koncentrálnak a válogatáskor (mert a politikai ill. az audiovizuális tartalmakat más holland webarchívumok mentik), és engedélyt kérnek a robottal való bejáráshoz, a lementéshez és a szolgáltatáshoz. A tartalomgazdának 4 hete van egy [[opt-out]] nyilatkozat visszaküldésével megtagadni ezt. A felhasználók is javasolhatnak megőrzésre érdemes honlapot. Egy webhelyet évente egyszer-kétszer archiválnak, de a főbb hírportálokat naponta, viszont csak hónapok múlva válik a mentés visszakereshetővé. A [[Heritrix]] és [[Wayback]] párost használják, de még fejlesztik a rendszert. A [[Heritrix]] részben [[polite crawler]] módban dolgozik: ötször annyi ideig vár a következő kéréssel, mint amennyire az előző kérés teljesítéséhez szüksége volt a webszervernek, de a [[robots txt|robots.txt]]-t figyelmen kívül hagyják (hacsak a site gazdája külön nem kifogásolja), mert a tapasztalatok szerint sokszor nem szándékosan vannak kitiltva a robotok, csak mert ez a webszerver vagy a CMS rendszer alapbeállítása.<br /> <br /> Az .nl top domain teljes aratásával nem próbálkoznak, túl nagy a feladat (5.74 millió regisztrált domain) és inkább kevés, de teljes értékű mentést akarnak, sok töredékes helyett. 2017 elején 12 ezer webhelyről 25 terabájt adatot tároltak (ezek negyede már időközben eltűnt az [[live web|élő web]]ről). Hozzáférés (2011 óta) csak helyben lehetséges, jogi okok miatt (nincs még kötelespéldány szabály a webes tartalmakra), de saját célra lehet másolatot készíteni.<br /> <br /> ----<br /> <br /> * [https://www.kb.nl/en/about-us/expertise/web-archiving A webarchiválás angol nyelvű ismertetője a könyvtár honlapján]<br /> <br /> [[Category:PROJEKTEK]]<br /> [[Category:NEMZETI PROJEKTEK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Webarchief_KB_(holland)&diff=1721 2023-03-05T19:06:42Z

<p>Gyula: </p> <hr /> <div>A holland nemzeti könyvtár, a Koninklijke Bibliotheek 2007 szeptemberétől működő szelektív webarchívuma. Elsősorban a tudományos és kulturális, továbbá az innovatív webhelyekre koncentrálnak a válogatáskor (mert a politikai ill. az audiovizuális tartalmakat más holland webarchívumok mentik), és engedélyt kérnek a robottal való bejáráshoz, a lementéshez és a szolgáltatáshoz. A tartalomgazdának 4 hete van egy [[opt-out]] nyilatkozat visszaküldésével megtagadni ezt. A felhasználók is javasolhatnak megőrzésre érdemes honlapot. Egy webhelyet évente egyszer-kétszer archiválnak, de a főbb hírportálokat naponta, viszont csak hónapok múlva válik a mentés visszakereshetővé. A [[Heritrix]] és [[Wayback]] párost használják, de még fejlesztik a rendszert. A [[Heritrix]] részben [[polite crawler]] módban dolgozik: ötször annyi ideig vár a következő kéréssel, mint amennyire az előző kérés teljesítéséhez szüksége volt a webszervernek, de a [[robots txt|robots.txt]]-t figyelmen kívül hagyják (hacsak a site gazdája külön nem kifogásolja), mert a tapasztalatok szerint sokszor nem szándékosan vannak kitiltva a robotok, csak mert ez a webszerver vagy a CMS rendszer alapbeállítása.<br /> <br /> Az .nl top domain teljes aratásával nem próbálkoznak, túl nagy a feladat (5.74 millió regisztrált domain) és inkább kevés, de teljes értékű mentést akarnak, sok töredékes helyett. 2017 elején 12 ezer webhelyről 25 terabájt adatot tároltak (ezek negyede már időközben eltűnt az [[live web|élő web]]ről). Hozzáférés (2011 óta) csak helyben lehetséges, jogi okok miatt (nincs még kötelespéldány szabály a webes tartalmakra), de saját célra lehet másolatot készíteni.<br /> <br /> ----<br /> <br /> * [ A Webarchief KB honlapja]<br /> * [https://www.kb.nl/en/about-us/expertise/web-archiving A webarchiválás angol nyelvű ismertetője a könyvtár honlapján]<br /> <br /> [[Category:PROJEKTEK]]<br /> [[Category:NEMZETI PROJEKTEK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Webarchief_KB_(holland)&diff=1720 2023-03-05T19:06:33Z

<p>Gyula: </p> <hr /> <div>A holland nemzeti könyvtár, a Koninklijke Bibliotheek 2007 szeptemberétől működő szelektív webarchívuma. Elsősorban a tudományos és kulturális, továbbá az innovatív webhelyekre koncentrálnak a válogatáskor (mert a politikai ill. az audiovizuális tartalmakat más holland webarchívumok mentik), és engedélyt kérnek a robottal való bejáráshoz, a lementéshez és a szolgáltatáshoz. A tartalomgazdának 4 hete van egy [[opt-out]] nyilatkozat visszaküldésével megtagadni ezt. A felhasználók is javasolhatnak megőrzésre érdemes honlapot. Egy webhelyet évente egyszer-kétszer archiválnak, de a főbb hírportálokat naponta, viszont csak hónapok múlva válik a mentés visszakereshetővé. A [[Heritrix]] és [[Wayback]] párost használják, de még fejlesztik a rendszert. A [[Heritrix]] részben [[polite crawler]] módban dolgozik: ötször annyi ideig vár a következő kéréssel, mint amennyire az előző kérés teljesítéséhez szüksége volt a webszervernek, de a [[robots txt|robots.txt]]-t figyelmen kívül hagyják (hacsak a site gazdája külön nem kifogásolja), mert a tapasztalatok szerint sokszor nem szándékosan vannak kitiltva a robotok, csak mert ez a webszerver vagy a CMS rendszer alapbeállítása.<br /> <br /> Az .nl top domain teljes aratásával nem próbálkoznak, túl nagy a feladat (5.74 millió regisztrált domain) és inkább kevés, de teljes értékű mentést akarnak, sok töredékes helyett. 2017 elején 12 ezer webhelyről 25 terabájt adatot tároltak (ezek negyede már időközben eltűnt az [[live web|élő web]]ről). Hozzáférés (2011 óta) csak helyben lehetséges, jogi okok miatt (nincs még kötelespéldány szabály a webes tartalmakra), de saját célra lehet másolatot készíteni.<br /> <br /> ----<br /> <br /> * [webaccess.kb.nl:8080/archived/ A Webarchief KB honlapja]<br /> * [https://www.kb.nl/en/about-us/expertise/web-archiving A webarchiválás angol nyelvű ismertetője a könyvtár honlapján]<br /> <br /> [[Category:PROJEKTEK]]<br /> [[Category:NEMZETI PROJEKTEK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Arch%C3%ADvumt%C3%ADpusok&diff=1707 2023-03-01T12:36:14Z

<p>Gyula: /* Az archiváló szerint */</p> <hr /> <div>Az interneten található tartalom megőrzésének többféle módszere alakult ki, és előfordul, hogy ezek egy archívumon belül is keverednek, részhalmazokat alkotva a teljes gyűjteményen belül. A típusok csoportosíthatók:<br /> <br /> == Gyűjtőkör szerint ==<br /> <br /> * '''szelektív''' (valamilyen szempontrendszer szerint válogatott webhelyek, weboldalak, vagy akár egyedi dokumentumok)<br /> ** általános kategóriák (pl. oktatási, tudományos, kormányzati webhelyek)<br /> ** szűkebb témák (pl. adott szakterülethez, földrajzi helyhez, intézményhez, személyhez kötődő tartalmak)<br /> ** események (pl. választások, katasztrófák, háborúk idején minden róluk megjelent tartalom)<br /> ** műfaj (pl. e-folyóiratok, hírportálok, Twitter-üzenetek, Facebook-oldalak, videók)<br /> * '''teljes körű''' (a lehatárolás csak automatikus módszerekkel történik, azon belül teljességre törekedve)<br /> ** világméretű (minden nyilvánosan elérhető online tartalom)<br /> ** világrész méretű (pl. Ausztrália és Óceánia, Skandinávia)<br /> ** nemzeti szintű (pl. a [[CcTLD|top-level ország-domain]] alatti, vagy az adott ország állampolgárai/intézményei által bejegyzett domain-ek alatti webhelyek, vagy az adott nemzeti nyelven íródott tartalmak, illetve az adott országgal és nemzettel kapcsolatos tartalmak bármely domain alatt)<br /> ** egyéb domainre vagy subdomainre kiterjedő (pl. minden .gov vagy minden ac.uk alatti webhely)<br /> <br /> == Az archiváló szerint ==<br /> <br /> * '''magánarchívum''' (pl. az illető által létrehozott és/vagy vele kapcsolatos, őt érdeklő online tartalmak lementései)<br /> * '''céges archívum''' (pl. egy adott vállalat által létrehozott és/vagy vele, illetve a versenytársaival/piacával kapcsolatos online tartalmak lementései)<br /> * '''intézményi archívum''' (pl. egy könyvtár gyűjtőkörébe tartozó vagy egy kutatóintézet szakterületéhez kapcsolódó webes tartalmak gyűjteménye)<br /> * '''országos archívum''' (pl. a nemzeti örökség hosszú távú megőrzése céljából a nemzeti könyvtár vagy levéltár vagy valamilyen konzorcium által fenntartott archívum)<br /> <br /> == A tárolási mód szerint ==<br /> <br /> * '''fájlrendszerbe mentés''' (a weboldalt alkotó fájlok egyenkénti tárolása, az eredeti fájlnevek megőrzésével vagy átnevezésével, és a linkek relatívvá tételével, hogy az archív példány is navigálható maradjon)<br /> * '''archív állományba mentés''' (a weboldalakat alkotó objektumoknak és azok technikai metaadatainak nagy fájlokba mentése pl. [[WARC]] formátumú csomagokat képezve)<br /> * '''egységes formátumba mentés''' (a weboldalak tartalmának és/vagy kinézetének megőrzése azok eredeti szerkezetének megtartása nélkül, pl. egységesen XML formátumra konvertálva, vagy [[PDF A|PDF/A]] fájlba &quot;nyomtatva&quot; őket, vagy pl. PNG képeket készítve róluk)<br /> * '''adatbázisba mentés''' (elsősorban nem webhelyek, hanem pl. elektronikus levelek, tweetek, blogbejegyzések, Facebook-postok, hírportálokról letöltött cikkek stb. adatbázis-rekordokként való tárolása)<br /> <br /> == A mentés módja szerint ==<br /> <br /> * '''aratással''' (egy [[crawler]] végzi a gyűjtést az eredeti webhelyről vagy a szolgáltató által &quot;crawler-baráttá&quot; tett felületről vagy RSS-feedről – beállított paraméterek szerint követve a linkeket és archív csomagokat képezve)<br /> * '''letöltőalkalmazással''' (egy weboldalak lementésére készült szoftverrel vagy böngészőkiegészítővel adott weboldal, vagy adott webhely, vagy adott URL címlista lementése, rendszerint fájlrendszerbe)<br /> * '''push technikával''' (a tartalmat vagy az eredeti szolgáltató szerver küldi be az archívumba, valamilyen szabványos adatcsere protokollon keresztül, pl. rendszeresen tükrözve a teljes site-ot/adatbázist vagy annak XML-be kimentett tartalmát, ill. csak az újdonságokat/változásokat, vagy valamilyen proxy szerver küld be egy másolatot az archívumba minden rajta áthaladó (a felhasználók kliensei által kért) digitális objektumból.<br /> * '''depozitként''' (az eredeti tartalomgazdák valamilyen offline hordozón adják be alkalmanként a webhelyük tartalmának aktuális másolatát, vagy egy személy/örököse küldi be az online anyagait digitális hagyatékként)<br /> <br /> == Gyakoriság és idődimenzió szerint ==<br /> <br /> * '''ismétlődő mentések hosszú távú megőrzéssel''' (egy-egy website rendszeres mentése, lehetőleg a webhely változékonyságához optimalizálva, adott időpontbeli állapot visszaállításának lehetőségével, hosszú távra tervezve)<br /> * '''ismétlődő mentések az utolsó állapotot megőrizve''' (egy-egy website rendszeres mentése, de a korábbi változatok megőrzése nélkül, pl. a keresőrendszerek számára szükséges indexeléshez, vagy pl. egy piaci szegmens aktuális állapotát kutató adatbányászathoz)<br /> * '''egyedi vagy alkalmi mentések''' (egy-egy webhely, vagy weblap, vagy webkettes tartalom, vagy dokumentum egyszeri vagy alkalomszerű mentése (pl. hogy egy publikációban stabil URI-val lehessen rá hivatkozni, vagy hogy bizonyítékként felhasználható legyen egy jogi eljárásban)<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Arch%C3%ADvumt%C3%ADpusok&diff=1706 2023-03-01T12:35:18Z

<p>Gyula: /* Az archiváló szerint */</p> <hr /> <div>Az interneten található tartalom megőrzésének többféle módszere alakult ki, és előfordul, hogy ezek egy archívumon belül is keverednek, részhalmazokat alkotva a teljes gyűjteményen belül. A típusok csoportosíthatók:<br /> <br /> == Gyűjtőkör szerint ==<br /> <br /> * '''szelektív''' (valamilyen szempontrendszer szerint válogatott webhelyek, weboldalak, vagy akár egyedi dokumentumok)<br /> ** általános kategóriák (pl. oktatási, tudományos, kormányzati webhelyek)<br /> ** szűkebb témák (pl. adott szakterülethez, földrajzi helyhez, intézményhez, személyhez kötődő tartalmak)<br /> ** események (pl. választások, katasztrófák, háborúk idején minden róluk megjelent tartalom)<br /> ** műfaj (pl. e-folyóiratok, hírportálok, Twitter-üzenetek, Facebook-oldalak, videók)<br /> * '''teljes körű''' (a lehatárolás csak automatikus módszerekkel történik, azon belül teljességre törekedve)<br /> ** világméretű (minden nyilvánosan elérhető online tartalom)<br /> ** világrész méretű (pl. Ausztrália és Óceánia, Skandinávia)<br /> ** nemzeti szintű (pl. a [[CcTLD|top-level ország-domain]] alatti, vagy az adott ország állampolgárai/intézményei által bejegyzett domain-ek alatti webhelyek, vagy az adott nemzeti nyelven íródott tartalmak, illetve az adott országgal és nemzettel kapcsolatos tartalmak bármely domain alatt)<br /> ** egyéb domainre vagy subdomainre kiterjedő (pl. minden .gov vagy minden ac.uk alatti webhely)<br /> <br /> == Az archiváló szerint ==<br /> <br /> * '''magánarchívum''' (pl. az illető által létrehozott és/vagy vele kapcsolatos, őt érdeklő online tartalmak lementései)<br /> * '''céges archívum''' (pl. egy adott vállalat által létrehozott és/vagy vele, illetve a versenytársaival/piacával kapcsolatos online tartalmak lementései)<br /> * '''intézményi archívum''' (pl. egy könyvtár gyűjtőkörébe tartozó vagy egy kutatóintézet szakterületéhez kapcsolódó webes tartalmak gyűjteménye)<br /> * '''országos archívum''' (pl. a nemzeti örökség hosszú távú megőrzése céljából a nemzeti könyvtár, vagy levéltár, vagy valamilyen konzorcium által fenntartott archívum)<br /> <br /> == A tárolási mód szerint ==<br /> <br /> * '''fájlrendszerbe mentés''' (a weboldalt alkotó fájlok egyenkénti tárolása, az eredeti fájlnevek megőrzésével vagy átnevezésével, és a linkek relatívvá tételével, hogy az archív példány is navigálható maradjon)<br /> * '''archív állományba mentés''' (a weboldalakat alkotó objektumoknak és azok technikai metaadatainak nagy fájlokba mentése pl. [[WARC]] formátumú csomagokat képezve)<br /> * '''egységes formátumba mentés''' (a weboldalak tartalmának és/vagy kinézetének megőrzése azok eredeti szerkezetének megtartása nélkül, pl. egységesen XML formátumra konvertálva, vagy [[PDF A|PDF/A]] fájlba &quot;nyomtatva&quot; őket, vagy pl. PNG képeket készítve róluk)<br /> * '''adatbázisba mentés''' (elsősorban nem webhelyek, hanem pl. elektronikus levelek, tweetek, blogbejegyzések, Facebook-postok, hírportálokról letöltött cikkek stb. adatbázis-rekordokként való tárolása)<br /> <br /> == A mentés módja szerint ==<br /> <br /> * '''aratással''' (egy [[crawler]] végzi a gyűjtést az eredeti webhelyről vagy a szolgáltató által &quot;crawler-baráttá&quot; tett felületről vagy RSS-feedről – beállított paraméterek szerint követve a linkeket és archív csomagokat képezve)<br /> * '''letöltőalkalmazással''' (egy weboldalak lementésére készült szoftverrel vagy böngészőkiegészítővel adott weboldal, vagy adott webhely, vagy adott URL címlista lementése, rendszerint fájlrendszerbe)<br /> * '''push technikával''' (a tartalmat vagy az eredeti szolgáltató szerver küldi be az archívumba, valamilyen szabványos adatcsere protokollon keresztül, pl. rendszeresen tükrözve a teljes site-ot/adatbázist vagy annak XML-be kimentett tartalmát, ill. csak az újdonságokat/változásokat, vagy valamilyen proxy szerver küld be egy másolatot az archívumba minden rajta áthaladó (a felhasználók kliensei által kért) digitális objektumból.<br /> * '''depozitként''' (az eredeti tartalomgazdák valamilyen offline hordozón adják be alkalmanként a webhelyük tartalmának aktuális másolatát, vagy egy személy/örököse küldi be az online anyagait digitális hagyatékként)<br /> <br /> == Gyakoriság és idődimenzió szerint ==<br /> <br /> * '''ismétlődő mentések hosszú távú megőrzéssel''' (egy-egy website rendszeres mentése, lehetőleg a webhely változékonyságához optimalizálva, adott időpontbeli állapot visszaállításának lehetőségével, hosszú távra tervezve)<br /> * '''ismétlődő mentések az utolsó állapotot megőrizve''' (egy-egy website rendszeres mentése, de a korábbi változatok megőrzése nélkül, pl. a keresőrendszerek számára szükséges indexeléshez, vagy pl. egy piaci szegmens aktuális állapotát kutató adatbányászathoz)<br /> * '''egyedi vagy alkalmi mentések''' (egy-egy webhely, vagy weblap, vagy webkettes tartalom, vagy dokumentum egyszeri vagy alkalomszerű mentése (pl. hogy egy publikációban stabil URI-val lehessen rá hivatkozni, vagy hogy bizonyítékként felhasználható legyen egy jogi eljárásban)<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Arch%C3%ADvumt%C3%ADpusok&diff=1705 2023-03-01T12:33:35Z

<p>Gyula: </p> <hr /> <div>Az interneten található tartalom megőrzésének többféle módszere alakult ki, és előfordul, hogy ezek egy archívumon belül is keverednek, részhalmazokat alkotva a teljes gyűjteményen belül. A típusok csoportosíthatók:<br /> <br /> == Gyűjtőkör szerint ==<br /> <br /> * '''szelektív''' (valamilyen szempontrendszer szerint válogatott webhelyek, weboldalak, vagy akár egyedi dokumentumok)<br /> ** általános kategóriák (pl. oktatási, tudományos, kormányzati webhelyek)<br /> ** szűkebb témák (pl. adott szakterülethez, földrajzi helyhez, intézményhez, személyhez kötődő tartalmak)<br /> ** események (pl. választások, katasztrófák, háborúk idején minden róluk megjelent tartalom)<br /> ** műfaj (pl. e-folyóiratok, hírportálok, Twitter-üzenetek, Facebook-oldalak, videók)<br /> * '''teljes körű''' (a lehatárolás csak automatikus módszerekkel történik, azon belül teljességre törekedve)<br /> ** világméretű (minden nyilvánosan elérhető online tartalom)<br /> ** világrész méretű (pl. Ausztrália és Óceánia, Skandinávia)<br /> ** nemzeti szintű (pl. a [[CcTLD|top-level ország-domain]] alatti, vagy az adott ország állampolgárai/intézményei által bejegyzett domain-ek alatti webhelyek, vagy az adott nemzeti nyelven íródott tartalmak, illetve az adott országgal és nemzettel kapcsolatos tartalmak bármely domain alatt)<br /> ** egyéb domainre vagy subdomainre kiterjedő (pl. minden .gov vagy minden ac.uk alatti webhely)<br /> <br /> == Az archiváló szerint ==<br /> <br /> * '''magán archívum''' (pl. az illető által létrehozott és/vagy vele kapcsolatos, őt érdeklő online tartalmak lementései)<br /> * '''céges archívum''' (pl. egy adott vállalat által létrehozott és/vagy vele, illetve a versenytársaival/piacával kapcsolatos online tartalmak lementései)<br /> * '''intézményi archívum''' (pl. egy könyvtár gyűjtőkörébe tartozó vagy egy kutatóintézet szakterületéhez kapcsolódó webes tartalmak gyűjteménye)<br /> * '''országos archívum''' (pl. a nemzeti örökség hosszú távú megőrzése céljából a nemzeti könyvtár, vagy levéltár, vagy valamilyen konzorcium által fenntartott archívum)<br /> <br /> == A tárolási mód szerint ==<br /> <br /> * '''fájlrendszerbe mentés''' (a weboldalt alkotó fájlok egyenkénti tárolása, az eredeti fájlnevek megőrzésével vagy átnevezésével, és a linkek relatívvá tételével, hogy az archív példány is navigálható maradjon)<br /> * '''archív állományba mentés''' (a weboldalakat alkotó objektumoknak és azok technikai metaadatainak nagy fájlokba mentése pl. [[WARC]] formátumú csomagokat képezve)<br /> * '''egységes formátumba mentés''' (a weboldalak tartalmának és/vagy kinézetének megőrzése azok eredeti szerkezetének megtartása nélkül, pl. egységesen XML formátumra konvertálva, vagy [[PDF A|PDF/A]] fájlba &quot;nyomtatva&quot; őket, vagy pl. PNG képeket készítve róluk)<br /> * '''adatbázisba mentés''' (elsősorban nem webhelyek, hanem pl. elektronikus levelek, tweetek, blogbejegyzések, Facebook-postok, hírportálokról letöltött cikkek stb. adatbázis-rekordokként való tárolása)<br /> <br /> == A mentés módja szerint ==<br /> <br /> * '''aratással''' (egy [[crawler]] végzi a gyűjtést az eredeti webhelyről vagy a szolgáltató által &quot;crawler-baráttá&quot; tett felületről vagy RSS-feedről – beállított paraméterek szerint követve a linkeket és archív csomagokat képezve)<br /> * '''letöltőalkalmazással''' (egy weboldalak lementésére készült szoftverrel vagy böngészőkiegészítővel adott weboldal, vagy adott webhely, vagy adott URL címlista lementése, rendszerint fájlrendszerbe)<br /> * '''push technikával''' (a tartalmat vagy az eredeti szolgáltató szerver küldi be az archívumba, valamilyen szabványos adatcsere protokollon keresztül, pl. rendszeresen tükrözve a teljes site-ot/adatbázist vagy annak XML-be kimentett tartalmát, ill. csak az újdonságokat/változásokat, vagy valamilyen proxy szerver küld be egy másolatot az archívumba minden rajta áthaladó (a felhasználók kliensei által kért) digitális objektumból.<br /> * '''depozitként''' (az eredeti tartalomgazdák valamilyen offline hordozón adják be alkalmanként a webhelyük tartalmának aktuális másolatát, vagy egy személy/örököse küldi be az online anyagait digitális hagyatékként)<br /> <br /> == Gyakoriság és idődimenzió szerint ==<br /> <br /> * '''ismétlődő mentések hosszú távú megőrzéssel''' (egy-egy website rendszeres mentése, lehetőleg a webhely változékonyságához optimalizálva, adott időpontbeli állapot visszaállításának lehetőségével, hosszú távra tervezve)<br /> * '''ismétlődő mentések az utolsó állapotot megőrizve''' (egy-egy website rendszeres mentése, de a korábbi változatok megőrzése nélkül, pl. a keresőrendszerek számára szükséges indexeléshez, vagy pl. egy piaci szegmens aktuális állapotát kutató adatbányászathoz)<br /> * '''egyedi vagy alkalmi mentések''' (egy-egy webhely, vagy weblap, vagy webkettes tartalom, vagy dokumentum egyszeri vagy alkalomszerű mentése (pl. hogy egy publikációban stabil URI-val lehessen rá hivatkozni, vagy hogy bizonyítékként felhasználható legyen egy jogi eljárásban)<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Arch%C3%ADvumt%C3%ADpusok&diff=1704 2023-03-01T12:33:06Z

<p>Gyula: </p> <hr /> <div>Az interneten található tartalom megőrzésének többféle módszere alakult ki, és előfordul, hogy ezek egy archívumon belül is keverednek, részhalmazokat alkotva a teljes gyűjteményen belül. A típusok csoportosíthatók:<br /> <br /> == Gyűjtőkör szerint ==<br /> <br /> * '''szelektív''' (valamilyen szempontrendszer szerint válogatott webhelyek, weboldalak, vagy akár egyedi dokumentumok)<br /> ** általános kategóriák (pl. oktatási, tudományos, kormányzati webhelyek)<br /> ** szűkebb témák (pl. adott szakterülethez, földrajzi helyhez, intézményhez, személyhez kötődő tartalmak)<br /> ** események (pl. választások, katasztrófák, háborúk idején minden róluk megjelent tartalom)<br /> ** műfaj (pl. e-folyóiratok, hírportálok, Twitter-üzenetek, Facebook-oldalak, videók)<br /> * '''teljes körű''' (a lehatárolás csak automatikus módszerekkel történik, azon belül teljességre törekedve)<br /> ** világméretű (minden nyilvánosan elérhető online tartalom)<br /> ** világrész méretű (pl. Ausztrália és Óceánia, Skandinávia)<br /> ** nemzeti szintű (pl. a [[CcTLD|top-level ország-domain]] alatti, vagy az adott ország állampolgárai/intézményei által bejegyzett domain-ek alatti webhelyek, vagy az adott nemzeti nyelven íródott tartalmak, illetve az adott országgal és nemzettel kapcsolatos tartalmak bármely domain alatt)<br /> ** egyéb domainre vagy subdomainre kiterjedő (pl. minden .gov vagy minden ac.uk alatti webhely)<br /> <br /> == Az archiváló szerint ==<br /> <br /> * '''magán archívum''' (pl. az illető által létrehozott és/vagy vele kapcsolatos, őt érdeklő online tartalmak lementései)<br /> * '''céges archívum''' (pl. egy adott vállalat által létrehozott és/vagy vele, illetve a versenytársaival/piacával kapcsolatos online tartalmak lementései)<br /> * '''intézményi archívum''' (pl. egy könyvtár gyűjtőkörébe tartozó vagy egy kutatóintézet szakterületéhez kapcsolódó webes tartalmak gyűjteménye)<br /> * '''országos archívum''' (pl. a nemzeti örökség hosszú távú megőrzése céljából a nemzeti könyvtár, vagy levéltár, vagy valamilyen konzorcium által fenntartott archívum)<br /> <br /> == A tárolási mód szerint ==<br /> <br /> * '''fájlrendszerbe mentés''' (a weboldalt alkotó fájlok egyenkénti tárolása, az eredeti fájlnevek megőrzésével vagy átnevezésével, és a linkek relatívvá tételével, hogy az archív példány is navigálható maradjon)<br /> * '''archív állományba mentés''' (a weboldalakat alkotó objektumoknak és azok technikai metaadatainak nagy fájlokba mentése pl. [[WARC]] formátumú csomagokat képezve)<br /> * '''egységes formátumba mentés''' (a weboldalak tartalmának és/vagy kinézetének megőrzése azok eredeti szerkezetének megtartása nélkül, pl. egységesen XML formátumra konvertálva, vagy [[PDF A|PDF/A]] fájlba &quot;nyomtatva&quot; őket, vagy pl. PNG képeket készítve róluk)<br /> * '''adatbázisba mentés''' (elsősorban nem webhelyek, hanem pl. elektronikus levelek, tweetek, blogbejegyzések, Facebook-postok, hírportálokról letöltött cikkek stb. adatbázis-rekordokként való tárolása)<br /> <br /> == A mentés módja szerint ==<br /> <br /> * '''aratással''' (egy [[crawler]] végzi a gyűjtést az eredeti webhelyről vagy a szolgáltató által &quot;crawler-baráttá&quot; tett felületről vagy RSS-feedről – beállított paraméterek szerint követve a linkeket és archív csomagokat képezve)<br /> * '''letöltő alkalmazással''' (egy weboldalak lementésére készült szoftverrel vagy böngészőkiegészítővel adott weboldal, vagy adott webhely, vagy adott URL címlista lementése, rendszerint fájlrendszerbe)<br /> * '''push technikával''' (a tartalmat vagy az eredeti szolgáltató szerver küldi be az archívumba, valamilyen szabványos adatcsere protokollon keresztül, pl. rendszeresen tükrözve a teljes site-ot/adatbázist vagy annak XML-be kimentett tartalmát, ill. csak az újdonságokat/változásokat, vagy valamilyen proxy szerver küld be egy másolatot az archívumba minden rajta áthaladó (a felhasználók kliensei által kért) digitális objektumból.<br /> * '''depozitként''' (az eredeti tartalomgazdák valamilyen offline hordozón adják be alkalmanként a webhelyük tartalmának aktuális másolatát, vagy egy személy/örököse küldi be az online anyagait digitális hagyatékként)<br /> <br /> == Gyakoriság és idődimenzió szerint ==<br /> <br /> * '''ismétlődő mentések hosszú távú megőrzéssel''' (egy-egy website rendszeres mentése, lehetőleg a webhely változékonyságához optimalizálva, adott időpontbeli állapot visszaállításának lehetőségével, hosszú távra tervezve)<br /> * '''ismétlődő mentések az utolsó állapotot megőrizve''' (egy-egy website rendszeres mentése, de a korábbi változatok megőrzése nélkül, pl. a keresőrendszerek számára szükséges indexeléshez, vagy pl. egy piaci szegmens aktuális állapotát kutató adatbányászathoz)<br /> * '''egyedi vagy alkalmi mentések''' (egy-egy webhely, vagy weblap, vagy webkettes tartalom, vagy dokumentum egyszeri vagy alkalomszerű mentése (pl. hogy egy publikációban stabil URI-val lehessen rá hivatkozni, vagy hogy bizonyítékként felhasználható legyen egy jogi eljárásban)<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Arch%C3%ADvumt%C3%ADpusok&diff=1703 2023-03-01T12:31:22Z

<p>Gyula: </p> <hr /> <div>Az interneten található tartalom megőrzésének többféle módszere alakult ki, és előfordul, hogy ezek egy archívumon belül is keverednek, részhalmazokat alkotva a teljes gyűjteményen belül. A típusok csoportosíthatók:<br /> <br /> == Gyűjtőkör szerint ==<br /> <br /> * '''szelektív''' (valamilyen szempontrendszer szerint válogatott webhelyek, weboldalak, vagy akár egyedi dokumentumok)<br /> ** általános kategóriák (pl. oktatási, tudományos, kormányzati webhelyek)<br /> ** szűkebb témák (pl. adott szakterülethez, földrajzi helyhez, intézményhez, személyhez kötődő tartalmak)<br /> ** események (pl. választások, katasztrófák, háborúk idején minden róluk megjelent tartalom)<br /> ** műfaj (pl. e-folyóiratok, hírportálok, Twitter-üzenetek, Facebook-oldalak, videók)<br /> * '''teljes körű''' (a lehatárolás csak automatikus módszerekkel történik, azon belül teljességre törekedve)<br /> ** világméretű (minden nyilvánosan elérhető online tartalom)<br /> ** világrész méretű (pl. Ausztrália és Óceánia, Skandinávia)<br /> ** nemzeti szintű (pl. a [[CcTLD|top-level ország-domain]] alatti, vagy az adott ország állampolgárai/intézményei által bejegyzett domain-ek alatti webhelyek, vagy az adott nemzeti nyelven íródott tartalmak, illetve az adott országgal és nemzettel kapcsolatos tartalmak bármely domain alatt)<br /> ** egyéb domainre vagy subdomainre kiterjedő (pl. minden .gov vagy minden ac.uk alatti webhely)<br /> <br /> == Az archiváló szerint ==<br /> <br /> * '''magán archívum''' (pl. az illető által létrehozott és/vagy vele kapcsolatos, őt érdeklő online tartalmak lementései)<br /> * '''céges archívum''' (pl. egy adott vállalat által létrehozott és/vagy vele, illetve a versenytársaival/piacával kapcsolatos online tartalmak lementései)<br /> * '''intézményi archívum''' (pl. egy könyvtár gyűjtőkörébe tartozó vagy egy kutatóintézet szakterületéhez kapcsolódó webes tartalmak gyűjteménye)<br /> * '''országos archívum''' (pl. a nemzeti örökség hosszú távú megőrzése céljából a nemzeti könyvtár, vagy levéltár, vagy valamilyen konzorcium által fenntartott archívum)<br /> <br /> == A tárolási mód szerint ==<br /> <br /> * '''fájlrendszerbe mentés''' (a weboldalt alkotó fájlok egyenkénti tárolása, az eredeti fájlnevek megőrzésével vagy átnevezésével, és a linkek relatívvá tételével, hogy az archív példány is navigálható maradjon)<br /> * '''archív állományba mentés''' (a weboldalakat alkotó objektumoknak és azok technikai metaadatainak nagy fájlokba mentése pl. [[WARC]] formátumú csomagokat képezve)<br /> * '''egységes formátumba mentés''' (a weboldalak tartalmának és/vagy kinézetének megőrzése azok eredeti szerkezetének megtartása nélkül, pl. egységesen XML formátumra konvertálva, vagy [[PDF A|PDF/A]] fájlba &quot;nyomtatva&quot; őket, vagy pl. PNG képeket készítve róluk)<br /> * '''adatbázisba mentés''' (elsősorban nem webhelyek, hanem pl. elektronikus levelek, tweetek, blogbejegyzések, Facebook-postok, hírportálokról letöltött cikkek stb. adatbázis-rekordokként való tárolása)<br /> <br /> == A mentés módja szerint ==<br /> <br /> * '''aratással''' (egy [[crawler]] végzi a gyűjtést az eredeti webhelyről, vagy a szolgáltató által &quot;crawler-baráttá&quot; tett felületről, vagy RSS feedről - beállított paraméterek szerint követve a linkeket és archív csomagokat képezve)<br /> * '''letöltő alkalmazással''' (egy weboldalak lementésére készült szoftverrel vagy böngészőkiegészítővel adott weboldal, vagy adott webhely, vagy adott URL címlista lementése, rendszerint fájlrendszerbe)<br /> * '''push technikával''' (a tartalmat vagy az eredeti szolgáltató szerver küldi be az archívumba, valamilyen szabványos adatcsere protokollon keresztül, pl. rendszeresen tükrözve a teljes site-ot/adatbázist vagy annak XML-be kimentett tartalmát, ill. csak az újdonságokat/változásokat, vagy valamilyen proxy szerver küld be egy másolatot az archívumba minden rajta áthaladó (a felhasználók kliensei által kért) digitális objektumból.<br /> * '''depozitként''' (az eredeti tartalomgazdák valamilyen offline hordozón adják be alkalmanként a webhelyük tartalmának aktuális másolatát, vagy egy személy/örököse küldi be az online anyagait digitális hagyatékként)<br /> <br /> == Gyakoriság és idődimenzió szerint ==<br /> <br /> * '''ismétlődő mentések hosszú távú megőrzéssel''' (egy-egy website rendszeres mentése, lehetőleg a webhely változékonyságához optimalizálva, adott időpontbeli állapot visszaállításának lehetőségével, hosszú távra tervezve)<br /> * '''ismétlődő mentések az utolsó állapotot megőrizve''' (egy-egy website rendszeres mentése, de a korábbi változatok megőrzése nélkül, pl. a keresőrendszerek számára szükséges indexeléshez, vagy pl. egy piaci szegmens aktuális állapotát kutató adatbányászathoz)<br /> * '''egyedi vagy alkalmi mentések''' (egy-egy webhely, vagy weblap, vagy webkettes tartalom, vagy dokumentum egyszeri vagy alkalomszerű mentése (pl. hogy egy publikációban stabil URI-val lehessen rá hivatkozni, vagy hogy bizonyítékként felhasználható legyen egy jogi eljárásban)<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Arch%C3%ADvumt%C3%ADpusok&diff=1702 2023-03-01T12:29:55Z

<p>Gyula: </p> <hr /> <div>Az interneten található tartalom megőrzésének többféle módszere alakult ki, és előfordul, hogy ezek egy archívumon belül is keverednek, részhalmazokat alkotva a teljes gyűjteményen belül. A típusok csoportosíthatók:<br /> <br /> == Gyűjtőkör szerint ==<br /> <br /> * '''szelektív''' (valamilyen szempontrendszer szerint válogatott webhelyek, weboldalak, vagy akár egyedi dokumentumok)<br /> ** általános kategóriák (pl. oktatási, tudományos, kormányzati webhelyek)<br /> ** szűkebb témák (pl. adott szakterülethez, földrajzi helyhez, intézményhez, személyhez kötődő tartalmak)<br /> ** események (pl. választások, katasztrófák, háborúk idején minden róluk megjelent tartalom)<br /> ** műfaj (pl. e-folyóiratok, hírportálok, Twitter üzenetek, Facebook oldalak, videók)<br /> * '''teljes körű''' (a lehatárolás csak automatikus módszerekkel történik, azon belül teljességre törekedve)<br /> ** világméretű (minden nyilvánosan elérhető online tartalom)<br /> ** világrész méretű (pl. Ausztrália és Óceánia, Skandinávia)<br /> ** nemzeti szintű (pl. a [[CcTLD|top-level ország-domain]] alatti, vagy az adott ország állampolgárai/intézményei által bejegyzett domain-ek alatti webhelyek, vagy az adott nemzeti nyelven íródott tartalmak, illetve az adott országgal és nemzettel kapcsolatos tartalmak bármely domain alatt)<br /> ** egyéb domainre vagy subdomainre kiterjedő (pl. minden .gov vagy minden ac.uk alatti webhely)<br /> <br /> == Az archiváló szerint ==<br /> <br /> * '''magán archívum''' (pl. az illető által létrehozott és/vagy vele kapcsolatos, őt érdeklő online tartalmak lementései)<br /> * '''céges archívum''' (pl. egy adott vállalat által létrehozott és/vagy vele, illetve a versenytársaival/piacával kapcsolatos online tartalmak lementései)<br /> * '''intézményi archívum''' (pl. egy könyvtár gyűjtőkörébe tartozó vagy egy kutatóintézet szakterületéhez kapcsolódó webes tartalmak gyűjteménye)<br /> * '''országos archívum''' (pl. a nemzeti örökség hosszú távú megőrzése céljából a nemzeti könyvtár, vagy levéltár, vagy valamilyen konzorcium által fenntartott archívum)<br /> <br /> == A tárolási mód szerint ==<br /> <br /> * '''fájlrendszerbe mentés''' (a weboldalt alkotó fájlok egyenkénti tárolása, az eredeti fájlnevek megőrzésével vagy átnevezésével, és a linkek relatívvá tételével, hogy az archív példány is navigálható maradjon)<br /> * '''archív állományba mentés''' (a weboldalakat alkotó objektumoknak és azok technikai metaadatainak nagy fájlokba mentése pl. [[WARC]] formátumú csomagokat képezve)<br /> * '''egységes formátumba mentés''' (a weboldalak tartalmának és/vagy kinézetének megőrzése azok eredeti szerkezetének megtartása nélkül, pl. egységesen XML formátumra konvertálva, vagy [[PDF A|PDF/A]] fájlba &quot;nyomtatva&quot; őket, vagy pl. PNG képeket készítve róluk)<br /> * '''adatbázisba mentés''' (elsősorban nem webhelyek, hanem pl. elektronikus levelek, tweetek, blogbejegyzések, Facebook-postok, hírportálokról letöltött cikkek stb. adatbázis-rekordokként való tárolása)<br /> <br /> == A mentés módja szerint ==<br /> <br /> * '''aratással''' (egy [[crawler]] végzi a gyűjtést az eredeti webhelyről, vagy a szolgáltató által &quot;crawler-baráttá&quot; tett felületről, vagy RSS feedről - beállított paraméterek szerint követve a linkeket és archív csomagokat képezve)<br /> * '''letöltő alkalmazással''' (egy weboldalak lementésére készült szoftverrel vagy böngészőkiegészítővel adott weboldal, vagy adott webhely, vagy adott URL címlista lementése, rendszerint fájlrendszerbe)<br /> * '''push technikával''' (a tartalmat vagy az eredeti szolgáltató szerver küldi be az archívumba, valamilyen szabványos adatcsere protokollon keresztül, pl. rendszeresen tükrözve a teljes site-ot/adatbázist vagy annak XML-be kimentett tartalmát, ill. csak az újdonságokat/változásokat, vagy valamilyen proxy szerver küld be egy másolatot az archívumba minden rajta áthaladó (a felhasználók kliensei által kért) digitális objektumból.<br /> * '''depozitként''' (az eredeti tartalomgazdák valamilyen offline hordozón adják be alkalmanként a webhelyük tartalmának aktuális másolatát, vagy egy személy/örököse küldi be az online anyagait digitális hagyatékként)<br /> <br /> == Gyakoriság és idődimenzió szerint ==<br /> <br /> * '''ismétlődő mentések hosszú távú megőrzéssel''' (egy-egy website rendszeres mentése, lehetőleg a webhely változékonyságához optimalizálva, adott időpontbeli állapot visszaállításának lehetőségével, hosszú távra tervezve)<br /> * '''ismétlődő mentések az utolsó állapotot megőrizve''' (egy-egy website rendszeres mentése, de a korábbi változatok megőrzése nélkül, pl. a keresőrendszerek számára szükséges indexeléshez, vagy pl. egy piaci szegmens aktuális állapotát kutató adatbányászathoz)<br /> * '''egyedi vagy alkalmi mentések''' (egy-egy webhely, vagy weblap, vagy webkettes tartalom, vagy dokumentum egyszeri vagy alkalomszerű mentése (pl. hogy egy publikációban stabil URI-val lehessen rá hivatkozni, vagy hogy bizonyítékként felhasználható legyen egy jogi eljárásban)<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=Arch%C3%ADvumt%C3%ADpusok&diff=1701 2023-03-01T12:29:42Z

<p>Gyula: </p> <hr /> <div>Az interneten található tartalom megőrzésének többféle módszere alakult ki, és előfordul, hogy ezek egy archívumon belül is keverednek, részhalmazokat alkotva a teljes gyűjteményen belül. A típusok csoportosíthatók:<br /> <br /> == Gyűjtőkör szerint ==<br /> <br /> * '''szelektív''' (valamilyen szempontrendszer szerint válogatott webhelyek, weboldalak, vagy akár egyedi dokumentumok)<br /> ** általános kategóriák (pl. oktatási, tudományos, kormányzati webhelyek)<br /> ** szűkebb témák (pl. adott szakterülethez, földrajzi helyhez, intézményhez, személyhez kötődő tartalmak)<br /> ** események (pl. választások, katasztrófák, háborúk idején minden róluk megjelent tartalom)<br /> ** műfaj (pl. e-folyóiratok, hírportálok, Twitter üzenetek, Facebook oldalak, videók)<br /> * '''teljes körű''' (a lehatárolás csak automatikus módszerekkel történik, azon belül teljességre törekedve)<br /> ** világméretű (minden nyilvánosan elérhető online tartalom)<br /> ** világrész méretű (pl. Ausztrália és Óceánia, Skandinávia)<br /> ** nemzeti szintű (pl. a [[CcTLD|top-level ország-domain]] alatti, vagy az adott ország állampolgárai/intézményei által bejegyzett domain-ek alatti webhelyek, vagy az adott nemzeti nyelven íródott tartalmak, illetve az adott országgal és nemzettel kapcsolatos tartalmak bármely domain alatt)<br /> ** egyéb domainre vagy sub-domainre kiterjedő (pl. minden .gov vagy minden ac.uk alatti webhely)<br /> <br /> == Az archiváló szerint ==<br /> <br /> * '''magán archívum''' (pl. az illető által létrehozott és/vagy vele kapcsolatos, őt érdeklő online tartalmak lementései)<br /> * '''céges archívum''' (pl. egy adott vállalat által létrehozott és/vagy vele, illetve a versenytársaival/piacával kapcsolatos online tartalmak lementései)<br /> * '''intézményi archívum''' (pl. egy könyvtár gyűjtőkörébe tartozó vagy egy kutatóintézet szakterületéhez kapcsolódó webes tartalmak gyűjteménye)<br /> * '''országos archívum''' (pl. a nemzeti örökség hosszú távú megőrzése céljából a nemzeti könyvtár, vagy levéltár, vagy valamilyen konzorcium által fenntartott archívum)<br /> <br /> == A tárolási mód szerint ==<br /> <br /> * '''fájlrendszerbe mentés''' (a weboldalt alkotó fájlok egyenkénti tárolása, az eredeti fájlnevek megőrzésével vagy átnevezésével, és a linkek relatívvá tételével, hogy az archív példány is navigálható maradjon)<br /> * '''archív állományba mentés''' (a weboldalakat alkotó objektumoknak és azok technikai metaadatainak nagy fájlokba mentése pl. [[WARC]] formátumú csomagokat képezve)<br /> * '''egységes formátumba mentés''' (a weboldalak tartalmának és/vagy kinézetének megőrzése azok eredeti szerkezetének megtartása nélkül, pl. egységesen XML formátumra konvertálva, vagy [[PDF A|PDF/A]] fájlba &quot;nyomtatva&quot; őket, vagy pl. PNG képeket készítve róluk)<br /> * '''adatbázisba mentés''' (elsősorban nem webhelyek, hanem pl. elektronikus levelek, tweetek, blogbejegyzések, Facebook-postok, hírportálokról letöltött cikkek stb. adatbázis-rekordokként való tárolása)<br /> <br /> == A mentés módja szerint ==<br /> <br /> * '''aratással''' (egy [[crawler]] végzi a gyűjtést az eredeti webhelyről, vagy a szolgáltató által &quot;crawler-baráttá&quot; tett felületről, vagy RSS feedről - beállított paraméterek szerint követve a linkeket és archív csomagokat képezve)<br /> * '''letöltő alkalmazással''' (egy weboldalak lementésére készült szoftverrel vagy böngészőkiegészítővel adott weboldal, vagy adott webhely, vagy adott URL címlista lementése, rendszerint fájlrendszerbe)<br /> * '''push technikával''' (a tartalmat vagy az eredeti szolgáltató szerver küldi be az archívumba, valamilyen szabványos adatcsere protokollon keresztül, pl. rendszeresen tükrözve a teljes site-ot/adatbázist vagy annak XML-be kimentett tartalmát, ill. csak az újdonságokat/változásokat, vagy valamilyen proxy szerver küld be egy másolatot az archívumba minden rajta áthaladó (a felhasználók kliensei által kért) digitális objektumból.<br /> * '''depozitként''' (az eredeti tartalomgazdák valamilyen offline hordozón adják be alkalmanként a webhelyük tartalmának aktuális másolatát, vagy egy személy/örököse küldi be az online anyagait digitális hagyatékként)<br /> <br /> == Gyakoriság és idődimenzió szerint ==<br /> <br /> * '''ismétlődő mentések hosszú távú megőrzéssel''' (egy-egy website rendszeres mentése, lehetőleg a webhely változékonyságához optimalizálva, adott időpontbeli állapot visszaállításának lehetőségével, hosszú távra tervezve)<br /> * '''ismétlődő mentések az utolsó állapotot megőrizve''' (egy-egy website rendszeres mentése, de a korábbi változatok megőrzése nélkül, pl. a keresőrendszerek számára szükséges indexeléshez, vagy pl. egy piaci szegmens aktuális állapotát kutató adatbányászathoz)<br /> * '''egyedi vagy alkalmi mentések''' (egy-egy webhely, vagy weblap, vagy webkettes tartalom, vagy dokumentum egyszeri vagy alkalomszerű mentése (pl. hogy egy publikációban stabil URI-val lehessen rá hivatkozni, vagy hogy bizonyítékként felhasználható legyen egy jogi eljárásban)<br /> <br /> [[Category:FOGALMAK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=METS&diff=1700 2022-12-02T14:14:46Z

<p>Gyula: Beraktam a szabványok kategóriába is.</p> <hr /> <div>= (Metadata Encoding and Transmission Standard) =<br /> <br /> A Library of Congress és a Digital Library Federation által felügyelt nyílt szabvány a digitális objektumok leíró, technikai, adminisztrációs és szerkezeti metaadatainak XML formátumban való tárolására. Nagy előnye, hogy rugalmasan módosítható, bővíthető a legkülönbözőbb gyűjtemények és dokumentumtípusok jellemzőihez, és hogy a szerkezeti metaadatoknál az összetartozó fájlok közötti kapcsolatok, sorrendek és hierarchiák is leírhatók vele. Egy METS fájl max. hét szakaszból állhat: a header után a leíró és a adminisztrációs metaadatok jönnek, majd a fájl lista (ha több fájlból áll a digitális dokumentum), ezt követi a szerkezetet leíró &quot;térkép&quot;, majd pedig ezen &quot;térkép&quot; egyes csomópontjai közötti hiperlinkek (különösen hasznos lehetőség archivált webhelyek leírásához!), végül pedig lehet egy &quot;behavioral&quot; szekció, ahol megadhatók pl. a digitális objektum megjelenítése vagy konvertálása esetén szükséges alkalmazások, futtatandó programok. Az elterjedt dokumentumtípusokhoz (pl. könyvek, fotók, kották, hang- és videófeltételek) általánosan használt, &quot;kvázi szabványnak&quot; tekinthető METS profilok léteznek. Több webarchívumban is használják már a METS-t az archiválási és a megőrzési folyamat egyes fázisaiban keletkező metaadatokhoz.<br /> <br /> ----<br /> <br /> * [https://en.wikipedia.org/wiki/Metadata_Encoding_and_Transmission_Standard Wikipedia: Metadata Encoding and Transmission Standard]<br /> * [http://www.loc.gov/standards/mets/ A METS a Library of Congress honlapján]<br /> * [http://www.loc.gov/standards/mets/mets-tools.html METS Tools &amp; Utilities]<br /> * [https://www.bl.uk/ipres2008/presentations_day1/25_Steinke.pdf Tobias Steinke: Harvester results in a digital preservation system]<br /> * [http://www.avarchivering.nl/node/1724?loc=kennisbank%2F82%2F85%2Fbron Markus Enders: A METS based information package for long term accessibility of web archives]<br /> <br /> [[Category:FOGALMAK]]<br /> [[Category:SZABVÁNYOK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=OAIS&diff=1699 2022-12-02T14:14:10Z

<p>Gyula: Beraktam a szabványok kategóriába is.</p> <hr /> <div>= (Open Archival Information System) =<br /> <br /> A CCSDS (Consultative Committee for Space Data Systems) munkacsoport által eredetileg űrkutatási adatok megőrzésére kidolgozott, de ma már sokféle digitális archívumnál, elektronikus könyvtárnál is alkalmazott elméleti modell. Először 2002-ben szabványosították, az átdolgozott második változata 2012-ben lépett életbe. Egy olyan keretrendszert ír le, amely lefed minden feladatot, amivel egy hosszú távra tervezett archívum esetében foglalkozni kell. Csak elveket fogalmaz meg, semmilyen konkrét technológiához nem kötődik. <br /> <br /> Az információs modell része ilyen elemeket különböztet meg: <br /> <br /> * Content Information (a Content Data Object: maga az adat/dokumentum/objektum és a Representation Information: a megjelenítéséhez szükséges információk)<br /> * Preservation Description Information (a megőrzéshez szükséges információk, pl. előélet, egyedi azonosító, [[checksum]], hozzáférési jogok)<br /> * Packaging Information (az előző két információhalmaz egy csomagként való kezeléséhez szükséges információk, pl. egyszerű directory- és fájlnevek, vagy egy ennél részletesebb [[METS]] rekordok formájában)<br /> * Descriptive Information (az objektum későbbi visszakereséséhez szükséges leíró adatok, pl. [[DC]] metaadatként)<br /> <br /> A referencia modell ezeket az információs csomagokat definiálja:<br /> <br /> * Submission Information Package (SIP) (a beadó által az archívumba beküldött csomag)<br /> * Archival Information Package (AIP) (az archívumban való tárolásnál használt csomag)<br /> * Dissemination Information Package (DIP) (a felhasználói kérés esetén küldött szolgáltatási csomag)<br /> <br /> A funkcionális modell főbb komponensei:<br /> <br /> * Ingest function (fogadja a SIP-et, AIP-re alakítja és átküldi az archívum tárolójába)<br /> * Archival Storage function (fogadja a Ingest-től az AIP-okat, hosszú távú tárolóba teszi, szükség esetén migrálja őket, ellenőrzi, hogy nem hibásodnak-e meg, és kérés esetén átküldi a megfelelő AIP-ot az Access funkciónak)<br /> * Data Management function (kezeli az AIP-okat leíró információkat, fogadja a keresőkérdéseket, találati listákat ad vissza, jelentéseket készít)<br /> * Administration function (az archívum adminisztrációs feladatait látja el: kezeli a beadókkal és a felhasználókkal való kapcsolatokat, felügyeli a szabványok és szabályozások betartását, ellenőrzi a SIP csomagokat, hogy megfelelnek-e a beadási előírásoknak stb.)<br /> * Preservation Planning function (a hosszú távú megőrzéssel kapcsolatos feladatokat végzi: részletes megőrzési és migrálási tervek, a technológiai változások figyelése, kockázatelemzés, javaslattétel frissítésre vagy migrálásra)<br /> * Access function (tartalmazza a felhasználói felületet, igény esetén DIP-et generál a megfelelő AIP-ból és eljuttatja a felhasználóhoz)<br /> <br /> Ezek az elvek, elemek és funkciók jól alkalmazhatók a webarchívumok esetében is, több ilyen projekt (pl. [[PANDORA (ausztrál)|PANDORA]], [[NEDLIB]]\) kifejezetten az OAIS-t vette alapul a rendszere kialakításánál, és a legtöbb digitális megőrzésre kidolgozott szoftver is már erre épül.<br /> <br /> ----<br /> <br /> * [https://en.wikipedia.org/wiki/Open_Archival_Information_System Wikipedia: Open Archival Information System]<br /> * [http://www.oclc.org/research/publications/library/2000/lavoie-oais.html Brian Lavoie: Meeting the challenges of digital preservation: The OAIS reference model]<br /> * [http://www.dpconline.org/docman/technology-watch-reports/1359-dpctw14-02/file Brian Lavoie: The Open Archival Information System \(OAIS\) Reference Model: Introductory Guide]<br /> <br /> [[Category:FOGALMAK]]<br /> <br /> [[Category:SZABVÁNYOK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=PREMIS&diff=1698 2022-12-02T14:13:10Z

<p>Gyula: Átraktam a szervezetek helyett a szabványok kategóriába.</p> <hr /> <div>= (PREservation Metadata Implementation Strategies) =<br /> <br /> 2003-ban az OCLC (Online Computer Library Center) és az RLG (Research Libraries Group) által életre hívott munkacsoport a hosszú távú digitális megőrzéshez használandó metaadatok körének definiálása, valamint útmutatók ill. ajánlások kidolgozása céljából. 2005-ben megjelentették az első változatát a Dictionary for Preservation Metadata című jelentésüknek, mely egy átfogó (237 oldalas) kézikönyv a témában és az [[OAIS]] modell részletes kidolgozásának tekinthető a metaadatok terén. Az utolsó verzió 2015 júniusában jelent meg. Öt fő elemkategóriát tartalmaz: intellectual (a bibliográfiai leíró adatok), object (a fájlok/bitsorozatok jellemzői), events és agents (az objektummal történt események, illetve a hozzá kapcsolódó személyek/szervezetek/szoftverek adatai), valamint rights (az objektummal és annak használatával/másolásával/migrálásával stb. kapcsolatos jogok, előírások). A PREMIS Data Dictionary-ban megfogalmazott ajánlásokat és a hozzá mellékelt XML sémát számos digitális gyűjteményben (pl. webarchívumban) és szoftverben/rendszerben alkalmazzák a megőrzéssel kapcsolatos metaadatokhoz.<br /> <br /> ----<br /> <br /> * [https://en.wikipedia.org/wiki/Preservation_Metadata:_Implementation_Strategies Wikipedia: Preservation Metadata: Implementation Strategies]<br /> * [http://www.oclc.org/research/activities/pmwg.html A PREMIS weboldala az OCLC honlapján]<br /> * [http://www.loc.gov/standards/premis/ A PREMIS weboldala a Library of Congress honlapján]<br /> * [http://digitalcommons.unl.edu/cgi/viewcontent.cgi?article=2755&amp;context=libphilprac Laurentia Romaniuk: Metadata for a Web Archive: PREMIS and XMP as Tools for the Task]<br /> <br /> [[Category:SZABVÁNYOK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=PREMIS&diff=1697 2022-12-02T14:12:29Z

<p>Gyula: Elütések javítása</p> <hr /> <div>= (PREservation Metadata Implementation Strategies) =<br /> <br /> 2003-ban az OCLC (Online Computer Library Center) és az RLG (Research Libraries Group) által életre hívott munkacsoport a hosszú távú digitális megőrzéshez használandó metaadatok körének definiálása, valamint útmutatók ill. ajánlások kidolgozása céljából. 2005-ben megjelentették az első változatát a Dictionary for Preservation Metadata című jelentésüknek, mely egy átfogó (237 oldalas) kézikönyv a témában és az [[OAIS]] modell részletes kidolgozásának tekinthető a metaadatok terén. Az utolsó verzió 2015 júniusában jelent meg. Öt fő elemkategóriát tartalmaz: intellectual (a bibliográfiai leíró adatok), object (a fájlok/bitsorozatok jellemzői), events és agents (az objektummal történt események, illetve a hozzá kapcsolódó személyek/szervezetek/szoftverek adatai), valamint rights (az objektummal és annak használatával/másolásával/migrálásával stb. kapcsolatos jogok, előírások). A PREMIS Data Dictionary-ban megfogalmazott ajánlásokat és a hozzá mellékelt XML sémát számos digitális gyűjteményben (pl. webarchívumban) és szoftverben/rendszerben alkalmazzák a megőrzéssel kapcsolatos metaadatokhoz.<br /> <br /> ----<br /> <br /> * [https://en.wikipedia.org/wiki/Preservation_Metadata:_Implementation_Strategies Wikipedia: Preservation Metadata: Implementation Strategies]<br /> * [http://www.oclc.org/research/activities/pmwg.html A PREMIS weboldala az OCLC honlapján]<br /> * [http://www.loc.gov/standards/premis/ A PREMIS weboldala a Library of Congress honlapján]<br /> * [http://digitalcommons.unl.edu/cgi/viewcontent.cgi?article=2755&amp;context=libphilprac Laurentia Romaniuk: Metadata for a Web Archive: PREMIS and XMP as Tools for the Task]<br /> <br /> [[Category:SZERVEZETEK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=CDXJ&diff=1694 2022-11-10T13:20:07Z

<p>Gyula: </p> <hr /> <div><br /> Az [[OpenWayback]] 3.0-ás verziójában bevezetett indexfájl formátum, [[WARC]] és [[ARC]] fájlok kereshetővé tétele céljából. A [[CDX]] formátum egy továbbfejlesztése, amely egyrészt leegyszerűsíti az elsődleges mezőnevek körét, másrészt lehetővé teszi egy JSON blokk hozzáadását minden rekordhoz, amivel további plusz adatok tárolhatók és kereshetők vissza.<br /> <br /> ----<br /> <br /> * [https://pywb.readthedocs.io/en/latest/manual/indexing.html Az indexelésről és a CDXJ formátumról a PyWB oldalán]<br /> <br /> [[Category:FORMÁTUMOK]]</div>

Gyula https://webarchivum.oszk.hu/mediawiki/index.php?title=CDXJ&diff=1693 2022-11-10T13:19:43Z

<p>Gyula: A halott linket lecseréltem egy újabbra.</p> <hr /> <div><br /> Az [[OpenWayback]] 3.0-ás verziójában bevezetett indexfájl formátum, [[WARC]] és [[ARC]] fájlok kereshetővé tétele céljából. A [[CDX]] formátum egy továbbfejlesztése, amely egyrészt leegyszerűsíti az elsődleges mezőnevek körét, másrészt lehetővé teszi egy JSON blokk hozzáadását minden rekordhoz, amivel további plusz adatok tárolhatók és kereshetők vissza.<br /> <br /> ----<br /> <br /> * [https://pywb.readthedocs.io/en/latest/manual/indexing.html Az indexelésről a PyWB oldalán]<br /> <br /> [[Category:FORMÁTUMOK]]</div>

Gyula