„Islenska vefsafnid (izlandi)” változatai közötti eltérés

Innen: MIA
(Új oldal, tartalma: „Az izlandi nemzeti és egyetemi könyvtár a 2002-es kötelespéldány törvény módosítása és a 2003-as IIPC csatlakozás után 2004 októberében kezdte el az…”)
 
1. sor: 1. sor:
 
Az izlandi nemzeti és egyetemi könyvtár a 2002-es kötelespéldány törvény módosítása és a 2003-as [[IIPC]] csatlakozás után 2004 októberében kezdte el az .is domain aratását (évente háromszor) és a szelektív archiválást is, melybe más domain-ek alatti webhelyek is belekerülnek (ezeket legalább hetente mentik), az 1996-2004 közötti anyagot pedig átvették az [[Internet Archive]]-ból. A [[Heritrix]] [[crawler]]t használják, a megjelenítő pedig az [[Wayback|OpenWayback]]. 2012 végéig 39 ezer webhelyről 1.8 milliárd digitális objektumot gyűjtöttek be (hang- és videófájlokat is), a tárhelyigény akkor 34 terabájt volt. (Egy teljes körű aratás nyersanyaga [[de-duplication|deduplikáció]] és tömörítés nélkül 5 terabájt.) Az archívum nagy része 2009 óta nyilvános, kivéve az eredetileg fizetős szolgáltatásokat, illetve azokat a webhelyeket, amelyeknek a tulajdonosai nem engedélyezték a nyilvános hozzáférést.
 
Az izlandi nemzeti és egyetemi könyvtár a 2002-es kötelespéldány törvény módosítása és a 2003-as [[IIPC]] csatlakozás után 2004 októberében kezdte el az .is domain aratását (évente háromszor) és a szelektív archiválást is, melybe más domain-ek alatti webhelyek is belekerülnek (ezeket legalább hetente mentik), az 1996-2004 közötti anyagot pedig átvették az [[Internet Archive]]-ból. A [[Heritrix]] [[crawler]]t használják, a megjelenítő pedig az [[Wayback|OpenWayback]]. 2012 végéig 39 ezer webhelyről 1.8 milliárd digitális objektumot gyűjtöttek be (hang- és videófájlokat is), a tárhelyigény akkor 34 terabájt volt. (Egy teljes körű aratás nyersanyaga [[de-duplication|deduplikáció]] és tömörítés nélkül 5 terabájt.) Az archívum nagy része 2009 óta nyilvános, kivéve az eredetileg fizetős szolgáltatásokat, illetve azokat a webhelyeket, amelyeknek a tulajdonosai nem engedélyezték a nyilvános hozzáférést.
  +
  +
[[Warc-mapreduce|Mapreduce]]
   
 
----
 
----

A lap 2020. október 12., 12:10-kori változata

Az izlandi nemzeti és egyetemi könyvtár a 2002-es kötelespéldány törvény módosítása és a 2003-as IIPC csatlakozás után 2004 októberében kezdte el az .is domain aratását (évente háromszor) és a szelektív archiválást is, melybe más domain-ek alatti webhelyek is belekerülnek (ezeket legalább hetente mentik), az 1996-2004 közötti anyagot pedig átvették az Internet Archive-ból. A Heritrix crawlert használják, a megjelenítő pedig az OpenWayback. 2012 végéig 39 ezer webhelyről 1.8 milliárd digitális objektumot gyűjtöttek be (hang- és videófájlokat is), a tárhelyigény akkor 34 terabájt volt. (Egy teljes körű aratás nyersanyaga deduplikáció és tömörítés nélkül 5 terabájt.) Az archívum nagy része 2009 óta nyilvános, kivéve az eredetileg fizetős szolgáltatásokat, illetve azokat a webhelyeket, amelyeknek a tulajdonosai nem engedélyezték a nyilvános hozzáférést.

Mapreduce