De-duplication - Laptörténet

Admin, 2018. június 22., 12:40-n

2018-06-22T12:40:53Z

Admin, 2017. július 23., 14:25-n

2017-07-23T14:25:12Z

Admin: Új oldal, tartalma: „A duplumok, vagyis a többszörösen lementett azonos tartalmak eltávolítása vagy minimalizálása egy digitális archívumban. Különösen fontos ez a tevékenysé…”

2017-07-23T13:42:38Z

Új oldal, tartalma: „A duplumok, vagyis a többszörösen lementett azonos tartalmak eltávolítása vagy minimalizálása egy digitális archívumban. Különösen fontos ez a tevékenysé…”

Új lap

A duplumok, vagyis a többszörösen lementett azonos tartalmak eltávolítása vagy minimalizálása egy digitális archívumban. Különösen fontos ez a tevékenység a webarchívumokban, mert ugyanazon webhelynek (ill. részleges vagy teljes másolatainak) ismétlődő mentései rengeteg azonos fájlt tartalmaznak, vagyis nagyon megnövelik a tárhelyigényt, és felhasználók számára is zavaró a találati listákban a sok azonos tétel.

A deduplikáció történhet automatikus módszerekkel: a bitre (vagy [[checksum]]-ra) azonos fájlok fölös példányainak törlésével, vagy a fájl le nem töltésével, amennyiben ugyanaz az utolsó módosításának időpontja és egyéb jellemzője, mint a már korábban ugyanarról a címről lementett állományé. Vagy pedig emberi közreműködéssel, de ilyenkor inkább csak egy webhely tartalmilag egyenértékűnek tekinthető tükrözéseinek törlése vagy az archiválásból való kizárása jöhet szóba. Az olyan fejlett [[crawler]]ek, mint pl. a [[Heritrix]], tartalmaznak opciókat a deduplikációhoz és a [[WARC]] formátum is támogatja ezt.

Ugyanakkor bizonyos szintű redundancia minden archívumban hasznos, mert ha csak egyetlen példány van, ami megsérül vagy csak később derül ki valami probléma vele kapcsolatban, akkor nincs mivel helyettesíteni. Bíróságon elfogadható bizonyíték esetében pedig követelmény lehet az eredeti, önmagában teljes mentés bemutatása, amely nem tartalmazhat hivatkozásokat korábbi mentések azonosnak tekintett fájljaira.

A modern tárolórendszerek használnak egy szintén de-duplication (vagy intelligent compression, vagy single-instance data storage) nevű tömörítési technikát, amellyel az azonos adatszekvenciákat (bájt mintázatokat) felismerik és kevesebb helyen tárolják. Vagyis ilyenkor nem fájl szinten, hanem bájt szinten történik a redundancia csökkentése.

* [https://en.wikipedia.org/wiki/Data_deduplication Wikipedia: Data deduplication]

[[Category:FOGALMAK]]

← Régebbi változat		A lap 2018. június 22., 12:40-kori változata
10. sor:		10. sor:

	* [https://en.wikipedia.org/wiki/Data_deduplication Wikipedia: Data deduplication]		* [https://en.wikipedia.org/wiki/Data_deduplication Wikipedia: Data deduplication]
		+	* [https://kris-sigur.blogspot.com/2016/01/to-zip-or-not-to-zip-that-is-web.html Kristinn Sigurðsson: To ZIP or not to ZIP, that is the (web archiving) question]

	[[Category:FOGALMAK]]		[[Category:FOGALMAK]]

← Régebbi változat		A lap 2017. július 23., 14:25-kori változata
6. sor:		6. sor:

	A modern tárolórendszerek használnak egy szintén de-duplication (vagy intelligent compression, vagy single-instance data storage) nevű tömörítési technikát, amellyel az azonos adatszekvenciákat (bájt mintázatokat) felismerik és kevesebb helyen tárolják. Vagyis ilyenkor nem fájl szinten, hanem bájt szinten történik a redundancia csökkentése.		A modern tárolórendszerek használnak egy szintén de-duplication (vagy intelligent compression, vagy single-instance data storage) nevű tömörítési technikát, amellyel az azonos adatszekvenciákat (bájt mintázatokat) felismerik és kevesebb helyen tárolják. Vagyis ilyenkor nem fájl szinten, hanem bájt szinten történik a redundancia csökkentése.
		+
		+	----

	* [https://en.wikipedia.org/wiki/Data_deduplication Wikipedia: Data deduplication]		* [https://en.wikipedia.org/wiki/Data_deduplication Wikipedia: Data deduplication]