https://webarchivum.oszk.hu/mediawiki/index.php?action=history&feed=atom&title=ArchiveBot 2026-05-05T13:06:02Z Az oldal laptörténete a wikiben MediaWiki 1.31.16 https://webarchivum.oszk.hu/mediawiki/index.php?title=ArchiveBot&diff=1530&oldid=prev 2021-07-05T12:35:50Z

<p></p> <table class="diff diff-contentalign-left" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="hu"> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← Régebbi változat</td> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">A lap 2021. július 5., 12:35-kori változata</td> </tr><tr> <td colspan="2" class="diff-lineno">1. sor:</td> <td colspan="2" class="diff-lineno">1. sor:</td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline-oknak hívják, melyek a backend-del kommunikálnak. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további URL-ek összegyűjtésére használja az esetleg benne levő sitemap linket.</div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline-oknak hívják, melyek a backend-del kommunikálnak. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további URL-ek összegyűjtésére használja az esetleg benne levő sitemap linket.</div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td> </tr> <tr> <td class="diff-marker">−</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Az egész rendszer is telepíthető saját szerverre, mert egyetlen csomagként<del class="diffchange diffchange-inline"> is</del> letölthető [[grab-site]] néven.</div></td> <td class="diff-marker">+</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Az egész rendszer is telepíthető saját szerverre<ins class="diffchange diffchange-inline"> személyes használatra</ins>, mert egyetlen csomagként letölthető [[grab-site]] néven.</div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>----</div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>----</div></td> </tr> </table>

Admin https://webarchivum.oszk.hu/mediawiki/index.php?title=ArchiveBot&diff=1529&oldid=prev 2021-07-05T12:35:15Z

<p></p> <table class="diff diff-contentalign-left" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="hu"> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← Régebbi változat</td> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">A lap 2021. július 5., 12:35-kori változata</td> </tr><tr> <td colspan="2" class="diff-lineno">3. sor:</td> <td colspan="2" class="diff-lineno">3. sor:</td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Az egész rendszer is telepíthető saját szerverre, mert egyetlen csomagként is letölthető [[grab-site]] néven.</div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Az egész rendszer is telepíthető saját szerverre, mert egyetlen csomagként is letölthető [[grab-site]] néven.</div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> </tr> <tr> <td class="diff-marker">−</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>---</div></td> <td class="diff-marker">+</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline">-</ins>---</div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* [https://wiki.archiveteam.org/index.php?title=ArchiveBot Az ArchiveBot szócikke Archive Team wikiben]</div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* [https://wiki.archiveteam.org/index.php?title=ArchiveBot Az ArchiveBot szócikke Archive Team wikiben]</div></td> </tr> </table>

Admin https://webarchivum.oszk.hu/mediawiki/index.php?title=ArchiveBot&diff=1528&oldid=prev 2021-07-05T12:35:00Z

<p></p> <table class="diff diff-contentalign-left" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="hu"> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← Régebbi változat</td> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">A lap 2021. július 5., 12:35-kori változata</td> </tr><tr> <td colspan="2" class="diff-lineno">1. sor:</td> <td colspan="2" class="diff-lineno">1. sor:</td> </tr> <tr> <td class="diff-marker">−</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline-oknak hívják, melyek a backend-del kommunikálnak<del class="diffchange diffchange-inline">. Az egész rendszer is telepíthető saját szerverre, mert egyetlen csomagként is letölthető [[grab-site]] néven</del>. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további URL-ek összegyűjtésére használja az esetleg benne levő sitemap linket.</div></td> <td class="diff-marker">+</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline-oknak hívják, melyek a backend-del kommunikálnak. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további URL-ek összegyűjtésére használja az esetleg benne levő sitemap linket.</div></td> </tr> <tr> <td colspan="2" class="diff-empty">&#160;</td> <td class="diff-marker">+</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"></td> </tr> <tr> <td colspan="2" class="diff-empty">&#160;</td> <td class="diff-marker">+</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Az egész rendszer is telepíthető saját szerverre, mert egyetlen csomagként is letölthető [[grab-site]] néven.</div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>---</div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>---</div></td> </tr> </table>

Admin https://webarchivum.oszk.hu/mediawiki/index.php?title=ArchiveBot&diff=1527&oldid=prev 2021-07-05T12:34:32Z

<p></p> <table class="diff diff-contentalign-left" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="hu"> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← Régebbi változat</td> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">A lap 2021. július 5., 12:34-kori változata</td> </tr><tr> <td colspan="2" class="diff-lineno">1. sor:</td> <td colspan="2" class="diff-lineno">1. sor:</td> </tr> <tr> <td class="diff-marker">−</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline-<del class="diffchange diffchange-inline">nak</del> hívják, melyek a backend-del kommunikálnak. Az egész rendszer is telepíthető saját szerverre, mert egyetlen csomagként is letölthető [[grab-site]] néven. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további URL-ek összegyűjtésére használja az esetleg benne levő sitemap linket.</div></td> <td class="diff-marker">+</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline-<ins class="diffchange diffchange-inline">oknak</ins> hívják, melyek a backend-del kommunikálnak. Az egész rendszer is telepíthető saját szerverre, mert egyetlen csomagként is letölthető [[grab-site]] néven. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további URL-ek összegyűjtésére használja az esetleg benne levő sitemap linket.</div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>---</div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>---</div></td> </tr> </table>

Admin https://webarchivum.oszk.hu/mediawiki/index.php?title=ArchiveBot&diff=1526&oldid=prev 2021-07-05T12:34:16Z

<p></p> <table class="diff diff-contentalign-left" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="hu"> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">← Régebbi változat</td> <td colspan="2" style="background-color: #fff; color: #222; text-align: center;">A lap 2021. július 5., 12:34-kori változata</td> </tr><tr> <td colspan="2" class="diff-lineno">1. sor:</td> <td colspan="2" class="diff-lineno">1. sor:</td> </tr> <tr> <td class="diff-marker">−</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Az ArchiveBot egy több <del class="diffchange diffchange-inline">komponensből</del> álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek <del class="diffchange diffchange-inline">archiválására</del> használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team Fortress of Solitude nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard felület, <del class="diffchange diffchange-inline">amin</del> <del class="diffchange diffchange-inline">követhetők</del> a folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre)<del class="diffchange diffchange-inline">,</del> <del class="diffchange diffchange-inline">ezeket</del> az önkéntesek által működtetett <del class="diffchange diffchange-inline">gépeket</del> pipeline-nak hívják. Az egész <del class="diffchange diffchange-inline">rendszert</del> is <del class="diffchange diffchange-inline">lehet</del> saját szerverre<del class="diffchange diffchange-inline"> telepíteni</del>, mert <del class="diffchange diffchange-inline">egy</del> <del class="diffchange diffchange-inline">csomagban</del> is letölthető [[grab-site]] néven. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további <del class="diffchange diffchange-inline">linkek</del> <del class="diffchange diffchange-inline">gyűjtésére</del> használja az esetleg benne levő sitemap <del class="diffchange diffchange-inline">URL-t</del>.</div></td> <td class="diff-marker">+</td> <td style="color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Az ArchiveBot egy több <ins class="diffchange diffchange-inline">elemből</ins> álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek <ins class="diffchange diffchange-inline">lementésére</ins> használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team <ins class="diffchange diffchange-inline">"</ins>Fortress of Solitude<ins class="diffchange diffchange-inline">"</ins> nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard<ins class="diffchange diffchange-inline"> és viewer</ins> felület, <ins class="diffchange diffchange-inline">melyeken</ins> <ins class="diffchange diffchange-inline">megnézhetők az élő és</ins> a<ins class="diffchange diffchange-inline"> lezárt</ins> folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre)<ins class="diffchange diffchange-inline">.</ins> <ins class="diffchange diffchange-inline">Ezeket</ins> az önkéntesek által működtetett <ins class="diffchange diffchange-inline">archiváló komponenseket</ins> pipeline-nak hívják<ins class="diffchange diffchange-inline">, melyek a backend-del kommunikálnak</ins>. Az egész <ins class="diffchange diffchange-inline">rendszer</ins> is <ins class="diffchange diffchange-inline">telepíthető</ins> saját szerverre, mert <ins class="diffchange diffchange-inline">egyetlen</ins> <ins class="diffchange diffchange-inline">csomagként</ins> is letölthető [[grab-site]] néven. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további <ins class="diffchange diffchange-inline">URL-ek</ins> <ins class="diffchange diffchange-inline">összegyűjtésére</ins> használja az esetleg benne levő sitemap <ins class="diffchange diffchange-inline">linket</ins>.</div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div> </div></td> </tr> <tr> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>---</div></td> <td class="diff-marker">&#160;</td> <td style="background-color: #f8f9fa; color: #222; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>---</div></td> </tr> </table>

Admin https://webarchivum.oszk.hu/mediawiki/index.php?title=ArchiveBot&diff=1525&oldid=prev 2021-07-05T12:27:50Z

<p>Új oldal, tartalma: „Az ArchiveBot egy több komponensből álló archiváló rendszer. Az alapja az <a href="/mediawiki/index.php?title=Archive_Team" title="Archive Team">Archive Team</a> által futtatott <a href="/mediawiki/index.php?title=Wpull" title="Wpull">wpull</a> (korábban a <a href="/mediawiki/index.php?title=Wget" title="Wget">wget</a>) <a href="/mediawiki/index.php?title=Crawler" title="Crawler">crawler</a>, melyet a…”</p> <p><b>Új lap</b></p><div>Az ArchiveBot egy több komponensből álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek archiválására használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team Fortress of Solitude nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard felület, amin követhetők a folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre), ezeket az önkéntesek által működtetett gépeket pipeline-nak hívják. Az egész rendszert is lehet saját szerverre telepíteni, mert egy csomagban is letölthető [[grab-site]] néven. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további linkek gyűjtésére használja az esetleg benne levő sitemap URL-t.<br /> <br /> ---<br /> <br /> * [https://wiki.archiveteam.org/index.php?title=ArchiveBot Az ArchiveBot szócikke Archive Team wikiben]<br /> * [https://github.com/ArchiveTeam/ArchiveBot Az ArchiveBot a GitHub-on]<br /> * [https://github.com/ArchiveTeam/grab-site A grab-site a GitHub-on]<br /> * [https://archivebot.readthedocs.io/ Az ArchiveBot dokumentációja]<br /> * [http://archivebot.com/ ArchiveBot Dashboard]<br /> * [https://archive.fart.website/archivebot/viewer/ ArchiveBot Viewer]<br /> * [https://archive.org/details/archivebot/ Az ArchiveBot által begyűjtött anyag az Internet Archive-ban]<br /> <br /> [[Category:SZOFTVEREK]]</div>

Admin