„ArchiveBot” változatai közötti eltérés
| (3 közbenső módosítás ugyanattól a szerkesztőtől nincs mutatva) | |||
| 1. sor: | 1. sor: | ||
| − | Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline- |
+ | Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az [[Archive Team]] által futtatott [[wpull]] (korábban a [[wget]]) [[crawler]], melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az [[Internet Archive]]-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline-oknak hívják, melyek a backend-del kommunikálnak. Az ArchiveBot robotja feldolgozza a [[robots.txt]] tartalmát, de csak további URL-ek összegyűjtésére használja az esetleg benne levő sitemap linket. |
| + | |||
| + | Az egész rendszer is telepíthető saját szerverre személyes használatra, mert egyetlen csomagként letölthető [[grab-site]] néven. |
||
| − | --- |
+ | ---- |
* [https://wiki.archiveteam.org/index.php?title=ArchiveBot Az ArchiveBot szócikke Archive Team wikiben] |
* [https://wiki.archiveteam.org/index.php?title=ArchiveBot Az ArchiveBot szócikke Archive Team wikiben] |
||
A lap jelenlegi, 2021. július 5., 13:35-kori változata
Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az Archive Team által futtatott wpull (korábban a wget) crawler, melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az Internet Archive-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline-oknak hívják, melyek a backend-del kommunikálnak. Az ArchiveBot robotja feldolgozza a robots.txt tartalmát, de csak további URL-ek összegyűjtésére használja az esetleg benne levő sitemap linket.
Az egész rendszer is telepíthető saját szerverre személyes használatra, mert egyetlen csomagként letölthető grab-site néven.
