ArchiveBot

Innen: MIA

Az ArchiveBot egy több elemből álló archiváló rendszer. Az alapja az Archive Team által futtatott wpull (korábban a wget) crawler, melyet a webirc.hackint.org IRC szerveren működő #archivebot csatornán beírt parancsokkal lehet vezérelni és max. néhány százezer URL-ből álló webhelyek lementésére használható. A keletkező WARC fájlok a crawlert futtató gépről előbb az Archive Team "Fortress of Solitude" nevű szerverére kerülnek, majd onnan szintén rsync-alapú szinkronizálással az Internet Archive-ba. A rendszer része még egy olyan komponens, ami az IRC kapcsolatot biztosítja és egy további backend modul, ami a futó, illetve befejezett jobokat tartja nyilván, valamint egy webes dashboard és viewer felület, melyeken megnézhetők az élő és a lezárt folyamatok. Crawlert az Archive Team aktívabb tagjai futtathatnak a saját gépükön (egy asztali teljesítményű PC-n általában 2-3 job megy egyszerre). Ezeket az önkéntesek által működtetett archiváló komponenseket pipeline-oknak hívják, melyek a backend-del kommunikálnak. Az ArchiveBot robotja feldolgozza a robots.txt tartalmát, de csak további URL-ek összegyűjtésére használja az esetleg benne levő sitemap linket.

Az egész rendszer is telepíthető saját szerverre személyes használatra, mert egyetlen csomagként letölthető grab-site néven.