SpiderLing
A lap korábbi változatát látod, amilyen Admin (vitalap | szerkesztései) 2019. július 16., 18:07-kor történt szerkesztése után volt.
A cseh Masaryk Egyetem természetes nyelvfeldolgozással foglalkozó intézetében Python-ban fejlesztett spider, elsősorban nyelvészeti kutatásokhoz használható nagy szövegkorpuszok létrehozása céljából. Az általános aratórobotoktól eltérően a SpiderLing csak a szöveges tartalmakat menti le és azokat a doméneket, amelyekről egy megadott küszöbértéknél már kevesebb tartalom töltődik le, nem aratja tovább. A "nyersanyagot" gzip tömörítésű ARC fájlokba teszi el, valamint további segédfájlokat is készít.
