Admin, 2017. július 23., 14:23-n

2017-07-23T14:23:44Z

Admin: Új oldal, tartalma: „ Egy crawler szoftver legegyszerűbb változata ilyen modulokból áll: * crawl frontier \(a feldolgozandó URI címeket és a feldolgozási szabályokat tarta…”

2017-07-23T13:32:57Z

Új oldal, tartalma: „ Egy crawler szoftver legegyszerűbb változata ilyen modulokból áll: * crawl frontier \(a feldolgozandó URI címeket és a feldolgozási szabályokat tarta…”

Új lap

Egy [[crawler]] szoftver legegyszerűbb változata ilyen modulokból áll:

* [[crawl frontier]] \(a feldolgozandó URI címeket és a feldolgozási szabályokat tartalmazza)
* DNS resolution module (a domain nevek IP címekre való feloldását végzi, ami egy szűk keresztmetszet a webaratásoknál, mert egyes címek feloldására vagy a hibaüzenetre néha perceket kell várni; ezért szokás a már feloldott neveket egy DNS cache-ben helyben eltárolni, hogy ne kelljen mindig a DNS szervereket kérdezgetni)
* fetch module (a HTTP protokollon keresztül letölti az adott weboldalt alkotó fájlokat)
* parsing module (kielemzi a weboldal kódját, kiszedi belőle a szöveget és a linkeket)
* duplicate elimination module (eldönti, hogy egy megtalált link benne van-e már a [[crawl frontier]] URI címlistájában, vagy fel kell venni újként a letöltendők közé\)

Ezen alapmodulok mellett még sokféle kiegészítő modul is beépíthető egy [[crawler]]-be (pl. olyan, amelyik ki tud elemezni webkettes oldalakat is, vagy FTP szerveket is be tud járni, vagy amellyel [[de-duplication|deduplikálható]] a korábbi mentésekben már szereplő tartalom).

* [https://nlp.stanford.edu/IR-book/html/htmledition/crawler-architecture-1.html Christopher D. Manning - Prabhakar Raghavan - Hinrich Schütze: Introduction to Information Retrieval : Crawler architecture]

[[Category:FOGALMAK]]

@@ 2. sor: / 2. sor: @@
 Egy [[crawler]] szoftver legegyszerűbb változata ilyen modulokból áll:
-* [[crawl frontier]] \(a feldolgozandó URI címeket és a feldolgozási szabályokat tartalmazza)
+* [[crawl frontier]] (a feldolgozandó URI címeket és a feldolgozási szabályokat tartalmazza)
 * DNS resolution module (a domain nevek IP címekre való feloldását végzi, ami egy szűk keresztmetszet a webaratásoknál, mert egyes címek feloldására vagy a hibaüzenetre néha perceket kell várni; ezért szokás a már feloldott neveket egy DNS cache-ben helyben eltárolni, hogy ne kelljen mindig a DNS szervereket kérdezgetni)
 * fetch module (a HTTP protokollon keresztül letölti az adott weboldalt alkotó fájlokat)
@@ 9. sor: / 9. sor: @@
 Ezen alapmodulok mellett még sokféle kiegészítő modul is beépíthető egy [[crawler]]-be (pl. olyan, amelyik ki tud elemezni webkettes oldalakat is, vagy FTP szerveket is be tud járni, vagy amellyel [[de-duplication|deduplikálható]] a korábbi mentésekben már szereplő tartalom).
 * [https://nlp.stanford.edu/IR-book/html/htmledition/crawler-architecture-1.html Christopher D. Manning - Prabhakar Raghavan - Hinrich Schütze: Introduction to Information Retrieval : Crawler architecture]

Crawler architecture - Laptörténet

Admin, 2017. július 23., 14:23-n

Admin: Új oldal, tartalma: „ Egy crawler szoftver legegyszerűbb változata ilyen modulokból áll: * crawl frontier \(a feldolgozandó URI címeket és a feldolgozási szabályokat tarta…”