Diffbot

(korábban: CrawlBot)

Amerikai web scraping cég, ami a crawler és extractor mellett webes forrásokból tudásgráfot készítő alkalmazást is fejleszt természetes nyelvi feldolgozással. A weboldalak szerkezetét gépi látással és tanulással elemzi ki, így nem HTML tag-ek alapján kell megadni a szűrési szabályokat, mint más hasonló célú eszközöknél. Az aratások API-n keresztül is indíthatók és felügyelhetők, az esetleges kitiltás ellen több ezer, földrajzilag eltérő IP című proxyt használnak. Van egy hatalmas tudásbázisuk is a cégekről és a szervezetekről az eddig begyűjtött adatokból. Két hetes ingyenes teszt időszak igényelhető.

---

• A Diffbot honlapja