Yahoo Webscope Program

A Yahoo! internetes cég Yahoo Research nevű részlegének egyik programja, melynek keretében szöveg- és adatbányászatra, nyelvi elemzésre, gépi tanulásra stb. alkalmas nagyméretű (anonimizált) adathalmazokat állítanak össze és forgalmaznak tudományos célú, non-profit jellegű kutatásokhoz. A halmazok anyaga részben a Yahoo! saját szolgáltatásaiból származik, részben pedig egyéb webhelyekről lett begyűjtve.

Néhány példa:

• Több mint egy millió RDF triplet, melyeket nyilvános weboldalak metaadataiból gyűjtöttek ki (2.3 gigabájtnyi WARC fájl)
• Az angol nyelvű Wikipédia 2006. november 4-i állapota (XML-ben) utólagosan - automatizált módon - ellátva szemantikus tag-ekkel és multitag formátumba mentve (4 db. 1.3 és 1.8 Gbyte közötti fájl)
• Nyilvános weboldalakból kigyűjtött 2.67 millió összetettebb szerkezetű űrlap (HTML form-ok) (összesen 50 Gbyte)
• A Yahoo News, a Newsroom, a Tumblr és más online médiaplatformokról gyűjtött közel 49 ezer hír, fontosság szerint felcímkézve.

---

• A Yahoo Webscope Program honlapja
• Sarah Perez: Yahoo Releases Its Biggest-Ever Machine Learning Dataset To The Research Community