WARC-GPT
A Harvard Law School Library kísérleti laboratóriuma által fejlesztett eszköz a nagy nyelvi modellek (LLM) felhasználására a webarchívumokban való természetes nyelvű kereséshez. A WARC-GPT többféle LLM rendszerrel is összekapcsolható és azok tudásbázisát RAG (Retrieval Augmented Generation) technikával egészíti ki a WARC fájlokból kinyert információkkal, így csökkentve a „hallucinálás” jelenségét. A nyílt forráskódú szoftver nagyrészt Python és JavaScript nyelven íródott, saját API és webes felület tartozik hozzá, és interaktív pontfelhődiagram formájában vizualizálni is tudja a vektor beágyazásokat. A chatbot a válasz mellett megadja a felhasznált forrásokat is a releváns szövegrészletekkel együtt, így a felhasználó ellenőrizheti a válasz helyességét és megtalálhatja a számára érdekes részeket a webarchívumon belül.
