<?xml version="1.0" encoding="utf-8"?>
<?xml-stylesheet type="text/xsl" href="https://webarchivum.oszk.hu/honlap/metaadat/mia_set.xsl"?>
<MIA xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="https://webarchivum.oszk.hu/honlap/metaadat/mia_set.xsd">
  <MIA_set>
    <BIBLIOGRAPHIC>
      <dc_identifier>
        <mia_set_id>MIA_SET-00013</mia_set_id>
      </dc_identifier>
      <dc_title>
        <main_title>Irodalom, irodalomtudomány és -történet</main_title>
        <subtitle>Írók és műveik, irodalomtudomány, irodalmi társaságok és szervezetek, gyűjtemények</subtitle>
        <short_title>IRODALOM</short_title>
      </dc_title>
      <cataloging>
        <description_date>2018-08-22</description_date>
        <last_modified>2021-02-17</last_modified>
        <cataloger_name>Visky Ákos László</cataloger_name>
        <description_note></description_note>
      </cataloging>
      <collector>
        <collector_organization>Országos Széchényi Könyvtár</collector_organization>
        <collector_organization_unit>E-könyvtári Szolgáltatások Osztálya</collector_organization_unit>
        <collector_person>Drótos László</collector_person>
        <project_name>OSZK Webarchívum</project_name>
        <collector_note>Az első aratás idejére még nem zárult le a honlapok összegyűjtése. A seed lista 2009 februárjában ki lett egészítve 1000 tételig (ez kb. 3x-os bővülés; gyűjtötte: Drótos László). 2020-ban elkezdtük összegyűjteni az Instagram és a Facebook oldalakat is, ezek külön gyűjteménybe kerültek.</collector_note>
      </collector>
      <dc_rights>
        <rights_owner>Országos Széchényi Könyvtár</rights_owner>
        <legal_status>jogvédett</legal_status>
        <rights_note>Az aratáshoz nem kértünk engedélyt.</rights_note>
      </dc_rights>
      <dc_type>tematikus</dc_type>
      <dc_subject>
        <main_topic>Kulturális források</main_topic>
        <main_topic>Tudományos források</main_topic>
        <topic>Művészetek</topic>
        <topic>Bölcsészettudomány</topic>
        <subtopic>Irodalom</subtopic>
        <subtopic>Irodalomtudomány</subtopic>
        <keyword>irodalom</keyword>
        <keyword>szépirodalom</keyword>
        <keyword>író</keyword>
        <keyword>költő</keyword>
        <keyword>irodalmi élet</keyword>
        <keyword>irodalomtudomány</keyword>
        <keyword>irodalomtörténet</keyword>
        <keyword>amatőr irodalom</keyword>
        <keyword>magyar irodalom</keyword>
        <keyword>magyar irodalom története</keyword>
      </dc_subject>
      <dc_description>Irodalmi vonatkozású magyarországi és határon túli magyar webhelyek, írók, irodalmi társulások honlapjai, blogjai. Kortárs, klasszikus és amatőr irodalom, irodalomtörténet és adatbázisok gyűjteménye.</dc_description>
      <dc_relation>
        <related_set_id>MIA_SET-00003</related_set_id>
        <related_set_id>MIA_SET-00015</related_set_id>
        <related_set_id>MIA_SET-00024</related_set_id>
        <related_set_id>MIA_SET-00032</related_set_id>
        <related_set_id>MIA_SET-00043</related_set_id>
      </dc_relation>
      <dc_date>
        <first_harvest>2018-07-24</first_harvest>
        <harvest_frequency>negyedévente</harvest_frequency>
        <date_note>2020-től az addigi rendszertelen aratásokról áttértünk a rendszeres, negyedéves aratásokra.</date_note>
      </dc_date>
    </BIBLIOGRAPHIC>
    <ADMINISTRATIVE>
      <curator>
        <curator_name>Visky Ákos László</curator_name>
        <curator_email>visky.akos.laszlo@oszk.hu</curator_email>
      </curator>
      <status>rendszeresen mentett</status>
      <quality_assurance>
        <quality_assurance_status>minimális szinten ellenőrizve</quality_assurance_status>
        <quality_check>
          <quality_assurance_date>2019-05</quality_assurance_date>
          <quality_assurance_note>A webhelyek kezdőlapja lett csak ellenőrizve.</quality_assurance_note>
        </quality_check>
      </quality_assurance>
      <screenshot>
        <screenshot_status>nincs oldalkép</screenshot_status>
        <unique_screenshot_status>vannak oldalképek</unique_screenshot_status>
        <unique_screenshot_taken>
          <unique_screenshot_date>2019-03-07</unique_screenshot_date>
          <unique_screenshot_note>A http://193.224.22.162/aratasok/irodalom/ helyen nem találhatók, de a Sambára készült másolat. </unique_screenshot_note>
        </unique_screenshot_taken>
        <unique_screenshot_taken>
          <unique_screenshot_date>2020-02-11</unique_screenshot_date>
          <unique_screenshot_note>Az automatikusan készült képek közül a hibásakat kézzel újragyártottuk.</unique_screenshot_note>
        </unique_screenshot_taken>
        <unique_screenshot_taken>
          <unique_screenshot_date>2020-05-12</unique_screenshot_date>
          <unique_screenshot_note>Az automatikusan készült képek közül a hibásakat kézzel újragyártottuk.</unique_screenshot_note>
        </unique_screenshot_taken>
        <unique_screenshot_taken>
          <unique_screenshot_date>2020-08-10</unique_screenshot_date>
          <unique_screenshot_note></unique_screenshot_note>
        </unique_screenshot_taken>
        <unique_screenshot_taken>
          <unique_screenshot_date>2020-11-25</unique_screenshot_date>
          <unique_screenshot_note></unique_screenshot_note>
        </unique_screenshot_taken>
      </screenshot>
      <access>
        <access_status>zárt hálózatban szolgáltatható</access_status>
        <access_date>2018-07-24</access_date>
      </access>
      <administrative_note></administrative_note>
    </ADMINISTRATIVE>
    <TECHNICAL>
      <harvester>Heritrix 3.x</harvester>
      <harvest_parameters>Három szint mélységű aratás, videó fájlok kizárásával.</harvest_parameters>
      <shutdown_conditions>A 2018-07-24-i aratás három nap után az operátor által le lett állítva, még 117.692 URL volt hátra. A második (2019-03-04) és a harmadik (2020-02-08) aratás is szintén az opoerátor által lett leállítva. Az 5. (2020-08-07), a 6. (2020-11-13) és a 7. (2021-02-12) aratás az előre beállított idő letelte után magától leállt.</shutdown_conditions>
      <config_file />
      <robots_rule>nem</robots_rule>
      <deduplication>igen</deduplication>
      <schedule>
        <schedule_start>2018-07-24</schedule_start>
      </schedule>
      <harvest_report>http://webharvest.oszk.hu/aratasok/irodalom/</harvest_report>
      <extent>
        <number_of_harvests>7</number_of_harvests>
        <harvest>
          <crawl_start_date>2018-07-24</crawl_start_date>
          <crawl_end_date>2018-07-27</crawl_end_date>
          <crawled_seeds>385</crawled_seeds>
          <visited_hosts>9976</visited_hosts>
          <successful_URIs>1908067</successful_URIs>
          <uncompressed_size>98395</uncompressed_size>
        </harvest>
        <harvest>
          <crawl_start_date>2019-03-04</crawl_start_date>
          <crawl_end_date>2019-03-07</crawl_end_date>
          <crawled_seeds>1309</crawled_seeds>
          <visited_hosts>25110</visited_hosts>
          <successful_URIs>4513088</successful_URIs>
          <uncompressed_size>239856</uncompressed_size>
        </harvest>
        <harvest>
          <crawl_start_date>2020-02-08</crawl_start_date>
          <crawl_end_date>2020-02-10</crawl_end_date>
          <crawled_seeds>1421</crawled_seeds>
          <visited_hosts>6183</visited_hosts>
          <successful_URIs>2353130</successful_URIs>
          <uncompressed_size>146432</uncompressed_size>
        </harvest>
        <harvest>
          <crawl_start_date>2020-05-09</crawl_start_date>
          <crawl_end_date>2020-05-11</crawl_end_date>
          <crawled_seeds>1211</crawled_seeds>
          <visited_hosts>5678</visited_hosts>
          <successful_URIs>2235856</successful_URIs>
          <uncompressed_size>143360</uncompressed_size>
        </harvest>
        <harvest>
          <crawl_start_date>2020-08-07</crawl_start_date>
          <crawl_end_date>2020-08-10</crawl_end_date>
          <crawled_seeds>1475</crawled_seeds>
          <visited_hosts>5450</visited_hosts>
          <successful_URIs>2365709</successful_URIs>
          <uncompressed_size>131072</uncompressed_size>
        </harvest>
        <harvest>
          <crawl_start_date>2020-11-13</crawl_start_date>
          <crawl_end_date>2020-11-16</crawl_end_date>
          <crawled_seeds>1560</crawled_seeds>
          <visited_hosts>5821</visited_hosts>
          <successful_URIs>2440655</successful_URIs>
          <uncompressed_size>156672</uncompressed_size>
        </harvest>
        <harvest>
          <crawl_start_date>2021-02-12</crawl_start_date>
          <crawl_end_date>2021-02-15</crawl_end_date>
          <crawled_seeds>1589</crawled_seeds>
          <visited_hosts>5983</visited_hosts>
          <successful_URIs>2520835</successful_URIs>
          <uncompressed_size>132096</uncompressed_size>
        </harvest>
      </extent>
      <archive_format>WARC</archive_format>
      <storage>webharvest.oszk.hu/</storage>
      <long-term_preservation />
      <technical_note>A harmadik aratásnál (2020-02-08) első alkalommal próbáltuk meg a robots.txt meglétét a Heritrixhez írt Java modullal levizsgálni aratás közben, így csak menetre volt szükség. A negyedik aratás (2020-05-09) előtt ellenőriztük a címeket. Az aratás 8-ra volt időzitve, de a Heritrix leállt. Az 5. aratásnak (2020-08-07) már automatikusan kellett volna indulnia a Kaptafa-val való paraméterezés után, de mivel nem volt crawler-beans.cxml a KIFÜ-s szerverről áthozott job directory-ban, a hibaüzenet után végül a rendszergazda indította el kézzel. A 6. aratás (2020-11-13) még az OSZK-s (193.224.22.162) szerveren futott, a KIFÜ felhőbe költözés előtt, egy időben a KOZGYUJT aratással.</technical_note>
    </TECHNICAL>
  </MIA_set>
</MIA>