Služba web.archive.org je plně automatická služba, která prochází v podstatě celý web a jisté jeho části ukládá do své paměti. Většinou jsou to jen HTML data, ale někdy také obrázky, video i audio soubory. Služba jako taková je to docela dobrá, zejména, když chcete zjistit nějaká historická data o expirované doméně apod., jenže ono se tohoto webu také docela dost často zneužívá a to je důvod, proč někdo nechce, aby jeho web byl touto službou archivován.
Jak tedy zabránit web.archive.org v archivaci?
Postup je snadný. Stačí do souboru robots.txt následující dvě řádky:
User-agent: ia_archiver Disallow: /
To je k povolení blokování robota. Pokud chcete odstranit stávající obsah, pak je to bohužel nutno udělat jen pomocí emailu zaslaného na info@archive.org. Jak takový email napsat, je uvedeno níže. Problém je v tom, že reakce jsou minimálně velmi pomalé nebo žádné. Nicméně toto je oficiální informace z webu. Email posílejte ideálně z domény, které se toto týká.
Předmět: DMCA Take Down Notice
Zpráva:
Sir,
I am owner of domain name and website „VAS-NAZEV-WEBU„
I request you to remove the following link from your website
https://web.archive.org/web/*/ADRESA-VASEHO-WEBU
My Address–
„Vaše adresa„
Phone No.—
„telefonní číslo„
Email Address–
„váš email„
I have a good-faith belief that the disputed use is not authorized by the copyright owner, its agent, or the law. The above information in this notice is accurate, and under penalty of perjury, I am the owner of the copyright interest involved.
Signature – „Vaše plné jméno„
Zdroj informací:
https://archive.org/post/234741/robotstxt
https://archive.org/about/faqs.php#2