Запретить копирование сайта в Internet Archive.
Для этого достаточно запретить доступ к сайту для сервиса INTERNET-ARCHIVE. Его бот ходит из сети AS7941 и имеет user-agent:
Mozilla/5.0 (compatible; archive.org_bot +http://archive.org/details/archive.org_bot) Zeno/cfa2980 warc/v0.8.47
Заблокировать можно как через правила в файле htaccess, так и через Cloudflare.
Блокировка Internet Archive в HTACCESS
Актуальные правила для последних версий Apache, начиная с 2.4 и выше.
<RequireAll> Require all granted Require not ip 207.241.224.0/20 Require not ip 207.241.238.0/24 Require not ip 208.70.24.0/21 Require not ip 2620:0:9c0::/48 </RequireAll>
Блокировка Internet Archive через Cloudflare
При использовании Cloudflare, вариантов блокировки Wayback Machine у вас больше.
- блокировка по ASN (AS7941)
- блокировка по диапазону IP адресов
- блокировка Internet Archive по User-Agent (archive.org, archive.org_bot)
Список IP адресов Internet Archive
207.241.224.0/20 207.241.238.0/24 208.70.24.0/21 2620:0:9c0::/48
Если у вас возникли проблемы с блокировкой с Internet Archive ( wayback machine) вы можете обратиться ко мне через форму обратной связи.
