https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html Для отсеивания ботов, агрессивно [[https://www.opennet.ru/opennews/art.shtml?num=62925 индексирующих]] контент, игнорируя правила из robots.txt, можно воспользоваться тем, что многие боты запрашивают заранее предопределённый набор страниц и не передают Cookie, выставленные в ответ на прошлые запросы. <br><br>Идея в том, чтобы при поступлении запроса проверять наличие определённой Cookie и если она отсутствует вместо запрошенного контента отдавать HTML-заглушку, возвращающую JavaScript-код для выставления Cookie и перенаправления пользователя на ту же страницу. При отправке запроса из браузера при первом входе запрос незаметно для пользователя будет проброшен через код установки Cookie. В промежуточном ответе используем код <br>ошибки HTTP [[https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/418 418]], информирующий о нежелании обрабатывать автоматизированные запросы.<br><br>Предложенный метод не отсеивает всех ботов, но проще в настройке и менее назойливый для посетителей, чем применение системы защит https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html#33 Sat, 28 Feb 2026 06:17:30 GMT По итогу Cloudflare будет единственным, кто имеет автоматизированный доступ к контенту сайтов, т.к. его используют для обнаружения ботов. Можно будет продавать данные. И вообще, как можно отличить поискового бота от AI? Суть ведь их работы одна и та же - собирать данные.<br> https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html#32 Tue, 24 Feb 2026 23:44:03 GMT Авторы Anubis не принуждают сайты с опенсорсом использовать своё творение. Так что, надеюсь, ты уже заблокировал(-а)(-о) себе ану^W эти негодные сайты с опенсорсом и пользуешься только "всяким проприетарным" с правильными, цисгендерными толстыми зондами.<br> https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html#30 Fri, 06 Feb 2026 18:00:00 GMT Мне как-то фиолетово, есть та же наружная и телевизионная реклама, которая &gt; SEO.<br> https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html#29 Fri, 06 Feb 2026 14:22:45 GMT <br>&gt; К слову, ботов порезать проще простого. Достаточно красить трафик по автономкам и <br>&gt; без ограничений пускать только интернет-провайдеров, предоставляющих услуги населению. <br>&gt; Но это же думать надо и как-то страшненько.<br><br>Откройте для себя рынок таких услуг как резидентные (и мобильные) прокси. Удачи в фильтрации. <br> https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html#28 Fri, 06 Feb 2026 14:20:24 GMT &gt; Владельцы сайтов не обязаны делать вам хорошо. Скорее это вы должны думать, <br>&gt; как не делать им плохо. Потому что на самом деле не <br>&gt; являетесь теми, для кого создается и наполняется сайт. Правильно было бы <br>&gt; как-то платить за данные, если в дальнейшем из них извлекается какая-то <br>&gt; прибыль.<br><br>Внезапно - Cloudflare уже тестируют Pay-per-crawl. Ну да - с тотальным vendor lock-in но все же<br> https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html#27 Fri, 06 Feb 2026 14:18:33 GMT &gt; При обнаружении бота - слать его в tarpit, лимитировать число запросов десятью <br>&gt; и отдавать со скоростью 100 байт в секунду.<br><br>Придет с другого IP. <br>Ну и - есть еще один интересный ньюанс.<br>Бывают боты которые собирают материал для обучения ИИ а бывают - которые проверяют страницу прежде чем возвращать данные с нее в ответе пользователю (Perplexity например ловили на этом и они именно этот довод для защиты использовали), если боту второго типа прилетит такое...он просто не будет использовать результаты с этой страницы (и ссылки не будет показывать), найдет откуда _еще_ показать. С учетом что поиск потихоньку становится ИИ-шным...вы только убили себе SEO этим. <br> https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html#26 Sat, 31 Jan 2026 10:57:58 GMT Вот из-за таких как-ты отчасти в мире упадок, а олигархи процветают. :)<br> https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html#25 Sat, 31 Jan 2026 10:55:05 GMT В чём тогда будет смысл organic maps если и там google за тобой следить будет?<br> https://mobile.opennet.dev/openforum/vsluhforumID3/138252.html#24 Tue, 13 Jan 2026 12:18:44 GMT Ога, а потому будет как у всяких яндексов и вк. У яндекса 10 редиректов, прям как на отборных скам-сайтах. А у вк вообще сайт не работает для нормального пользователя. Ибо у нормального пользователя нормальный браузер, запрещающий межсайтовый куки-трэкинг.<br>