| 1.1, Аноним (1), 08:17, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +32 +/– |
> так как при случайной индексации подобной ловушки ботом Google
> случайной
> Google
:D)))))))))))))))))))))))))))))))))))))))))))))))))))))))))))
| | |
| |
| 2.3, Аноним (3), 08:28, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– |
Имелось ввиду, что если накосячишь с настройкой ловушки и она по ошибке сработает для Google Bot, то мало не покажется.
| | |
| |
| |
| 4.7, Вася (??), 08:35, 30/04/2025 [^] [^^] [^^^] [ответить]
| +4 +/– |
так это будет в лимита загрузки, но вне лимита распаковки
| | |
| |
| 5.27, Tron is Whistling (?), 09:07, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– |
Распаковка по-хорошему производится по мере загрузки.
Никогда не удивляло, что gzip/bzip2/xz/zstd файл для распаковки целиком в память не загружают?
| | |
|
| 4.118, Аноним (118), 17:33, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
В том-то и дело, что есть, и не только на размер. И если любая защита срабатывает — значит сайт и у обычного пользователя тоже нормально работать не будет, значит и рекомендовать пользователям посещать этот сайт не нужно. Все такие подозрительные урлы в поисковом индексе в итоге помечаются как вредоносные, а по достижению определённого лимита вредоносным помечается весь домен. На этом в принципе можно и попрощаться, убрать домен из списка вредоносных может занять несколько месяцев. Если это мелкий магазин, как было у моего клиента, то может оказаться дешевле провести ребрендинг и сменить название, чем держать склад без движения.
| | |
|
|
|
| |
| 2.10, n00by (ok), 08:39, 30/04/2025 [^] [^^] [^^^] [ответить]
| +10 +/– |
 Так и лимит на количество запросов могли бы добавить, но чего-то не хватило.
| | |
| |
| 3.14, Аноним (3), 08:45, 30/04/2025 [^] [^^] [^^^] [ответить]
| +1 +/– |
Новомодные боты лезут с разных IP, не большой 10-20 запросов с одного. Лезут из Китая, Вьетнама, Бразилии. На днях фильтровал AI-ботов и только список /24 подсетей составил около 5000 строк за день. Всего под сотню тысяч разных IP было, непонятно где они их берут, на ботнет не походит.
| | |
| |
| 4.46, n00by (ok), 10:42, 30/04/2025 [^] [^^] [^^^] [ответить]
| –6 +/– |
IP разные, а запросы одинаковые, потому и получается фильтровать. 100 тысяч IP, подозреваю, даже особо активный Аноним Опеннет может нагенерировать с двух телефонов.
| | |
| |
| 5.50, Аноним (50), 10:54, 30/04/2025 [^] [^^] [^^^] [ответить]
| +7 +/– |
Я не особенно активный аноним, но мне очень интересно, как сгенерить 100 000 ipv4 с двух телефонов.
| | |
| |
| 6.96, _ (??), 15:38, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– |
Сейчас будет танец "ви таки меня не так поняли" :)
| | |
|
| 5.56, Аноним (3), 11:27, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Запросы все разные, с разных реалистичных User Agent. Боты индексируют разные страницы без повторов и вся свора ботов синхронизирована (видимо задания на загрузку формируются заранее и распределяются). Без штук типа anubis от реальных пользователей их не отличишь.
| | |
| |
| 6.69, 678 (?), 12:02, 30/04/2025 [^] [^^] [^^^] [ответить]
| –2 +/– |
Почему? боты аля-curl не грузят всякие css, как триггер геморно, но можно. с селениумами сложнее, но в целом тоже можно..половина сайтов современных выдает кучу уведомлений, от куки до рекламы, или около рекламы, так что большая часть страницы перекрывается, бот этот попап закрывать не станет, а юзер да - и если бот посмотрел страницу и ничего не закрыл, то для нового запроса можно бан или последнее китайское, в общем не вижу проблемы.
| | |
| |
| 7.119, Аноним (118), 17:36, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
> бот этот попап закрывать не станет
Чего вдруг? Мои и закрывают, и на куки соглашаются, и как только людьми не прикидываются. Даже мышкой по странице елозят весьма убедительно. Это не так сложно сделать, как тебе кажется.
| | |
|
|
|
|
|
| 2.11, Аноним (3), 08:41, 30/04/2025 [^] [^^] [^^^] [ответить]
| –1 +/– |
Полный размер становится известен только после распаковки. Отдаётся вполне себе небольшой файл, укладывающийся в лимиты. Степень сжатия в таком файле может быть как 1:10 так и 1:1000000.
| | |
| |
| 3.20, Tron is Whistling (?), 08:55, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Не "после", а "во время". Плюс распаковка потоковая, весь контент читать не обязательно. Но это слишком сложно, я понимаю.
| | |
| 3.21, Tron is Whistling (?), 08:57, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– |
Хотя в принципе могу понять, считать целиком, потом загнать в распаковку - старая добрая привычка скриптеров, вообще не понимающих, что делают. Им и положено страдать от таких zip-"бомб", пусть страдают :)
| | |
|
|
| 1.5, нитгитлистер (?), 08:29, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| –9 +/– |
эмм а что это за содержимое такое на 100 тб? типа набор рандомных случайных данных? или все серии ванписа?))
| | |
| |
| 2.23, Аноним (23), 08:58, 30/04/2025 [^] [^^] [^^^] [ответить]
| +4 +/– |
Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае нули. Архиватор представит 0000....000 виде "0:количество"
| | |
| |
| 3.26, нитгитлистер (?), 09:03, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
> Рандомные данные плохо сжимаются, хороши сжимаются повторяющиеся данные - в данном случае
> нули. Архиватор представит 0000....000 виде "0:количество"
о как, понял благодарю
| | |
|
| 2.101, Я (??), 16:14, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
да хоть карта с местонахождением ванписа. главное чтоб жалось хорошо.
| | |
|
| 1.9, qqq (??), 08:37, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| –6 +/– |
Когда я лет 7 назад такого бота делал, оно качало только текст и видео/аудио с новостных сайтов. Соответственно всякие zip, gz и тп оно не качало. На некоторых добрых сайтах даже особо разбирать html не нужно было, просто можно было понять как у них систематизированы видео-текст и просто перебирать .../1.html .../1.mp4 или как-то так.
И да, robots.txt оно игнорировало, надо же как-то данные для тренировки моделей собирать.
| | |
| |
| 2.17, Аноним (3), 08:49, 30/04/2025 [^] [^^] [^^^] [ответить]
| +7 +/– |
Когда ты запрашиваешь .html сервер отдаёт его тебе сжатым, если браузер выставляет заголовок "Accept-Encoding: deflate, gzip, brotli...", а сервер поддерживает сжатие.
| | |
| |
| 3.126, Аноним (126), 17:56, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Зачем подсказываете? Пусть бы дальше собирал "данные для обучения моделей" :)
| | |
|
| 2.76, Ося Бендер (?), 12:33, 30/04/2025 [^] [^^] [^^^] [ответить]
| +3 +/– |
В некоторых странах шариата таким умникам руку могут отрубить, так-что будь осторожен, я тебя предупредил.
| | |
| |
| 3.122, _ (??), 17:50, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
И что ты ему сделаешь?
Разве что "поцелуешь в уста не говорящие на фламандском"(С) ЛоУШ :-D
| | |
|
|
| 1.13, Аноним (13), 08:44, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| –1 +/– | |
> На практике предложенный метод применять не рекомендуется, так как сайт может быть занесён Google в чёрный список и начнёт помечаться вредоносным в браузере Chrome с включённым режимом "Safe Browsing".
И в чем смысл? Показать какой администратор умный? Не стоило новости.
| | |
| |
| 2.37, Аноним (37), 10:03, 30/04/2025 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> Показать какой администратор умный?
Скорее наоборот. Ибо предполагает, что авторы ботов настолько дураки, что не додумаются при потоковой распаковке добавить проверку содержимого, и отбрасывать все, что начинается с этих нулей вместо "<!DOCTYPE html>" и т.п.
Наивность метода просто поражает.
| | |
| |
| 3.38, Аноним (38), 10:11, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– | |
> Ибо предполагает, что авторы ботов настолько дураки
Ты и не представляешь насколько...
| | |
| |
| 4.43, n00by (ok), 10:34, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Ну он и не догадался, что после <!DOCTYPE html> можно отправлять пробелы...
| | |
| |
| 5.47, Аноним (37), 10:44, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
> Ну он и не догадался, что после <!DOCTYPE html> можно отправлять пробелы...
Ну да, ведь остановиться на размере 10-30 мегабайт при потоковой распаковке у ребят ну никак не получиться.
| | |
| |
| 6.78, Аноним (78), 12:38, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– |
С вероятностью 99.99% там нет никакой потоковой обработки, зовётся метод на петоне (как вариант на go) в параметрах урл, в ответе распакованный ответ. Вот в распакованном ответе внезапно может случится терабайт пробелов..
| | |
|
|
|
| 3.41, qwe (??), 10:32, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– |
Наивные методы таки работают, хоть и не всегда. Простой пример защиты от спам-ботов: спам-боты часто не видят html-комментарии. Защита банальна: сунуть скрытое поле формы внутрь html-комментария и проверить, кто это поле передаст в post запросе. Браузеры такое поле в тело post запроса не передадут, а боты - вполне, ибо не разбирают DOM-дерево, а юзают регулярки. Не со всеми прокатывает, но со многими.
| | |
| 3.42, Аноним (42), 10:33, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Ну забью нулями посередине документа,или другим паттерном легитимного html.
| | |
| |
| 4.49, Аноним (37), 10:49, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
> Ну забью нулями посередине документа,или другим паттерном легитимного html.
А остановить распаковку на пятом десятке легитимного HTML ну никак нельзя, да?
| | |
|
| 3.45, Аноним (-), 10:36, 30/04/2025 [^] [^^] [^^^] [ответить] | –1 +/– | Как эта проверка может выглядеть Первый байт контента нулевой Или надо провери... большой текст свёрнут, показать | | |
| |
| 4.48, Аноним (37), 10:47, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
> Как эта проверка может выглядеть? Первый байт контента нулевой? Или надо проверить первые 1000 байт? И чё?
Элементарно: проверяются первые несколько байт на наличие заголовка. Это элементарная проверка, так все браузеры делают.
Или ты думал, они все куском распаковывают, а уже потом пытаются понять, что внутри?
| | |
| |
| 5.59, Аноним (3), 11:36, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
> Или ты думал, они все куском распаковывают, а уже потом пытаются понять,
> что внутри?
В классических краулерах и AI-индексаторах для загрузки и разбора используются разные процессы.
| | |
| 5.83, Аноним (83), 12:51, 30/04/2025 [^] [^^] [^^^] [ответить]
| +1 +/– | |
Следующий шаг - делать архив не из нулей, а из повторяющегося триллионы раз легитимного заголовка файла (например, того же самого <!DOCTYPE html>). Файлик не сильно больше получится.
| | |
| |
| 6.120, Аноним (118), 17:42, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Проверять отношение сжатого к несжатому перед распаковкой ещё во времена фидо придумали, когда зип-бомбы получили такую популярность.
| | |
| |
| 7.129, Аноним (-), 18:47, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
Я не знаю сообщают ли http заголовке о размере распакованного body, но даже если они сообщают, то сервер может наврать об этом, и потом клиент радостно будет распаковывать. И я заверяю тебя, он будет распаковывать до конца, потому что Postel's law: "be conservative in what you send, be liberal in what you accept".
Но я сомневаюсь, что сервер сообщает о длине распакованного. В любом случае, сервер может просто прекратить сообщать _всегда_, чтобы боты были бы вынуждены либо отказываться вообще работать с сайтом, либо работать в отсутствие предсказуемости длины распакованного.
| | |
|
|
| 5.121, Grand (?), 17:43, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Распаковывается nate.html , а в нем 100 млн раз повторен большой морской загиб Петра Великого. Чем это тебе поможет ??
| | |
|
|
|
|
| 1.15, Аноним (15), 08:46, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| –10 +/– | |
Народ так еще и не понял, что дешевле отдать контент, чем городить все эти "защиты".
Все, к чему это приводит, это то, что приходится скрабить такой ресурс еще раз.
Особенно забавно с популярными. Если стоит задача получить дамп, они думают что "мусорные" данные кого-то остановят?
| | |
| |
| 2.18, bergentroll (ok), 08:52, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– |
 У вас сайт просто приляжет, если безграничное кол-во скриптов будет его выкачивать целиком. Можно будет контент себе с локалхоста на локалхост щедро отдавать.
| | |
| |
| 3.30, anonymous (??), 09:19, 30/04/2025 [^] [^^] [^^^] [ответить]
| –3 +/– |
Ну если сайт кладёт кнопку "скачать" за пейвол, то не удивительно, что посетители скачивают текст скриптами.
| | |
| |
| 4.33, bergentroll (ok), 09:23, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– | |
> Ну если сайт кладёт кнопку "скачать" за пейвол,
Вообще не об этом статья. За пей-волом рандомный робот не скачает.
| | |
| |
| 5.44, anonymous (??), 10:35, 30/04/2025 [^] [^^] [^^^] [ответить]
| –1 +/– |
читать даёт постранично, скачать целиком - нет. Очевидно возникает желание всё равно эту информацию скачать. Раньше для этого использовался scrapbook, но теперь он не совместим с принципами файерфокс, и скрапить приходится питоном
| | |
|
|
|
| 2.28, ddd123 (-), 09:09, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
>Если стоит задача получить дамп, они думают что "мусорные" данные кого-то остановят?
Если стоит задача получить МУСОРНЫЙ дамп, то "мусорные" данные ни кого не остановят.
А вот если стоит задача получить НЕ МУСОРНЫЙ дамп, то "мусорные" данные конечно остановят. Не сразу конечно, но ресурс для бота будет включён в чёрный список.
И я использую cloudflare, их защита от ботов реально работает.
| | |
| |
| 3.31, Аноним (31), 09:20, 30/04/2025 [^] [^^] [^^^] [ответить]
| +11 +/– |
Только их защита не только от ботов но и от пользователей работает к сожалению.
| | |
| |
| 4.39, Аноним (39), 10:25, 30/04/2025 [^] [^^] [^^^] [ответить]
| –1 +/– |
Ага. Если случайно попал, пройдя по ссылке - тут же закрыть, не глядя.
| | |
| 4.77, Аноним (37), 12:35, 30/04/2025 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> Только их защита не только от ботов но и от пользователей работает к сожалению.
Это вообще не проблема, потому что количество пользователей с подозрительными (по мнению Cloudflare) запросами - это капля в море по сравнению с нагрузкой, которую делает даже один единственный бот.
| | |
| |
| 5.115, anonymous (??), 17:05, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
Ну вот вы сами восстанавливаете пользователей против себя.
Веб мастера плачутся, что каждый труд должен быть оплачен, а пользователь отключает рекламу, гад такой.
Пользователь плачется, что он каждый день убивает десяток минут жизни совокупно на преодоление клаудвафли, и при таких расходах уже сайт должен пользователю, а не наоборот.
А зарабатывают на этом ни те, и ни другие.
| | |
| |
| 6.123, Аноним (118), 17:50, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
> Пользователь плачется, что он каждый день убивает десяток минут жизни совокупно на преодоление клаудвафл
Пользователи с подключением к интернету не плачутся. Плачутся только те, кому вместо подключения к интернету продали доступ к провайдерской локалоке с интернетом через cgNAT. Показывать таким капчу это как после посещения туалета руки мыть — вопрос обычной гигиены.
| | |
|
|
|
| 3.32, anonymous (??), 09:20, 30/04/2025 [^] [^^] [^^^] [ответить]
| +5 +/– | |
> И я использую cloudflare, их защита от ботов реально работает.
Она и от людей защищает. Я заколебался доказывать что не бот при каждом переходе
| | |
| 3.79, Аноним (79), 12:40, 30/04/2025 [^] [^^] [^^^] [ответить]
| –1 +/– |
Если еще проблемы нет с багами в Cloudflare, как это было недавно, когда они написали, что откатились, решают проблему, а по факту - нет.
| | |
|
| 2.51, Аноним (50), 10:57, 30/04/2025 [^] [^^] [^^^] [ответить]
| –1 +/– |
Я всё отдал бы, у меня зеркало Слаквари, но боты весь месячный трафик за пару дней высасывают.
| | |
| |
| 3.71, Аноним (-), 12:04, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
> Я всё отдал бы, у меня зеркало Слаквари, но боты весь месячный трафик
> за пару дней высасывают.
Что за зеркало такое лажовое что ему боты траф высаживают? А пользователи с него не качают чтоли? Тогда и зеркало можно просто снести - никто и не заметит.
| | |
| |
| 4.104, Я (??), 16:24, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
ну сейчас по сути любое среднее зеркало которое хотя как-то индексируется в интернете и хостится на сервисе с месячным лимитом траффика. потому что в отличие от пользователей аи боты качают всё подряд некоторые ещё и по несколько раз а потом часто даже не смотрят в эти данные или не понимают их и качают снова.
| | |
|
|
|
| |
| 2.25, Tron is Whistling (?), 09:03, 30/04/2025 [^] [^^] [^^^] [ответить]
| +3 +/– |
Есть подозрение, что написаны оные на нодежсах с пыхтонами, которые просто вызовы библиотек "скачай мне это" - там васянская библиотека сама попробует распаковать, с немного предсказуемым результатом.
| | |
| 2.87, Аноним (87), 13:24, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Тем, кто не прислал вменяемый Accept-Encoding, можно сразу 400 отдавать. Это точно и не человек, и не полезный бот.
| | |
|
| 1.19, Аноним (23), 08:55, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
глупость какая, если бот распаковывает архив, то он может в заголовке архива посмотреть оригинальный размер содержимого и не распаковывать его
| | |
| |
| 2.22, Tron is Whistling (?), 08:58, 30/04/2025 [^] [^^] [^^^] [ответить]
| +4 +/– |
Там нет "архива" и нет "размера содержимого".
Другое дело, что распаковывать-то надо потоком при закачке, а не всё целиком. Ну или хотя бы лимит распаковщику отдавать.
| | |
| 2.52, pfg21 (ok), 11:00, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
 в распаковку еще надо внести код учитывающий зип-бомбы :) обычно такого нет.
ибо дать четкое алгоритм, что вот этот архив с сжатием в 5 раз не зип-бомба а вот со сжатием в 10 раз зип-бомба нет.
| | |
| |
| 3.70, Аноним (37), 12:03, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
Это вообще не проблема, ибо данные распаковываются потоково.
Если после распоковки первой сотни килобайт у тебя там нули или другой мусор вместо <!DOCTYPE..., то дальше можно не продолжать.
| | |
| |
| 4.89, YetAnotherOnanym (ok), 14:36, 30/04/2025 [^] [^^] [^^^] [ответить]
| +1 +/– |
 Если после первого же такого документа бот отвалится от сайта - задача выполнена.
А если нет - можно и продолжить. Дать боту легитимный хтмл, из которого тот нахарвестит линков на лайв-видосики неограниченной продолжительности сплошного чёрного ухд - и пусть он их качает до второго пришествия.
| | |
|
|
|
| 1.35, Аноним (35), 09:48, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +2 +/– |
 Новые Дон Кихоты и Санчо Пансы на борьбу с ботами вышли)
В наш век, нейронки выкачивают через ботов весь интернет.
И здесь двояко - можно постоянно вычислять и запрещать (боты постоянно меняю поведение и подстраиваются под ваши защиты + у каких нибудь дипсиков будут весьма ограниченные знания о вашем сайте/организации), либо искать какой то компромисс и банить только особо безбашенные боты)
| | |
| |
| 2.62, Аноним (62), 11:47, 30/04/2025 [^] [^^] [^^^] [ответить] | +/– | Ну, мой ответ прост - внешний сайт перевести тупо на статику, оставив только при... большой текст свёрнут, показать | | |
| |
| 3.107, Я (??), 16:33, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
да тут какбы можно и клаудфлейровскую защиту купить если у тебя высоконагруженный комерческий сервис, а вот когда ты малый вебсервер держишь который тебе денег много не приносит то ты чем всё это оплатишь? веселее челам у которых невысоконагруженные аписервисы на облаках с оплатой за запрос хостятся так что пользователи никогда за месячную бесплатную квоту не выбиваются, а аишные боты запросами за минуту могут всю квоту выбить.. и радуйся если у тебя было настроено отключение по достижению лимита иначе потом можно получить счёт на несколько тысяч долларов.
| | |
| |
| 4.117, Аноним (118), 17:20, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
> а вот когда ты малый вебсервер держишь который тебе денег много не приносит то ты чем всё это оплатишь?
А сколько «всего этого» надо оплачивать? У меня в точности как ты описал: малый вебсервер (ещё и хостящийся под кроватью), тех денег что он приносит даже на домен не хватает. Естественно он за CloudFlare, чтобы не палить домашние адреса. Стоит мне это удовольствие аж целых $0.0 каждый месяц вот уже два года, кроме ноября 2024, когда на мой сайт налетело ИИ-ботов из-за одной публикации. Тот ноябрь обошёлся мне аж в $1.74. Но уже к декабрю безумие прекратилось и всё вернулось на круги своя за $0.0.
| | |
| |
| 5.124, Олег (??), 17:52, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Держишь сайт для себя - так заблоч их всех нафиг. Здесь друзья-девопсы кучу рецептов выложили. Другой вопрос - компания, фирма. Хотят они чтоб о них нейронки знали или нет.
| | |
|
|
|
| 2.90, YetAnotherOnanym (ok), 14:49, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
> В наш век, нейронки выкачивают через ботов весь интернет
Этот "наш век" продлится ровно до краха очередного IT-пузыря. Когда основателей стартюпов на тему "мы разрабатываем систему ИИ" охрана инвестфонда будет выкидывать на мороз - сразу всё буйство ботов волшебным образом прекратится.
> банить только особо безбашенные боты
С простым критерием - если бот распознаётся как бот, то это безбашенный бот.
| | |
| |
| 3.98, Олег (??), 16:00, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
ААА, все пропало, гипс снимают, клиент уезжает. Все эти... плохие парни со своими ИИ скоро положат весь интернет. Срочно всех заблокировать!
Хотим мы или нет - ИИ это действительность, сколько угодно можем ворчать, ругаться - ничего от этого не изменится и количества ботов не изменится, а скорее увеличится. Не, есть вариант заблочить всех нафиг, и так каждое утро начинать с этого.
Лет 15 назад была проблема со спамом на почтовиках, не буду вдаваться в подробности, приняли стандарты, приучили всех тех спамеров к порядку - и сейчас все норм. Так и здесь - нужен "стандарт", система.
| | |
|
|
| |
| 2.61, Аноним (-), 11:43, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
> Это всё AI-скрейперы, корпорации тренируют модели нового поколения.
> Ставьте себе Anubis, его создал хитрый жук,
Еще не хватало этот квази-майнер ставить, беся пользователей. Осталось еще блин начать майнить на пользователях - и тогда боты вообще станут всячески велкам :). А если удалось задетектить бота - и начать майнить на нем дольше и наглее... ммм... так можно и подзаработать даже. На ботах. Если они сдуру JS отрастят.
| | |
| |
| 3.109, Аноним (36), 16:40, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Альтернатива? Критиковать-то мы все горазды. Я лично знаю только три: 1. опять чёрные/белые списки, и в итоге туда попадают вообще невиновные; 2. опять капча; 3. платить денюжку. Я уж лучше подожду пока меня Анубис пустит.
| | |
|
| |
| |
| 4.111, Аноним (36), 16:45, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Да, наверняка нет жабоскрипта и куки напрочь отключены. Хардкор, короче.
| | |
|
| 3.110, Аноним (36), 16:42, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Какой браузер? У меня даже на древнем планшете с Android 5 открывается в Fennec, пусть и с тормозами, а на домашнем компе вообще за 2 сек.
| | |
|
|
| |
| 2.63, Аноним (62), 11:50, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– |
не все боты живут на бесплатных фермах гугл лабс и амазон.
некоторые уже построены на ботнетах из роутеров и камер с уязвимостями.
| | |
|
| 1.60, Аноним (60), 11:38, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| –2 +/– |
> может быть занесён Google в чёрный список
> и начнёт помечаться вредоносным в браузере Chrome с включённым режимом
> "Safe Browsing".
Так это ж вообще не баг а фича. Банит с сервера не только ботов - но и иди0тов с "safe" browsing от spyware corp.
| | |
| 1.64, Аноним (64), 11:51, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Я так понимаю речь идёт о конторе Netcup которая долбит тысячами запросов в секунду с разных ipv6 на сайты которые закрыты через клаудфларе.
| | |
| 1.66, Аноним (62), 11:54, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Вопрос, кто тут еще самый умный буратина:
админы домашнего локалхоста, которые зачем то выпустили свою тушку наружу, без защиты соединения из трех буков,
или админы вебсерверов, получающих за это зарплату, но почему то до сих пор не внедривших защиту от ботов, или не переехавших к надежному хостеру с защитой.
| | |
| |
| 2.73, Аноним (37), 12:06, 30/04/2025 [^] [^^] [^^^] [ответить]
| +2 +/– | |
> Вопрос, кто тут еще самый умный буратина:
Нашел, где такие вопросы задавать. Местная аудитория не видит противоречий в том, чтобы воевать против Cloudflare и одновременно с этим ныть, что их сервер дрючат боты.
| | |
|
| 1.82, Tester (??), 12:47, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
и что.. ну умрет один fork у бота, ядрое его пристрелит. дальше то все по прежнему будет работать
| | |
| |
| 2.88, Аноним (88), 13:24, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Читать дев рандом и отдавать клиенту - проигрышно по ресурсам, по сравнению с затратами клиента. Сервер выполнит в 2 раза больше работы, чем клиент.
Какие цели у вашей идеи? Чтобы было прикольнее?
| | |
| 2.91, YetAnotherOnanym (ok), 14:54, 30/04/2025 [^] [^^] [^^^] [ответить]
| +1 +/– | |
> а почему бы не переключать их на dev/random ?
Зазипуй выдачу из /dev/random (на сколько терпения хватит) и сравни размер зипа и оригинала. Потом зазипуй выдачу /dev/zero и тоже сравни размеры.
| | |
|
| 1.86, Аноним (88), 13:22, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ] | +1 +/– | Каждое поколение обречено придумывать зип бомбы вновь и вновь Не кэширование от... большой текст свёрнут, показать | | |
| 1.95, YetAnotherOnanym (ok), 15:32, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Порадовали рассуждения ботовладельцев о детектировании зип-бомб.
А кто сказал, что зип-бомба может быть только из /dev/zero и выдаваться только в ответ на запрос html-документа? А картинку дофигалиард на дофигалиард белых пикселей не хотите? А PDF с такой картинкой? А нескончаемый лайвстрим радикального чёрного цвета HD/UHD? А вы не забыли про модный нынче подход к созданию сайтов, когда сервер отдаёт html-документ без контента, но с жабаскриптом, который скачивает и отображает контент? Там серверу и отдавать мегабайты сжатых нулей не надо - жабаскрипт сам на месте всё сделает. И вместо урожая данных хозяин бота получит записи в логе о прибитом ООМ-киллером безголовом хроме. И так далее, и так далее...
| | |
| |
| 2.99, Аноним (99), 16:05, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
Какая-то чушь, если честно. У воркера вполне ограниченные ресурсы на работу и он не станет долбиться вечно. Если что не так, добавляем сайт в чёрный список и удаляем из выдачи. Чтобы вернуть, платите деньги потом.
| | |
| |
| 3.100, Аноним (99), 16:08, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
А ведь корпы могут позволить себе перераспределить немного ресурсов, чтобы долбить умников посильнее. Ещё в большем минусе останутся.
| | |
| |
| 4.116, Аноним (99), 17:20, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– |
То-то и оно, детишкам подгадить сможешь чуть (которые и не могли быть проблемой), зато следом прилетит сполна. Вполне по заслугам.
| | |
|
|
| 2.125, Аноним (80), 17:53, 30/04/2025 [^] [^^] [^^^] [ответить]
| +/– | |
> рассуждения ботовладельцев о детектировании зип-бомб
Что ты можешь знать о ботовладельцах, создающщих серверы на неттопах c Avito.
| | |
|
| 1.103, Ivan_83 (ok), 16:20, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
 Есть и другие способы.
Делаем TLS сертификат с RSA на 16384 бита, форсим connection close и всё :)
| | |
| 1.106, Аноним (106), 16:30, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
Просто несимметричную задачу на 5 секунд. Типа запрос на человека появляется только после решения этой задачи.
| | |
| 1.130, Grey Croco (?), 18:53, 30/04/2025 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Кстати , тут промелькнула здравая идея - вместо зип-бомб отдавать про то, что: Американцев не было на луне ,ВИЧ - был разработан ЦРУ , про прикладную эфиродинамику и всемирный заговор релятивистов, про то, что масоны заставили Рузвельта плыть по канализации в рамках обряда инициации, от чего он и захворал поиломелилитом . В общем, всю чушь, Весь СПИД-инфо - чтоб нейросети натренировались на всякой гадости..
| | |
|
