Leamare получил бан от Stratz: «Эта проблема может потенциально быть надолго»

Leamare получил бан от Stratz.

«Опять получил бан от Stratz. Впрочем, на этот раз уже может не прокнуть.

В рамках борьбы с абузерами закрыли доступ к еще одному вызову, которым я пользовался и без которого Immortal/Turbo Meta Trends будет очень проблематично делать. Попробую узнать, что и как, но боюсь, что эта проблема может потенциально быть надолго.

В дополнение еще, видимо, придется удалить часть данных по вардам», – написал Илья «Leamare» Силаков-Волынский.

Stratz – аналитический портал по Доте, с помощью которого Leamare делится важной статистикой. 

Ранее Leamare собрал базу старых реплеев на движке Source 1. Общее количество данных – 1,14 ТБ.

Как играть на Кезе? Разбираем скиллы, смотрим билды Яторо

В Доте вышел последний акт «Павшей короны» – Шпили Скайраса. Рассказываем, что внутри

7 комментариев
Возможно, ваш комментарий носит оскорбительный характер. Будьте вежливы к собеседнику и соблюдайте правила
Пишите корректно и дружелюбно. Принципы нашей модерации
Ответ Tulka
Ого. причина бана? интересная ситуация, впервые слышу, что такие ресурсы кого-то банят.
За последние месяцы всё активнее абузили их апишки (со слов разрабов - очень активно ставочники и про команды), в итоге Stratz начали раздавать баны всем, кто кидал много запросов (особенно если речь шла о конкретных типах запросов) - у меня их данные конкретно для Immortal Meta Trends используются, так что я попал под раздачу, бан по IP, дважды за неделю. Поговорили, бан с меня сняли.

Тут больше проблема была не в бане, а в том, что некоторые вызовы в API им пришлось выключить, потому что они часто использовались абузерами, а у меня на них весь сбор данных строился. Часть из вызовов мне предоставили, другую часть пришлось в срочном порядке искать чем заменить. На текущий момент +- всё разрешилось.

Сверху ещё добавились AI боты, которые активно ддосят всё подряд. Они и меня ддосили, буквально в начале ноября вторую волну банов устроил. Частота запросов была около 600к за час. Когда проблему вычислили и отправили зачинщиков в бан, нагрузка на их сервера резко упала. С моей стороны ускорение Stratz после падения нагрузки + дополнительные оптимизации привели к ускорению сбора данных примерно в 7 раз. Это в целом уже достаточно красноречиво может отражать масштаб проблемы, с которой они столкнулись.
+1
0
+1
За все нужно платить
0
0
0
интересно, как бы изменились результаты на про сцене за последние года, если бы все эти аналитические сайты не создали? сделал бы топ аналитик по типу сикла ещё больший дифф для своей команды?
0
0
0
Ого. причина бана? интересная ситуация, впервые слышу, что такие ресурсы кого-то банят.
0
0
0
Ответ Leamare
За последние месяцы всё активнее абузили их апишки (со слов разрабов - очень активно ставочники и про команды), в итоге Stratz начали раздавать баны всем, кто кидал много запросов (особенно если речь шла о конкретных типах запросов) - у меня их данные конкретно для Immortal Meta Trends используются, так что я попал под раздачу, бан по IP, дважды за неделю. Поговорили, бан с меня сняли. Тут больше проблема была не в бане, а в том, что некоторые вызовы в API им пришлось выключить, потому что они часто использовались абузерами, а у меня на них весь сбор данных строился. Часть из вызовов мне предоставили, другую часть пришлось в срочном порядке искать чем заменить. На текущий момент +- всё разрешилось. Сверху ещё добавились AI боты, которые активно ддосят всё подряд. Они и меня ддосили, буквально в начале ноября вторую волну банов устроил. Частота запросов была около 600к за час. Когда проблему вычислили и отправили зачинщиков в бан, нагрузка на их сервера резко упала. С моей стороны ускорение Stratz после падения нагрузки + дополнительные оптимизации привели к ускорению сбора данных примерно в 7 раз. Это в целом уже достаточно красноречиво может отражать масштаб проблемы, с которой они столкнулись.
Спасибо огромное за оперативный ответ из первых уст. Рад, что все разрешилось.

Я со своего обывательского кресла сужу, но будто бы можно защититься от многотысячных запросов. Либо ключами API для тех, кто сотрудничает с ресурсом, либо обыкновенными капчами для обычных пользователей. Но это явно снизит скорость работы ресурса.
0
0
0
Ответ Tulka
Спасибо огромное за оперативный ответ из первых уст. Рад, что все разрешилось. Я со своего обывательского кресла сужу, но будто бы можно защититься от многотысячных запросов. Либо ключами API для тех, кто сотрудничает с ресурсом, либо обыкновенными капчами для обычных пользователей. Но это явно снизит скорость работы ресурса.
Ключи апи и так есть. Только тут же у тебя всё равно есть страницы матчей, они должны быть публичными. А корень проблемы в итоге оказался в ботах-скраперах для обучения нейронок от одной конкретной конторы, которая агрессивно ддосит всё подряд. Тут просто ключи не помогут уже, к сожалению.
0
0
0
Ответ Leamare
Ключи апи и так есть. Только тут же у тебя всё равно есть страницы матчей, они должны быть публичными. А корень проблемы в итоге оказался в ботах-скраперах для обучения нейронок от одной конкретной конторы, которая агрессивно ддосит всё подряд. Тут просто ключи не помогут уже, к сожалению.
Понял. Еще раз спасибо за подробности. Было познавательно.
0
0
0
Укажите причину бана
  • Оскорбление
  • Мат
  • Спам
  • Расизм
  • Провокации
  • Угрозы
  • Систематический оффтоп
  • Мульти-аккаунтинг
  • Прочее
Пожаловаться
  • Спам
  • Оскорбления
  • Расизм
  • Мат
  • Угрозы
  • Прочее
  • Мультиаккаунтинг
  • Систематический оффтоп
  • Провокации
Комментарий отправлен, но без доната
При попытке оплаты произошла ошибка
  • Повторить попытку оплаты
  • Оставить комментарий без доната
  • Изменить комментарий
  • Удалить комментарий