После запуска сканера сайта - сайт блокируется

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем Margo, 19 июн 2015.

  1. Margo

    Margo New Member Пользователи

    Регистрация:
    17 май 2015
    Сообщения:
    29
    Добрый день!
    После повторного запуска сканера сайта (yariko.ru и foxy-n.ru) сайты не открываются - пишут "Веб-страница недоступна"
    Уже много раз пробовала - каждый раз одно и тоже.

    У этих сайтов стоит защита? Как можно обойти эту защиту?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.185
    Здравствуйте.

    Некоторые сайты банят за частое обращение к ним. Они должны разбанивать примерно через минут 10.

    Чтобы такие сайты не банили, попробуйте поставить меньшее количество потоков (например, 1).

    С уважением к вам, Сергей.
     
  3. Margo

    Margo New Member Пользователи

    Регистрация:
    17 май 2015
    Сообщения:
    29

    Спасибо, попробую. Только они меня банят не на 10 минут, а на полдня
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.185
    Пожалуйста.

    Попробуйте переподключить интернет (обычно IP динамеческий и меняется при переподключении интернета, а сайт, как правило, банит по IP).

    С уважением к вам, Сергей.
     
  5. Margo

    Margo New Member Пользователи

    Регистрация:
    17 май 2015
    Сообщения:
    29
    Сканер сайта получилось сделать. А теперь меня забанили при парсинге :dull:
    При парсинге можно что-то сделать, что меня не банили?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.185
    Чтобы такие сайты не банили, попробуйте поставить меньшее количество потоков (например, 1). Если будут продолжать банить, увеличивайте значение паузы между запросами.
     

Поделиться этой страницей