сайт временно банит (программа не собирает ссылки)

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Yjdbxjr, 25 дек 2016.

  1. Yjdbxjr

    Yjdbxjr New Member Пользователи

    Регистрация:
    23 окт 2015
    Сообщения:
    32
    Адрес:
    Кемерово
    Здравствуйте! С сайта собирается только часть ссылок , а те, что собираются- не загружаются, раньше проблем не было, а сейчас периодически появляется окно на сайте Посмотреть вложение 2859

    Подскажите, что необходимо сделать в программе, чтобы обойти данную защиту? может в инструкциях что-то есть...помогите, пожалуйста...
     

    Вложения:

    Yjdbxjr, 25 дек 2016
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Рекомендации по обходу временного бана за частые запросы на скриншоте (подходит для большинства сайтов):
    2016-12-25_10-24-48.png
     
    Root, 25 дек 2016
    #2
  3. Yjdbxjr

    Yjdbxjr New Member Пользователи

    Регистрация:
    23 окт 2015
    Сообщения:
    32
    Адрес:
    Кемерово
    К сожалению, мало того, что жутко долго парсит с такой паузой, так все равно не все ссылки даже собирает, вместо 264 штук, собрал 241 с максимальной паузой.... это единственный возможный вариант обойти этот бан?
     
    Yjdbxjr, 25 дек 2016
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Либо увеличивать паузу, либо покупать список прокси и использовать его в программе (ctrl+r).
     
    Root, 25 дек 2016
    #4
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Если собирает не все ссылки: Значит неправильно настроен сканер ссылок.
    Если вас банят, значит вы сильно напрягаете сайт, поэтому это вполне нормальный вариант обхода.
    Причем прокси нужны тоже не бесплатные с аптаймом в секунды. т.е. нужны хорошие (а это обычно дорогие)
     
    Kreol, 25 дек 2016
    #5
  6. Yjdbxjr

    Yjdbxjr New Member Пользователи

    Регистрация:
    23 окт 2015
    Сообщения:
    32
    Адрес:
    Кемерово
    Сканер ссылки настроен правильно, я им уже давно пользуюсь, и все собирал, что нужно... :(1 поток с паузой 1000мс - не думаю, что сильно прям перенапрягаю его....
     
    Yjdbxjr, 25 дек 2016
    #6
  7. Yjdbxjr

    Yjdbxjr New Member Пользователи

    Регистрация:
    23 окт 2015
    Сообщения:
    32
    Адрес:
    Кемерово
    ладно, понятно, просто думала, что можно еще что-то сделать....600 ссылок обрабатывать пол дня- это , конечно, не вариант.... да еще и по 2-3 раза, чтобы все собрал....печально(
    все равно - спасибо за советы...
     
    Yjdbxjr, 25 дек 2016
    #7
Similar Threads
  1. Marichka

    Не собирает ссылки

    Marichka, 2 окт 2014, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    37
    Просмотров:
    5.576
    Liooon
    12 июл 2015
  2. anzhelika-u

    Не собирает ссылки

    anzhelika-u, 31 мар 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    13
    Просмотров:
    2.455
    Bumblefoot
    21 май 2015
  3. Марат

    Парсер сайтов не собирает ссылки

    Марат, 13 май 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    2
    Просмотров:
    1.329
    kagorec
    13 май 2015
  4. Влад780

    сканер не собирает ссылки с авито!

    Влад780, 1 июл 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    8
    Просмотров:
    1.807
    Root
    13 авг 2015
  5. Vladyslav

    Не собирает ссылки с сайта https_aa.mail_ru/forums/

    Vladyslav, 27 авг 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    3
    Просмотров:
    1.462
    Root
    12 ноя 2015
Загрузка...

Поделиться этой страницей