сайт временно банит (программа не собирает ссылки)

Discussion in 'Парсинг конкретных сайтов по запросу (ПЛАТНО)' started by Yjdbxjr, Dec 25, 2016.

  1. Yjdbxjr

    Yjdbxjr New Member Пользователи

    Joined:
    Oct 23, 2015
    Messages:
    32
    Location:
    Кемерово
    Здравствуйте! С сайта собирается только часть ссылок , а те, что собираются- не загружаются, раньше проблем не было, а сейчас периодически появляется окно на сайте View attachment 2859

    Подскажите, что необходимо сделать в программе, чтобы обойти данную защиту? может в инструкциях что-то есть...помогите, пожалуйста...
     

    Attached Files:

    Yjdbxjr, Dec 25, 2016
    #1
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Рекомендации по обходу временного бана за частые запросы на скриншоте (подходит для большинства сайтов):
    2016-12-25_10-24-48.png
     
    Root, Dec 25, 2016
    #2
  3. Yjdbxjr

    Yjdbxjr New Member Пользователи

    Joined:
    Oct 23, 2015
    Messages:
    32
    Location:
    Кемерово
    К сожалению, мало того, что жутко долго парсит с такой паузой, так все равно не все ссылки даже собирает, вместо 264 штук, собрал 241 с максимальной паузой.... это единственный возможный вариант обойти этот бан?
     
    Yjdbxjr, Dec 25, 2016
    #3
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Либо увеличивать паузу, либо покупать список прокси и использовать его в программе (ctrl+r).
     
    Root, Dec 25, 2016
    #4
  5. Kreol

    Kreol Модератор Staff Member Модератор

    Joined:
    Jan 6, 2013
    Messages:
    2,666
    Если собирает не все ссылки: Значит неправильно настроен сканер ссылок.
    Если вас банят, значит вы сильно напрягаете сайт, поэтому это вполне нормальный вариант обхода.
    Причем прокси нужны тоже не бесплатные с аптаймом в секунды. т.е. нужны хорошие (а это обычно дорогие)
     
    Kreol, Dec 25, 2016
    #5
  6. Yjdbxjr

    Yjdbxjr New Member Пользователи

    Joined:
    Oct 23, 2015
    Messages:
    32
    Location:
    Кемерово
    Сканер ссылки настроен правильно, я им уже давно пользуюсь, и все собирал, что нужно... :(1 поток с паузой 1000мс - не думаю, что сильно прям перенапрягаю его....
     
    Yjdbxjr, Dec 25, 2016
    #6
  7. Yjdbxjr

    Yjdbxjr New Member Пользователи

    Joined:
    Oct 23, 2015
    Messages:
    32
    Location:
    Кемерово
    ладно, понятно, просто думала, что можно еще что-то сделать....600 ссылок обрабатывать пол дня- это , конечно, не вариант.... да еще и по 2-3 раза, чтобы все собрал....печально(
    все равно - спасибо за советы...
     
    Yjdbxjr, Dec 25, 2016
    #7
Similar Threads
  1. Marichka

    Не собирает ссылки

    Marichka, Oct 2, 2014, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    37
    Views:
    5,714
    Liooon
    Jul 12, 2015
  2. anzhelika-u

    Не собирает ссылки

    anzhelika-u, Mar 31, 2015, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    13
    Views:
    2,530
    Bumblefoot
    May 21, 2015
  3. Марат

    Парсер сайтов не собирает ссылки

    Марат, May 13, 2015, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    2
    Views:
    1,374
    kagorec
    May 13, 2015
  4. Влад780

    сканер не собирает ссылки с авито!

    Влад780, Jul 1, 2015, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    8
    Views:
    1,864
    Root
    Aug 13, 2015
  5. Vladyslav

    Не собирает ссылки с сайта https_aa.mail_ru/forums/

    Vladyslav, Aug 27, 2015, in forum: Парсинг во вкладке "Ссылки"
    Replies:
    3
    Views:
    1,500
    Root
    Nov 12, 2015
Loading...

Share This Page