Парсинг allinform - проблема с проксями

Тема в разделе "Решение различных задач по парсингу", создана пользователем Алекса, 8 окт 2013.

  1. Алекса

    Алекса New Member Пользователи

    Регистрация:
    13 авг 2012
    Сообщения:
    20
    добрый день.
    я вот тут пытаюсь спарсить allinform.ru
    собственно пролема вылезает в самом начале при попытке спарсить ссылки

    шаблон таков
    http://www.allinform.ru/spb/search.html?what=%EF%EE%EB%E8%E3%F0%E0%F4%E8%FF&page={num}

    фильтры настроены и все вроде нормально, но при попытке парсить с проксей он выдает робота сразу же,
    когда парсиш со своего ip, то через любой промежуток времени блочит на 15 минут и не дает ввести капчу..
    я вот понять не могу - это у меня прокси не срабатывают или что?

    ставлю галочку - приостановить парсинг в случае бана - не останавливает - парсит 14о ссылок и все тут, дальше просто проскакивает.

    Мжт у кого была подобная проблема, как исправить?

    Прокси ставлю точно рабочие - пробиваю все отдельно проксичекером
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Вероятнее всего, у вас прокси в бане уже =)
    Рекомендую парсить в 1 поток, подобрав паузу между запросами, чтобы не банило.
    Или использовать платные SOCKS5 прокси, которые сайт еще не забанил.
    С уважением к вам, Сергей.
     

Поделиться этой страницей