Перестает парсить 1k

Discussion in 'Решение проблем с использованием программы' started by hiruko, Apr 25, 2014.

  1. hiruko

    hiruko New Member Пользователи

    Joined:
    Apr 11, 2014
    Messages:
    17
    Добрый день. Парсер парсит около 80 ссылок магазина 1k.by и все (остальные ячейки в таблице все пустые), попытки зайти через браузер на данный интернет ресурс так же не увенчались успехом-там белый экран. Не могли бы Вы подсказать как можно исправить? Другие магазины норм парсит, мб как-то через прокси?
    Заранее спасибо
    P.s. Извиняюсь , если вопрос глупый.
     
  2. Kreol

    Kreol Модератор Staff Member Модератор

    Joined:
    Jan 6, 2013
    Messages:
    2,666
    Проверил, все открывается и работает.
    Какая у Вас версия программы?
    Какой Useragent
    мб у вас прокси не пашут?
     
  3. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Причем тут прокси и UserAgent.
    Он улетел в бан.
    Как вариант - переподключить интернет-соединение, чтобы устранить бан.
    И парсть в 1 поток, чтобы не вызывать бан =)
    Должно помочь...
     
  4. hiruko

    hiruko New Member Пользователи

    Joined:
    Apr 11, 2014
    Messages:
    17
    Я и так паршу в 1 поток.. переподключать интернет каждый раз проблематично, т.к. надо пропарсить 1000+ позиций.
     
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Пробуйте подобрать паузу между запросами (выставляется рядом с потоками) так, чтобы не банило.
    Начните с 1000.
    Если это будет для вас долго, подключайте прокси (лучше платные): меню - сервис - список прокси
    С уважением к вам, Сергей.
     
  6. hiruko

    hiruko New Member Пользователи

    Joined:
    Apr 11, 2014
    Messages:
    17
    добрый день! Включил "Приостановить парсинг с случае бана", но можно как то сделать, чтобы позиция на которой он получил бан оставалась? Т.е. парсит он до 74 позиции, бан, выкл\вкл инет, продолжить парсинг с 74 позиции
     
  7. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Подключите текстовой файл для запоминания парсеру что удачно спарсил

    [​IMG]
     
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Он и так будет парсить с того места, на котором был остановлен (ссылки же удаляются при парсинге)!
     

Share This Page