Перестает парсить 1k

Тема в разделе "Решение проблем с использованием программы", создана пользователем hiruko, 25 апр 2014.

  1. hiruko

    hiruko New Member Пользователи

    Регистрация:
    11 апр 2014
    Сообщения:
    17
    Добрый день. Парсер парсит около 80 ссылок магазина 1k.by и все (остальные ячейки в таблице все пустые), попытки зайти через браузер на данный интернет ресурс так же не увенчались успехом-там белый экран. Не могли бы Вы подсказать как можно исправить? Другие магазины норм парсит, мб как-то через прокси?
    Заранее спасибо
    P.s. Извиняюсь , если вопрос глупый.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Проверил, все открывается и работает.
    Какая у Вас версия программы?
    Какой Useragent
    мб у вас прокси не пашут?
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Причем тут прокси и UserAgent.
    Он улетел в бан.
    Как вариант - переподключить интернет-соединение, чтобы устранить бан.
    И парсть в 1 поток, чтобы не вызывать бан =)
    Должно помочь...
     
  4. hiruko

    hiruko New Member Пользователи

    Регистрация:
    11 апр 2014
    Сообщения:
    17
    Я и так паршу в 1 поток.. переподключать интернет каждый раз проблематично, т.к. надо пропарсить 1000+ позиций.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пробуйте подобрать паузу между запросами (выставляется рядом с потоками) так, чтобы не банило.
    Начните с 1000.
    Если это будет для вас долго, подключайте прокси (лучше платные): меню - сервис - список прокси
    С уважением к вам, Сергей.
     
  6. hiruko

    hiruko New Member Пользователи

    Регистрация:
    11 апр 2014
    Сообщения:
    17
    добрый день! Включил "Приостановить парсинг с случае бана", но можно как то сделать, чтобы позиция на которой он получил бан оставалась? Т.е. парсит он до 74 позиции, бан, выкл\вкл инет, продолжить парсинг с 74 позиции
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Подключите текстовой файл для запоминания парсеру что удачно спарсил

    [​IMG]
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Он и так будет парсить с того места, на котором был остановлен (ссылки же удаляются при парсинге)!
     

Поделиться этой страницей