Нестабильность

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Roman912, 1 дек 2015.

  1. Roman912

    Roman912 New Member Пользователи

    Регистрация:
    16 июл 2015
    Сообщения:
    5
    Подскажите с чем может быть связана нестабильность, а именно:
    Совсем не грузит контент, сколько бы потоков не ставил, не реагирует на прокси и юзер агент. Месяц назад парсили по этому проекту в 50 потоков и никаких проблем не знали (естественно с прокси) а сейчас пол дня простоял, взял товаров 100 за это время, остальные в ошибках.
    Может у них что-то изменилось, или я что-то не так сделал.
    Файлы прилагаю.
     

    Вложения:

    • Снимок.PNG
      Снимок.PNG
      Размер файла:
      165,6 КБ
      Просмотров:
      1
    • v5.1.cdp
      Размер файла:
      50 КБ
      Просмотров:
      1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Проверил ваш проект, никаких проблем не увидел. Все 7 документов спарсились. В диагностировании проблемы отталкивайтесь от ошибок в логе. Возможно, часть ваших прокси пришла в негодность.

    С уважением к вам, Сергей.
     

    Вложения:

  3. Roman912

    Roman912 New Member Пользователи

    Регистрация:
    16 июл 2015
    Сообщения:
    5
    Сергей, не подскажешь почему может безумно медленно парсить? меньше товара в минуту. (пробовал и список агентов и куки менять и потоки от 1 до 50, прокси) все равно скорость очень медленная, месяц назад собирал по 15-30 товаров в минуту.
    Из минусов у меня сейчас статический IP. но судя по логам его программа скрывает проксями. Может еще что-то не учел, перешарил весь форум. ТОР тоже не подошел, и что самое не понятное, не используя все эти уловки, просто напрямую с задержкой в 7000 и при 1-2 потоках парсит с такой же скоростью.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Отключите макрос случайного вывода текста {..|..|..} (главное меню - настройка - настройка макросов).

    С уважением к вам, Сергей.
     

    Вложения:

    • v5.1.cdp
      Размер файла:
      50,8 КБ
      Просмотров:
      6
  5. Roman912

    Roman912 New Member Пользователи

    Регистрация:
    16 июл 2015
    Сообщения:
    5
    Парсить стало намного быстрее!! спасибо! Парс быстро пробегает по ссылкам.
    Но ошибка не ушла, объясню, много страниц не парсится, выдает ошибку - файл не сохранен: Сработал фильтр "не сохранять ссылки с битыми картинками". причем заметил что страницы у которых 1 картинка парсятся без проблем, а там где 2 и более нет. Вообще не могу врубить в чем дело. По форуму эту ошибку не нашел, никто о ней не писал(
    Помогите плиз разобраться!
     
  6. Roman912

    Roman912 New Member Пользователи

    Регистрация:
    16 июл 2015
    Сообщения:
    5
    Убрал галочку в контенте фильтре - не парсить с битыми картинками, стал парсить, но без картинок.
    Если в самом проекте поплыло, то почему без прокси в 1 поток парсит нормально (но показывает что уйдет на это 42 дня) а с прокси выходит лажа с картинками((( запутался совсем
     

    Вложения:

  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Возможно, прокси плохие.
     

Поделиться этой страницей