Парсятся не все товары

Тема в разделе "Решение проблем с использованием программы", создана пользователем Jack_Sparrow, 5 апр 2021.

  1. Jack_Sparrow

    Jack_Sparrow New Member Пользователи

    Регистрация:
    22 ноя 2020
    Сообщения:
    16
    Город:
    Москва
    Здравствуйте, настроил парсер нормально.

    Проблема в том что соберает мало ссылок на карточки товара.
    При парсере показывает 400 готово а по факту в писке 60-100
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В логе парсинга (ctrl+l) есть нужная информация.

    Если спарсились не все товары, значит:
    1) Границы парсинга найдены только на части WEB документов
    2) Сайт банит частые запросы (уменьшите количество запросов в секунду путем уменьшения потоков и установкой паузы между запросами, либо используйте список прокси)
    3) Нерабочие ссылки
     
    Последнее редактирование: 5 апр 2021
  3. Jack_Sparrow

    Jack_Sparrow New Member Пользователи

    Регистрация:
    22 ноя 2020
    Сообщения:
    16
    Город:
    Москва
    Вот такой лог, с чем может быть связан?
     

    Вложения:

  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
     

Поделиться этой страницей