Не полный парсинг карточки товара, 0,1 документа в секунду обработка

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем yrygvay, 5 сен 2021.

  1. yrygvay

    yrygvay New Member Пользователи

    Регистрация:
    20 авг 2017
    Сообщения:
    7
    Доброго дня.
    Была заказана разработка проекта парсинга сайта производителя продукции
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Создали проект пару лет назад и проект работал, после чего было замечено, что перестали парситься артикула (производитель изменил разметку страницы)

    Разработчик проекта изменил проект парсинга.
    Товары все собрались, но сбор 16 тыс товаров занял порядка 20 часов, при том, что очень часто цп был занят менее 10 процентов, очень часто порядка 0,1 страницы в секунду обрабатывалось ( и это при 10 потоках)
    А в финале при собранном файле оказалось, что некоторые данные страницы не попали в csv файл, разработчик сообщает что:
    "видимо вбапп не загружает иногда" и что сейчас по другому не получится работать и стоит рассмотреть переход на другую систему.

    Прошу подсказать куда можно предоставить логи для проверки работоспособности программы.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Готов помочь на платной основе.
     

Поделиться этой страницей