Очеееень долгий парсинг

Тема в разделе "Решение различных задач по парсингу", создана пользователем strateg2010, 1 ноя 2022.

  1. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Всем привет, есть необходимость спарсить цены, для дальнейшего обновления сайта, неделю назад парсил все было хорошо, теперь возникла проблема, парсинг 14к товаров длится от 8 часов, при этом если не указывать в настройке HTTP запросов кукисы, то сайт отдает такой код:
    <html><head><script>function set_cookie(){var now = new Date();var time = now.getTime();time += 19360000 * 1000;now.setTime(time);document.cookie='beget=begetok'+'; expires='+now.toGMTString()+'; path=/';}set_cookie();location.reload();;</script></head><body></body></html>
    но в выборе границ парсинга, сам сайт виден, но кода нет. Пробовал прокси подключить все та же ерунда, пробовал менять движок браузера.
    На долгую загрузку думал что замедляет CHECKENTRY для определения является это обычный товар или с несколькими вариантами, что бы парсить в разные файлы, парсил без него все равно долго парсит, что может быть не так?
     

    Вложения:

  2. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    250
    1 документ в секунду, скорее всего сайт такой...
     
  3. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    ну неделю назад парсил, от 5 до 10 минут заняло. да и у меня 0.2 документа парсится.
     

Поделиться этой страницей