Очеееень долгий парсинг

Тема в разделе "Решение различных задач по парсингу", создана пользователем strateg2010, 1 ноя 2022.

  1. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Симпатии:
    27
    Всем привет, есть необходимость спарсить цены, для дальнейшего обновления сайта, неделю назад парсил все было хорошо, теперь возникла проблема, парсинг 14к товаров длится от 8 часов, при этом если не указывать в настройке HTTP запросов кукисы, то сайт отдает такой код:
    <html><head><script>function set_cookie(){var now = new Date();var time = now.getTime();time += 19360000 * 1000;now.setTime(time);document.cookie='beget=begetok'+'; expires='+now.toGMTString()+'; path=/';}set_cookie();location.reload();;</script></head><body></body></html>
    но в выборе границ парсинга, сам сайт виден, но кода нет. Пробовал прокси подключить все та же ерунда, пробовал менять движок браузера.
    На долгую загрузку думал что замедляет CHECKENTRY для определения является это обычный товар или с несколькими вариантами, что бы парсить в разные файлы, парсил без него все равно долго парсит, что может быть не так?
     

    Вложения:

    strateg2010, 1 ноя 2022
    #1
  2. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    250
    Симпатии:
    75
    1 документ в секунду, скорее всего сайт такой...
     
    masrub, 2 ноя 2022
    #2
  3. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Симпатии:
    27
    ну неделю назад парсил, от 5 до 10 минут заняло. да и у меня 0.2 документа парсится.
     
    strateg2010, 2 ноя 2022
    #3
Similar Threads
  1. knyazkovstudios

    Парсинг данных на 1 проект с 10 разных сайтов

    knyazkovstudios, 2 июн 2020, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    853
    kagorec
    3 июн 2020
  2. webstep

    Какой ваш самый долгий проект ?

    webstep, 11 июл 2021, в разделе: Разное
    Ответов:
    0
    Просмотров:
    1.221
    webstep
    11 июл 2021
  3. Vestmar

    Парсинг регультатов гуггл

    Vestmar, 12 авг 2021, в разделе: Решение различных задач по парсингу
    Ответов:
    5
    Просмотров:
    777
    Trenikola
    17 авг 2021
  4. vadimsoloviev

    Как добавить города через запятую после заголовков вакансий и зарплат?

    vadimsoloviev, 10 мар 2022, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    723
    vadimsoloviev
    10 мар 2022
  5. vadimsoloviev

    Как спарсить контент со всех страниц работного сайта ludi.by по конкретному городу?

    vadimsoloviev, 15 мар 2022, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    552
    Root
    15 мар 2022
Загрузка...

Поделиться этой страницей