Медленный парсинг

Тема в разделе "Решение проблем с использованием программы", создана пользователем strateg2010, 24 мар 2021.

  1. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Доброго дня, настроил проект, все парсит как надо, но жууууутко медленно.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    за 3 часа 1500 товара, высчитал в среднем 1 товар обрабатывается 7.2 секунды, за все 58к товаров, время ожидания окончания парсинга примерно 120+ часов, откуда такие цифры? И сразу вопрос, понимаю, что нужно юзать прокси, может еще кто подскажет где можно купить?
     

    Вложения:

    • proekt.zip
      Размер файла:
      461 КБ
      Просмотров:
      4
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Цитата с нашей переписки:
    https://forum.sbfactory.ru/threads/proxy-servisy-kotorye-prigodjatsja-dlja-content-downloader.4613/ - Прокси для парсинга
     
  3. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Ну так я у вас попросил, что бы вы проверили на своем проекте, что бы знать с сайтом проблема или нет, вы отказались и направили сюда.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Тормозит процесс правило поиск-замены
    Код:
    </{skip}>|</{skip}>{br}
    В окне shift+ctrl+r.

    Удалите это правило, так как оно практической пользы не приносит. В нем используется медленная stuffstring.
     
    kagorec и strateg2010 нравится это.
  5. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Пойду тестить!
    Код:
    </{skip}>|</{skip}>{br}
    этой поиск заменой, я хотел упростить поиск и просмотр кода.
    Такой вопрос, нет ли никакого инструмента для анализа скорости и в дальнейшем оптимизации проекта? Что бы в дальнейшем не встречаться с подобными проблемами.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Инструмента анализа скорости нет.
     

Поделиться этой страницей