Несколько <GETMORECONTENT> внутри ПГ

Тема в разделе "Подгрузка данных, которых нет в коде WEB-документа", создана пользователем xLime, 31 окт 2017.

  1. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    340
    Добрый день.
    При попытке задать несколько макросов <GETMORECONTENT> внутри повторяющейся границы, парсинг длится невероятно долго. Каждый цикл идет обращение к макросу и время его выполнения более 1 секунды. Если таких макросов 2 и более, то время загрузки одной ссылки возрастает соответственно в %количество макросов% раз. По этой причине я не уверен, что макрос корректно выполняет кеширование документа.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 50 постов.**
    Проблему долгой загрузки удалось решить с помощь подключения PHP-скрипта.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 50 постов.**
    На данный момент стоит вопрос об оптимизации проекта, т.к. до изменений на сайте парсинг одного города занимал не более 5 минут. Сейчас на это требуется более 20. Данный проект "занимает" сервер на ~2.5 часа, вместо 30 минут.
    Буду рад любым комментариям и предложениям.
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.741
    Город:
    Сочи
  3. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    340
    Root, я вижу и внимательно отношусь к написанному. Тестировал я на более коротких ссылках.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 31 окт 2017
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.741
    Город:
    Сочи
    Спасибо, нашел ошибку, исправил.

    Замените файл Content Downloader.exe в папке с программой этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    xLime нравится это.

Поделиться этой страницей