Как создать многоступенчатый парсинг?

Тема в разделе "Автоматизация парсинга", создана пользователем Avem, 14 окт 2021.

  1. Avem

    Avem Member Пользователи

    Регистрация:
    30 дек 2020
    Сообщения:
    35
    Здравствуйте.

    Я продолжаю изучать CD X1 и этот огромный функционал... Хотел спросить поверхностный вопрос. На пример если у меня для парсинга нужно выполнить несколько шагов последовательно то можно ли все эти шаги в одном проекте выполнить или надо создавать новый проект для каждого шага и их выполнять в ручную?

    Например в моем конкретном случае мне надо спарсить эл адреса бизнесов. Я спарсил список ID потом из этого списка ID нужно взять значение ячейки и подставить его в ссылку и сгенерить лист ссылок по которым потом надо пройти и пост запросом скачать файлы.

    Можно ли всю эту цепь заданий выполнить последовательно в одном проекте?

    Благодарю за ответ.

    С уважением.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вы можете использовать планировщик Content Downloader для последовательного запуска заранее подготовленной цепочки проектов

    Ссылки недоступны для гостей
     
  3. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Приветствую

    Можно решить на платной основе
    Skype:inotoxic
    Telegram: @inotoxic
     
    Root нравится это.

Поделиться этой страницей