Периодический парсинг интернет-магазина

Тема в разделе "Решение различных задач по парсингу", создана пользователем Elena, 10 янв 2018.

  1. Elena

    Elena New Member Пользователи

    Регистрация:
    7 дек 2016
    Сообщения:
    2
    Добрый день, всем
    У меня установлена версия ULTIMATE Content Downloader. Могу ли я в автоматическом порядке парсить магазины (поставщиков) с определенной периодичностью? Есть ли в данной версии лицензии ограничения по объемам парсинга (сколько товаров может быть спарсено за раз)?

    Заранее спасибо
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    1.863
    Здравствуйте!
    Да, для этого есть планировщик, ну или запуск ручками.
    Парсить можете сколько угодно и в любых объемах, тут вопрос в другом: парсить нужно с умом, чтоб не ложить сайт поставщика (например в 1-5 потоков)
     
    Root нравится это.
  3. Elena

    Elena New Member Пользователи

    Регистрация:
    7 дек 2016
    Сообщения:
    2
    То есть при парсинге запускать не более 5 потоков, так?
    И вопрос по поводу планировщика: должны быть заранее готовые проекты, которые вставлять в планировщик? Когда-то доводилось парсить товары, так вот проект парсился один раз, после чего по нему уже нельзя было ничего спарсить (может нужно что-то было дополнительно нажимать)...
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    1.863
    Это все решается опытным путем. Но я бы рекомендовал именно до <=5
    Да, проекты должны быть заранее созданы и полностью работоспособны. Планировщик лишь запускает их в определенное время.
    Если проект не был сохранен с начальными данными(пропали ссылки) то их само собой прийдется собирать заново.
    Рекомендую все таки почитать справку. Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
    Root нравится это.

Поделиться этой страницей