Периодический парсинг интернет-магазина

Тема в разделе "Решение различных задач по парсингу", создана пользователем Elena, 10 янв 2018.

  1. Elena

    Elena New Member Пользователи

    Регистрация:
    7 дек 2016
    Сообщения:
    2
    Добрый день, всем
    У меня установлена версия ULTIMATE Content Downloader. Могу ли я в автоматическом порядке парсить магазины (поставщиков) с определенной периодичностью? Есть ли в данной версии лицензии ограничения по объемам парсинга (сколько товаров может быть спарсено за раз)?

    Заранее спасибо
     
    Elena, 10 янв 2018
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Да, для этого есть планировщик, ну или запуск ручками.
    Парсить можете сколько угодно и в любых объемах, тут вопрос в другом: парсить нужно с умом, чтоб не ложить сайт поставщика (например в 1-5 потоков)
     
    Kreol, 10 янв 2018
    #2
    Root нравится это.
  3. Elena

    Elena New Member Пользователи

    Регистрация:
    7 дек 2016
    Сообщения:
    2
    То есть при парсинге запускать не более 5 потоков, так?
    И вопрос по поводу планировщика: должны быть заранее готовые проекты, которые вставлять в планировщик? Когда-то доводилось парсить товары, так вот проект парсился один раз, после чего по нему уже нельзя было ничего спарсить (может нужно что-то было дополнительно нажимать)...
     
    Elena, 10 янв 2018
    #3
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Это все решается опытным путем. Но я бы рекомендовал именно до <=5
    Да, проекты должны быть заранее созданы и полностью работоспособны. Планировщик лишь запускает их в определенное время.
    Если проект не был сохранен с начальными данными(пропали ссылки) то их само собой прийдется собирать заново.
    Рекомендую все таки почитать справку. Ссылки недоступны для гостей
     
    Kreol, 10 янв 2018
    #4
    Root нравится это.
Similar Threads
  1. bardak

    парсинг интернет магазина на joomla

    bardak, 24 мар 2011, в разделе: Разное
    Ответов:
    2
    Просмотров:
    1.997
    Root
    24 мар 2011
  2. Wells

    ищу исполнителя на выборочный парсинг с интернет-магазина

    Wells, 5 дек 2012, в разделе: Решение различных задач по парсингу
    Ответов:
    0
    Просмотров:
    1.405
    Wells
    5 дек 2012
  3. alerai

    Парсинг интернет-магазина с большим количеством категорий

    alerai, 9 ноя 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    4
    Просмотров:
    810
    J!Life
    15 ноя 2015
  4. Vladi

    Парсинг картинок с интернет магазина где необходимо нажимать чтобы картинка опменялась

    Vladi, 2 окт 2017, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    0
    Просмотров:
    528
    Vladi
    2 окт 2017
  5. Yarilo

    Парсинг картинок интернет магазина с заменой имени

    Yarilo, 1 ноя 2017, в разделе: Скачивание картинок и файлов
    Ответов:
    14
    Просмотров:
    650
    Root
    2 ноя 2017
Загрузка...

Поделиться этой страницей