Парсинг выбранных Бренд/категории с крупного сайта

Тема в разделе "Решение различных задач по парсингу", создана пользователем Grafin, 24 июн 2019.

  1. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Всем доброго времени.
    Задался вопросом, как настроить парсинг так, чтобы парсить массово только необходимые категории (не все) в выбранных брендах (не всех).
    Понимаю, что можно отдельно собрать ссылки по каждому бренду и затем как-то настроить парсинг необходимых категорий внутри бренда.
    Или сразу настроить сбор ссылок только на определенные категории в выбранном бренде?
    А в идеале настроить проекта Бренд/категории по каждому бренду на сайт и обновлять при необходимости пополнения новыми товарами.
    Дело в том, что не все категории и не всех брендов нужны с донора.
    Возможно ли такое с предоставленным функционалом в CD?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Возможно.

    Вся информация есть в системе помощи.

    Либо сразу спарсить ссылки только из указанных категорий, например, так Ссылки недоступны для гостей или сканером сайтов.

    Либо спарсить все ссылки и фильтрацию документов производить при парсинге во вкладке "Контент", например, так Ссылки недоступны для гостей

    Для парсинга только новых товаров есть такой функционал Ссылки недоступны для гостей
     
    Grafin и kagorec нравится это.
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    В зависимости от структуры ссылок можно настроить по готовому списку страниц (во вкладке "ссылки" или в "сканере") или как говорите глобально то в сканере с заданием фильтра очереди по определенному бренду\категории. В справке каждый метод довольно подробно описан.
     
    Root нравится это.
  4. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Спасибо за ссылки в систему помощи. Искал я, но не мог понять по каким критериям (ключевым словам) задавать поиск, чтобы найти необходимое.
     
    Последнее редактирование: 25 июн 2019
  5. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    И вам спасибо. Если в системе помощи что-то ещё рекомендуете по моему вопросу, то пожалуйста направьте. Если ROOT уже всё мне указал, то вам спасибо за внимание к моему вопросу.
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Вот еще полезные материалы из справки, по теме:
    Ссылки недоступны для гостей - Экспресс-курс по изучению основ работы с Content Downloader
    Ссылки недоступны для гостей - Сканер сайтов (сбор ссылок)
    Ссылки недоступны для гостей - Парсинг ссылок со страниц рубрики или выдачи (сбор ссылок во вкладке «ссылки»)
     
    Grafin и Root нравится это.
  7. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Ну уж это я знаю ))) Полноценно подошли к вопросу )))
    Меня ещё всегда интересовал вопрос, но забывал его задать: где есть список всех сочетаний клавиш в CD для вызова различных вариантов настроек? Некая сводная?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Все хоткеи есть в подсказках к кнопкам, находите кнопку с нужной функцией, читаете к ней подсказку (появляется при наведении курсора), если у нее есть хоткей, он будет указан, как правило в конце подсказки в круглых скобках.
     

Поделиться этой страницей