Ссылки товаров и ссылки категорий похожи (сбор ссылок)

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем MaiklWizard, 16 июн 2017.

  1. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
    Парсю этот сайт: Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    У него очень много ссылок, более 80 тыс.

    Как прописать, так чтобы он парсил только товары, ссылка каоторая имеет вид:
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Или может возможно, указать парсеру только те категории, которые нужны.
    (проект приложил)
     

    Вложения:

    • funduk_ua.cdp
      Размер файла:
      33,5 КБ
      Просмотров:
      1
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Здравствуйте.

    Нужно сканером сайта собирать ссылки и на категории и на товары (так как они идентичны) -> Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Отсев ссылок на категории осуществлять при парсинге во вкладке "Контент" с помощью опций "обязательна" в дополнительных настройках обычных границ парсинга (ctrl+4).
     
  3. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
    Хорошо, а как собрать только ссылки на товары - я поставил глубину ссылок 4
     
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи
    Читайте еще раз мой ответ, пробуйте обдумать его. Я доходчиво объяснил.
     
  5. Japonec

    Japonec Active Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    82
    Адрес:
    Kiev
    [​IMG]
    наводите в браузере мышкой на подчеркиваение, и видите внизу с лева браузера ссылку Категория\подкатегория\подподкатегория, и в фильтре указываете конкретно на нужный вам раздел или товар и парсите что вам надо.
     
    Root нравится это.
  6. Japonec

    Japonec Active Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    82
    Адрес:
    Kiev
    Прикрепил пример проекта, настроен на первую категорию Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    В главном окне 7 ссылок на категории, в сканере сайта пример настройки на первую категорию, для остальных категорий делаете по аналогии, в сканере с лева вставляете ссылки не нужные для сканера, в правой что нужно и в фильтр ссылок дублируете. И смотрите на нижнее окошко где ссылки собираются, смотрите, нечего левого ли не попадает туда, если попадает, берете и в ненужные ссылки вставляете. Остальное зависит от вас.
     

    Вложения:

    • funduk_ua.cdp
      Размер файла:
      34,6 КБ
      Просмотров:
      1
    MaiklWizard и Root нравится это.
  7. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
    Все настроил, как описано и как в примере, но....например ноутбуки - он не парсит, а все остальные категории, делает
     
    Последнее редактирование: 17 июн 2017
  8. MaiklWizard

    MaiklWizard Member Пользователи

    Регистрация:
    26 окт 2015
    Сообщения:
    110
    Адрес:
    Odessa
    разобрался, ему мешало - вкладка Фильтр ))
     
    Root нравится это.

Поделиться этой страницей