Собрать ссылки на товары если ссылки категорий и товаров похожи

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем Rustia_25, 9 янв 2018.

  1. Rustia_25

    Rustia_25 New Member Пользователи

    Регистрация:
    21 дек 2017
    Сообщения:
    4
    Всем привет!

    Помогите разобраться с задачей. Есть несколько сайтов в которых нужно спарсить товары. Но я столкнулся с проблемой. Категория товаров имеет вид site/categoria1, site/categoria2 и т.д., при этом ссылки на товары как site/tovar1, site/tovar2 и т.д.
    Как в таком случае собирать ссылки для парсинга товаров с категорий? Скорее всего упустил что-то элементарное. Помогите разобраться, пожалуйста.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Реальные примеры ссылок на категории и на товары покажите.
     
  3. Rustia_25

    Rustia_25 New Member Пользователи

    Регистрация:
    21 дек 2017
    Сообщения:
    4
    Категория Ссылки недоступны для гостей
    Товар Ссылки недоступны для гостей
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Не вижу принципиальных отличий между ссылками рубрик и товаров. В таким случае нужно собрать все ссылки (и на рубрики и на товары). Затем при парсинге фильтровать ссылки рубрик с помощью, например, опции "обязательна" для обычных границ парсинга (ctrl+4).
     
  5. Rustia_25

    Rustia_25 New Member Пользователи

    Регистрация:
    21 дек 2017
    Сообщения:
    4
    Спасибо за ответ.
    Но я ни как не пойму как именно их отфильтровать, собрать? Например, я могу указать ссылки категорий вручную, их не много. Как собрать ссылки на товары?
     
  6. Rosbiz

    Rosbiz Member Пользователи

    Регистрация:
    10 ноя 2016
    Сообщения:
    14

    Rustia_25 Если посмотреть в robots.txt вашего донора, то можно найти ссылку на xml карту сайта
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Root нравится это.
  7. Rustia_25

    Rustia_25 New Member Пользователи

    Регистрация:
    21 дек 2017
    Сообщения:
    4
    Rustia_25 Если посмотреть в robots.txt вашего донора, то можно найти ссылку на xml карту сайта
    *Скрытый_текст*
    [/QUOTE]
    Точно, Спасибо.
     

Поделиться этой страницей