Парсинг сайта с сеошными ссылками

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем tkm, 10 фев 2012.

  1. tkm

    tkm Member Пользователи

    Регистрация:
    22 ноя 2011
    Сообщения:
    99
    Подскажите, как выделить ссылки страниц товара на сайте с сеошными ссылками. Нет там номеров страниц. Например, Ссылки недоступны для гостей. Или придется парсить каждую категорию отдельно?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Сканером сайта (на панели инструментов) собирайте ссылки на страницы товара.
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Настраивайте фильтры и сканируйте, по мере сканирования проверяйте по каким параметрам отсеивать линки
    например с содержащими
    не нужны
    поскольку все страницы товаров с окончанием .html то отметьте - не сохранять содержащих "/" на конце, и глубина точно от 3
     

Поделиться этой страницей