Дубли страниц по разным ссылкам

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем faqbill, 16 ноя 2016.

  1. faqbill

    faqbill Member Пользователи

    Регистрация:
    3 янв 2011
    Сообщения:
    43
    Здравствуйте. Ребята подскажите пожалуйста. Собираю ссылки каталога предприятий, вот вроди бы две разные ссылки
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    но контент на страницвх сайта абсолютно одинаковый, и таких ссылок очень много. Как мне правильно отсеять дубли таких ссылок, наверное именно по последней надписи в ссылке после слеша kompaniya_startis_m. Оставить только одну ссылку с /company/kompaniya_startis_m. Спасибо.
     
  2. Reset

    Reset Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    58
    выдирать признак дубля, например телефон и через [DUPIGNORE]
     
    faqbill нравится это.
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.124
    Город:
    Сочи
    Здравствуйте.

    Обновитесь до версии 11.1.0000020 (20.11.2016) и ознакомьтесь с этим материалом Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    С уважением к вам, Сергей.
     
    faqbill и Kreol нравится это.

Поделиться этой страницей