Дубли страниц по разным ссылкам

Здравствуйте. Ребята подскажите пожалуйста. Собираю ссылки каталога предприятий, вот вроди бы две разные ссылки

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

но контент на страницвх сайта абсолютно одинаковый, и таких ссылок очень много. Как мне правильно отсеять дубли таких ссылок, наверное именно по последней надписи в ссылке после слеша kompaniya_startis_m. Оставить только одну ссылку с /company/kompaniya_startis_m. Спасибо.

 

выдирать признак дубля, например телефон и через [DUPIGNORE]

 

Здравствуйте.

Обновитесь до версии 11.1.0000020 (20.11.2016) и ознакомьтесь с этим материалом Ссылки недоступны для гостей

С уважением к вам, Сергей.