Как запретить парсить одну и туже несколько раз

Добрый вечер.
подскажите Сергей, или кто знает
можно ли запретить повторно парсить ту же самую страницу второй раз?

 

Здравствуйте.

Правый клик по списку ссылок - удалить дубли ссылок.

С уважением к вам, Сергей.

 

это я понимаю.
немного раскрою свой вопрос
есть проект, настроены границы и т.д.
ссылки имеют разные адреса напр. в проекте (прикреплен) номер 910, 911, 912, (холодильники вестфрост)
и все три перенаправляются на одну модель (как-то я не знаю как и почему) мне нужна инфа по всем трем, из браузера они открываются норм.

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

тут можно проверить Vestfrost VD 864 RX SB и Vestfrost VD 864 RB SB тоже открывает.
при парсинге почему-то идет переадресация...

 

Используйте макрос шаблона вывода [DUPIGNORE] Ссылки недоступны для гостей