Удаление дублей после сбора ссылок

Добрый день!
Подскажите пожалуйста, парситься 10 сайтов с периодичностью например 10 минут. Получается что каждый раз когда собираются ссылки для парсинга, там есть те которые уже парсились, как можно сделать чтобы по второму разу программа их не парсила? И как это настроить в автоматическом режиме? парсинг работает через пост запрос Заранее спасибо за помощь!

 

то есть правильно понял что все проекты мы сохраняем в один txt? и далее программа через планировщик сама будет все делать, правильно понял?

 

Здравствуйте.

Во всех проектах, в указанном выше поле вставляете один и тот же путь к txt.

С уважением к вам, Сергей.

 

С толкнулся с такой проблемой, в разделе ссылки указал путь для сохранения ссылок, при парсинге контента все удаляется, при том что ссылки не повторяются