Есть ли способ сбора только новых уникальных ссылок при повторном парсинге?

Приветствую!
Наверняка этот вопрос уже задавался, не смог найти.
Хочется при повторных парсингах сайта получать только новые статьи/записи/информацию . Уверен, что можно решить вопрос при помощи других программ на этапе сверения файла ссылок с предыщущими вариантами. Но хочется автоматизации. Есть ли инструмент в этой замечательной программе CD ?

 

На изображении выделен этот элемент. Задаёте текстовый файл, в который будут складываться уже обработанные ссылки, потом при повторном парсинге сайта эти ссылки обрабатываться не будут.

 

Благодарю. На самом видном месте)))

 

А в новой версии, где это находиться?

 

Здравствуйте.

ctrl+t -> файл с загруженными ранее ссылками.

С уважением к вам, Сергей...

 

Сергей, а обратно как сделать?

Ссылки собираются через сканер, но после того, как часть товаров(ссылок) на сайте доноре убирают (например закончились на складе и т.п.) сканер эти ссылки не находит, но по старым ссылкам документы все еще можно открыть, обратившись к ним (и соответственно спарсить, что нет уже товара и т.п.).

Как сделать так, чтобы и сканер ходил по ссылкам и добавлял их в список для парсинга, и старые ссылки тоже добавлять в список для парсинга, исключая дубликаты естественно?

 

Здравствуйте.

Все когда-либо собранные ссылки добавлять в список ссылок главного окна программы. После каждого добавления удалять дубли списка ссылок через контекстное меню. Таким образом, у вас постоянно будут ВСЕ когда-либо собранные ссылки БЕЗ ДУБЛЕЙ.

С уважением к вам, Сергей...