Многоразовый парсинг, порядок действий?

Вкратце:
Весьма немалый сайт-источник.
1.Собираем сканером ссылки (занимает операция пару суток минимум, если не прятатся за тор),
2. добавляем отобранное к списку парсинга.
3. парсим.

Проходит некоторое время - нужно обновить информацию.
Как не сканируя по новой ссылки ( те пропустить уже полученное) собрать только новые и отпарсить их?
С загруженным контентом понятно, а вот как сканирование не повторять с нуля?

Может вопрос и ламерский, но хорошо бы внятный порядок действий для начинающего.

 

где то в программе встречал опцию о сохранении ссылок в файл, чтоб в дальнейшем не сканить.