Парсинг ссылок

В парсинге ссылок только 1 стадия фильтрации. Как сделать так, чтобы ссылки парсились так же как в Сканере сайтов и потом записывались в файл?

В первой фильтрации я отбираю ссылки категорий товаров, а во второй уже нужные мне товары.

Пока писал, промелькнула идея 2 раза запускать парсер ссылок.
1. Сбор категорий и сохранение в файл
2. Подгрузка списка категорий из этого файла и парсинг уже конечных ссылок.

Но можно это за 1 раз делать? А то нагромождение какое-то.

 

Простите, чем вас не устраивает сканер сайтов? Он решает вашу задачу..

 

Он меня устраивает, сканер сайтов замечательная функция!

Его можно запускать в автоматическом режиме с сохранением в файл?

У меня задача стоит максимально автоматизировать процесс. Парсинг сайта происходит каждый день. Сбор ссылок запускать каждый день перед парсингом нет необходимости. Хочу запланировать еженедельный сбор ссылок из сканера сайтов в файл, из которого потом парсер контента ежедневно будет брать ссылки и парсить.

 

Пока нет, но сделаем =)
Дайте пару дней...

 

Как и обещал...

 

Можете пожалуйста подсказать, а где эта функция спрятана? =)

 

В сканере сайтов (ctrl+7) кнопка "запись найденных ссылок в файл".