Можно ли автоматически подгружать сайты в парсинг.

Дело в том что у меня парсинг стоит в планировщике задач и через некоторое время автоматически парсит параметры. Можно ли сделать так что бы парсер автоматически вносил в свою базу сайты которые лежат в txt файле ?

 

Есть проект. Проект выполняется через каждые 20 секунд планировщиком. Возникла задача что бы в проект можно было добавить ссылки из файла не через меню "Добавить ссылки - загрузить из файла" а автоматичеки, не прибегая к этим действиям.

 

Я может немного не так понял но при SCANDIR:c:\imya-papki\ выводятся список файлов которые находятся в папке imya-papki. Тоесть если в папке лежит url.txt со списком адресов вида "http://www.marathonbet.com/ru/live/1401944", функция SCANDIR не прочитает файл url.txt и не внесет список адресов. Собственно задача стоит что бы ссылки заносились в программу.

 

1. первый проект через SCANDIR находит файлы в папке и их содержимое сохраняет в другой файл по заранее обусловленной схеме, адресу и названию выходного файла
2. второй проект извлекает ссылки из только что созданного файла и парсит контент
3. оба проекта - в планировщик, друг за другом.

p.s. функция SCANDIR нужна только для ситуаций когда вам заранее известна папка - а какие файлы в ней будут находиться (названия) - не известно.
если речь идет об одном-единственном файле url.txt - функция сканирования папки не нужна, во вкладке ссылки будет прямая ссылка на файл вида С:\блаблабла\url.txt
если вы можете заранее преобразовать их к виду <a href="....."> программа найдет ссылки в файле автоматически
если оставите так, как есть - подключаете обработчик sitemap.xml и задаете произвольные границы поиска ссылок так:
первая - ://
вторая - http
в этом случае из файла будут извлечены все ссылки кроме последней
ну и далее по обычной программе