Парсинг контента по вложенной ссылке

Есть страница сайта со списком ссылок. При переходе по этим ссылкам открываются страницы содержащие ссылки на страницы с необходимым контентом.
т.е. CD нужно:
1. Собрать со страницы все ссылки №1 по определенному шаблону
2. Перейти по каждой ссылке №1 и спарсить ссылки №2
3. Перейти по каждой ссылке №2 и спарсить контент

Есть ли возможность автоматизировать данный процесс? Можно ли сделать это если до контента нужно будет сделать еще одну (несколько) итераций и собрать ссылки №3, 4 и т.д?
Как автоматизировать сбор такого контента?

 

Я бы реализовал это через несколько проектов.

Ознакомьтесь с материалами системы помощи:
* Ссылки недоступны для гостей
* Ссылки недоступны для гостей
* Ссылки недоступны для гостей
* Ссылки недоступны для гостей

 

Пока я собственно так и сделал, но мне кажется есть возможность автоматизировать это. Быть может это можно сделать при помощи "загрузка ссылок перед парсингом контента"?