Как собрать линки статей с сайта с сео-заголовками

На многихсайтах сейчас используются сео-заголовки типа

blog/pravo-na-roditelskie-prava

news/knigu-greko-katolicheskogo-mitropolita-priznali-ekstremistskoy

подскажите, как получить список ссылок для парсинга с таких сайтов, не вбивать же каждую ссылку вручную?

 

Сканером можно прошерстить весь сайт на предмет ссылок, удовлетворяющих настроенным фильтрам, что в вашем случае и стоит делать...

Рекомендую проверить: есть ли карта сайта, обычно она лежит в корне сайта _http://site.ru/sitemap.xml

С уважением к вам, Сергей.

 

болбшое спасибо, буду пробовать!

опробовал, все получается, еще раз спасибо