Сохранять страницы собранные сканером сайта

Здравствуйте! Хотел бы узнать, есть ли такая возможность? Это было-бы очень удобно, с такой функцией можно было-бы не проводить повторный, основной парсинг сайта, снижая вероятность бана. Можно было-бы распарсивать уже сохранённые/кешированные страницы.

 

Можно сохранить список собранных ссылок

Спойлер

 

В моём случае нужно собрать снипеты всей выдачи. Например у меня 1800 страниц выдачи, но количество страниц предварительно мне не известно. Т.е. через сканер сайта я могу узнать количество страниц, и собственно ссылки на эти страницы. Но потом, придётся повторно проходить по этим страницам парсером контента. А сайт очень нервный, банит быстро, и привязка аккаунта к номеру телефона.
Сейчас я генерирую ссылки на страницы с запасом, с интервалом 15000-60000, приостанавливаю парсинг по уведомлению "результат не найден", запускаю вручную новый список сгенерированных ссылок. Неудобно. Хотелось бы полностью автоматизировать процесс. Пока что я вижу автоматизацию через сканер сайта, с автоматическим парсингом найденных ссылок. Но опять таки, как я написал раньше, со сканером придётся удвоить количество обращений к сайту.

 

Предположу, что не правильно поставлена логика работы.

 

Вероятно... По вашему опыту, CD может переключаться на другой список ссылок по срабатыванию условия при парсинге контента? Например, появлению некоторого кода, или некоторого текста?