Получить код всех страниц сайта в один документ

Стоит задача не прибегая к сканеру сайтов получить в выводе суммарный код всех страниц сайта. С помощью GETURLSBYANCHORS мы можем получить список всех внутренних ссылок, но насколько я понимаю GETMORECONTENT работает только с одной ссылкой.
Возможно ли решение такой задачи макросами?

 

Здравствуйте.

Нет.

Для меня не понятно, зачем придумывать что-то, когда можно пользоваться сканером сайтов.

 

Я неполно описал задачу, извините. Это нужно в проектах где мы ищем некоторые данные на сайте и не знаем на какой именно странице они расположены, например мейл адресс и нужно получить соответствие исходная ссылка - мейл . Если парсить с помощью сканера сайтов все внутренние ссылки, и по них искать мейл то потом нужно приводить полученные результаты к исходной ссылке, а это требует больших трудозатрат, особенно если их десятки тысяч. Было бы замечательно чтобы была возможность сразу задать в шаблоне искать по всему сайту и получить в выводе соответствие мейла исходной ссылке.

 

Надо подготовить решение.

 

Здравствуйте.

Скачайте и установите доработанную версию программы:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Новая опция сканера сайтов ([PARAM]) позволяет решить вашу задачу.

С уважением к вам, Сергей.

 

Спасибо Вам большое за оперативную доработку
Но почему-то у меня в сканере сайтов при включенной опции "передавать значения [PARAM] от исходных ссылок к найденным" параметр к найденным ссылкам не добавляются как у вас на скриншоте
И для получения соответствия исходная ссылка-мэйл нужно ли использовать макрос [PARAM] ? Как должен выглядеть шаблон вывода?

 

Здравствуйте.

Пожалуйста.

Все работает! Почему у вас не работает, я не знаю.



Суть второго вопроса, простите, не понял.

С уважением к вам, Сергей.

 

Разобрался, у меня тоже работает, спасибо
Суть второго вопроса в том как именно использовать параметр для решения моей задачи.
Загружаю из сканера полученные ссылки вида Ссылки недоступны для гостей, в шаблоне прописываю CD_DOCURL! [CSVCS][EXTRACTEMAILS][DOCSOURCE][/EXTRACTEMAILS] но в файле парсинга параметра нет

 

Пожалуйста.

Для вставки параметра используется макрос [PARAM], а не <CD_DOCURL!>

 

Здравствуйте, подскажите есть такая возможность чтобы с нескольких сайтов парсить информацию в одну запись базы данных?
То есть чтобы зайти на одну ссылку спарсить, потом на вторую ссылку и на третью, а после что напарсил с трех сайтов отправить в одну запись базы данных?

 

Создать три проекта для каждого сайта и запускать их по очереди (можно через встроенный планировщик ctrl+p).
Ссылки недоступны для гостей

 

Здравствуйте.

Пожалуйста, подскажите, а как используя только сканер сайтов и чекбокс "Передавать значения [PARAM] от исходных ссылок к найденным" получить список найденных ссылок в формате:

---
найденная_ссылка_1[PARAM]:url_где_была_найдена_ссылка
найденная_ссылка_2[PARAM]:url_где_была_найдена_ссылка
найденная_ссылка_3[PARAM]:url_где_была_найдена_ссылка
и т.д.
---

Пример показан на скриншоте, но этот список получен через функционал "Парсинг значений [PARAM] из кода WEB-страниц...".

 

Здравствуйте.

Доработал:


В программе: Главное меню -> Файл -> Центр обновлений.

С уважением к вам, Сергей..