Парсинг в режиме "паука"

Подскажите как реализовать
1. спарсить все ссылки на внешние сайты из топиков нескольких форумов по списку
2. перейти по этим ссылкам и с них в свою очередь спарсить все ссылки на внешние сайты
3. и т.д.

 

Здравствуйте, пока такого фильтра, чтобы фильтровал все внутренние ссылки и оставлял только внешние (для разных сайтов), нет.
Придется подождать, пока он появится =)
Думаю, с неделю, конкретно обещать не могу.
Спасибо!

 

а это в программе есть на автомате?
2. перейти по этим ссылкам и с них в свою очередь спарсить все ссылки на внешние сайты

 

Нет.

 

Хотя. Поставить в сканере сайтов галочку "запускать парсинг контента после окончания работы сканера". В шаблон вывода поместить [EXTURLS].
После работы сканера, найденные ссылки начнут обрабатываться во вкладке "контент", где с них будут получены исходящие ссылки.

 

это я так понимаю один шаг вглубь на следующие сайты делает программа?
то есть некий полу-паук можно сказать?

 

вообще реализация паука - это было бы очень круто, спрос на него большой - знаю с соответствующего закрытого форума, покупают влет.
если сделаете такой функционал - можно там об этом сообщить - народ набежит

 

Вот для этого и сделал...

 

Сколько раз так переходить надо, бесконечно раз или определенное количество? Более подробно, пожалуйста, опишите задачу.
Спасибо!

 

Сегодня-завтра кое-чего еще сделаю и отпишусь в этой теме...

 

Content Downloader X версии 10.82 (17.04.2014):

- В сканер сайтов добавлены дополнительные фильтры списка очереди ссылок;
- Добавлен макрос [DOMEN] для фильтров ссылок (обозначение домена без поддоменов);
- Несколько других доработок.

 

Не понимаю регулярные выражения.
Например, парсите ссылки со страницы http://forum.sbfactory.ru/showthread.php?t=1848&page=2, макрос [DOMEN] будет давать sbfactory.ru.
Его нужно применять в случае парсинга не одного сайта, а разных, где нельзя указать в фильтрах ссылок конкретный домен (так как они разные от сайта к сайту).
Например, вот так: .[DOMEN] можно фильтровать поддомены (обратите внимание на символ точки вначале).

 

лучше всего, чтобы настройка была по желанию - бесконечно переходить или конкретное количество раз. пи бесконечно - должно быть периодическое автосохранение результата в файл с настраиваемым периодом автосохранение

 

это очень крутой макрос, я его увидел в новой версии, когда обновлялся, вещь :clap:. а здесь в ветке только сейчас прочитал. спасибо
уже использую вовсю addkeys и domen начну в ближайшее время.

 

доброго времени, не работали случайно в этом направлении (речь о парсинге по принципу паука)

 

Здравствуйте, работал и добавил макросы [DOMEN] для фильтров ссылок и для списка очереди сканера сайтов, пожалуйста, настраивайте, как вам угодно...

 

Если добавить в шаблон фильтров [DOMEN], то он будет парсить только исходящие (внешние ссылки) =)

 

да, спасибо, это очень здорово, я пользуюсь, но я немного о другом: