Подскажите, пожалуйста, как собрать только уникальные домены в сканере сайтов? Спрошу в этой же ветке по поводу сканера сайтов: Возможно ли прикрутить подачу списка сайтов в сканер сайтов?
Будьте добры, объясните, что и куда вписать ... при нажатии фильтра ссылок открывается окно настройки фильтров, в каком окне и каким образом задавать условие парсинга уник-доменов. благодарю
по возможности, кто-нибудь ответьте, пожалуйста, на мой вопрос выше подскажите, почему, в силу каких причин, сканер сайтов не может загрузить все ссылки
Здравствуйте еще раз. Ссылки недоступны для гостей полное описание работы сканера сайтов Ссылки недоступны для гостей полное описание работы фильтров ссылок Если хотите заказать настройку, обратитесь в Skype Kagorec Вопрос вы задали абстрактный, а не конкретный. Опишите с какого сайта и что именно собрать. Спасибо!
Да возможно, имея список в главном окне прграммы, передаете в сканер и потом поним будет сканиовать. В сканере вобщето вверху один адрес указывается как стартовый а дальше идет глубже и и глубже по ссылкам, тем что в "список очереди" есть.
собираю ссылки с сайта по определенным признакам, всё отлично собирается, но парсер собирает дубли доменов например парсер нашел ссылки site.ru/link1 site.ru/link2 site.ru/link3 но мне достаточно только одной из них, как отсеивать такие дубли доменов на этапе сканирования сайта и сбора ссылок?
благодарю, отлично работает в моем случае при парсинге ссылки бывают такого вида: site.ru/phpbb2/viewtopic.php?p=1 site.ru/phpbb2/viewtopic.php?p=2 site.ru/phpbb2/viewtopic.php?p=3 как можно отсеять: site.ru/phpbb2/viewtopic.php?p=2 site.ru/phpbb2/viewtopic.php?p=3 а, оставить первую ссылку в таком виде, как она есть, не обрезая: site.ru/phpbb2/viewtopic.php?p=1
в поиск-замена PHP: viewtopic.php?p={skip}|viewtopic.php?p=1 всему списку получите одну потому что уникальна каждая ссылка должна быть
такой вариант с поиском-заменой в моем случае получается очень трудоемким, детали в файле Ссылки недоступны для гостей
