Сбор ссылок сканером сайтов

Сканер сайтов со списка урлов

invalid@example.com (rasta) — Thu, 26 Jun 2025 11:03:15 +0000

Всем привет! Подскажите, можно ли настроить сканер страниц сайтов не по одному вручную, а загрузив список? Мне нужно просканировать много сайтов на предмет количества страниц на каждом из них

Как парсить ссылки на сабдомены?

invalid@example.com (GAGAn) — Mon, 06 Nov 2023 17:51:45 +0000

К примеру начинаем парсить с site.com, на странице ссылки asdf.site.com f1123.site.com ssss.site.com 54321.site.com
Как вот эти ссылки на сабы автоматический загрузить в очередь и по ним пройтись? На сабах тоже сть ссылки на сабы в пределах 1 домена.

Сборка ссылок сканером с динамическим контекстом

invalid@example.com (ChipFord) — Tue, 04 Apr 2023 09:45:48 +0000

Здравствуйте!
Есть к примеру сайт: https://www.teknorot.com/en/catalog/
необходимо собрать ссылки такого типа из каталога: https://www.teknorot.com/en/product/ac-217/

в настройках проекта:

[MAXIMIZEWINDOW]
[WAIT]:10000
[REPEAT]
[WAIT]:3000
[GETHTML]
[MOUSECLICK]:1485|544
[/REPEAT]

вопрос в том, как сделать так, чтобы автоматически добавлялись найденные ссылки после каждого клика мыши в окно выдачи ссылок

Со временем зависают поттоки сканнера сайтов

invalid@example.com (seodamage) — Sun, 19 Feb 2023 01:23:00 +0000

привет, столкнулся с такой проблемой:

1) гружу в сканнер по 1кк ссылок, в настройках стоит не пополнять очередь то есть паршу только морды.

2) выставляю 100 потоков без пауз. в CTRL + R, добавлены 3 сокс прокси которые я сам поднимал и их качество я отношу к разряду очень хорошие. мне приходят алерты если что то падает, за всю историю приходило только 1-2 раза и то это было связано с техническими работами хостера. так же я регулярно мониторю загрузку прокси и самих серверов -...

Со временем зависают поттоки сканнера сайтов

Автоматический бекап при сканировании ссылок с сайта

invalid@example.com (pablo) — Thu, 09 Feb 2023 13:38:50 +0000

Здравствуйте.

Парсил большой сайт, собирал ссылки 10 часов неспешно. Комп завис из-за другой программы, пришлось перезагружать. Можно ли как-то восстановить списки уже обработанных урлов + список на обход, чтобы заново не тратить 10 часов?

Списки найденных урлов в SCANNER_RES_LINKS есть, но хочется восстановить все )

ps если бы была возможность автоматически бекапить результаты каждые N минут - было бы здорово.

Не все ссылки собираются с ebay

invalid@example.com (soltecsdev) — Sat, 14 May 2022 15:18:29 +0000

Здравствуйте, перед тем как создавать тему прошелся поиском по форуму, почитал аналогичные темы, но ответа не нашел.
Заранее прошу прощения, за то, что могу спрашивать банальные вещи, которые описаны в документации, программой пользуюсь всего два дня, а сроки сдачи работы поджимают.

Собираю ссылки сканером сайта через библиотеку Clever Internet Sute.
Собираю ссылки из этой категории...

Не все ссылки собираются с ebay

Вопрос по парсеру - по разделу, парсинга ссылок, опции поиск и замена.

invalid@example.com (MaiklWizard) — Sat, 08 Jan 2022 18:11:28 +0000

Вопрос по парсеру - по разделу, парсинга ссылок, опции поиск и замена.
ссылка - У данного сайта для товаров в категории, нету DIVa - div они отметили только акциионные предложения товаров, если они встречаются на сайте, и следовательно такая настройка:

Код:


Никак не хочет работать. В...



Вопрос по парсеру - по разделу, парсинга ссылок, опции поиск и замена.

сбор ссылок из категории

invalid@example.com (Magsim) — Wed, 08 Dec 2021 08:17:11 +0000

Здравия всем
Пожалуйста направьте в нужном направлении
Имею категории
https://newdoors82.ru/product-category/mezhkomnatnye-dveri/
ДОбавляю в очередь нужные категории
Но в выдаче выходят аксесуары, которых не должно быть, сами товары не парсятся.
Направьте пожалуйста.

Парсинг товаров с сайта

invalid@example.com (Aleksey746) — Fri, 29 Oct 2021 18:21:17 +0000

https://www.grohe.ua/uk_ua/
Нужно спарсить все товары с сайта
Но даже задания задание фильтр ссылок скрин https://imgur.com/XBJgKo0
То выводиться только 90 товаров и всё

Сообщение об ошибке Out of memory

invalid@example.com (linker_studio) — Wed, 22 Sep 2021 13:31:20 +0000

Как обойти ошибку - Сообщение об ошибке Out of memory

Кнопка "Load More"

invalid@example.com (Leonkrmv) — Fri, 10 Sep 2021 08:22:45 +0000

Я не могу понять как собрать линк с этого сайта: https://www.allrecipes.com/recipes/88/bbq-grilling/. в самом внизу есто кнопка лоад море

Проблема с парсингом ссылок на страницы

invalid@example.com (denniseds) — Wed, 08 Sep 2021 19:07:13 +0000

Приветствую.
Сканер ссылок не получает ссылки на страницы каталога для дальнейшего сбора ссылок на страницы товаров.
Ссылка на след. страницу каталога генерируется скриптом при клике на нее:

4

Подскажите, как обойти эту проблему?

Потоки сканера

invalid@example.com (keps) — Mon, 06 Sep 2021 17:17:15 +0000

Если, например, в сканере сайтов включено 10 потоков, то должно из списка очереди загружаться сразу 10 ссылок, но у меня они идут по одной с указанным интервалом в секундах. Так и должно быть?

А вот сейчас вижу что потоки пошли... Только почему-то не сразу, а через некоторое время. Это может быть из-за использования впн?

Как применяются фильтры ссылок?

invalid@example.com (pablo) — Tue, 17 Aug 2021 09:51:50 +0000

Подскажите общий принцип работы с фильтрами (поиск-замена).
Я начинаю парсить сайт, вижу, что в списке очереди появляются ссылки-дубли, типа таких
http://site.ru/page.aspx
http://site.ru/Login.aspx?Referrer=text1/text2/text3/page.aspx
http://site.ru/Login.aspx?Referrer=text1/text2/page.aspx
http://site.ru/Login.aspx?Referrer=text1/page.aspx

Делаю фильтр, для удаления страницы http://site.ru/Login.aspx с любыми параметрами.
Очередь...

Как применяются фильтры ссылок?

Как отключить удаление дублей в сканере сайтов

invalid@example.com (webstep) — Tue, 13 Jul 2021 11:56:42 +0000

Всем привет.

Есть продуктовый сайт. На странице продукта не указаны много фильтров. Решил пойти следующим образом: генерирую ссылку с включенным фильтром, затем собираю все товары с этого фильтра. И так прохожу по всех фильтрах и записываю значения фильтра в PARAM. Но вот незадача. сканер сайтов автоматически не добавляет в результат парсинга дубли. А мне как раз дубли нужны, так как один товар ( ссылка ) может иметь несколько PARAM
Посмотреть вложение 9932

Как узнать количество спарсенных ссылок в сканере

invalid@example.com (sotex2) — Sun, 04 Apr 2021 00:43:43 +0000

Доброго времени суток.
Делаю сбор ссылок в сканере сайтов, через wba, как узнать какое количество спарсено в реальном времени. При включеном wba, еще можно посмотреть, что сам процесс сбора идет, но нет информации сколько ссылок спарсено, а если отключить показ wba, то вообще неизвестно идет сбор или нет, в логах тоже не отображается процесс. Есть ли возможность узнать это?

Сканер не собирает ссылки

invalid@example.com (webbb) — Sat, 09 Jan 2021 02:37:27 +0000

Пациент
my-shop.ru/shop/catalogue/12988/sort/a/page/1.html

Урлы внутренние.
Функция поиска по ссылкам поставил
href="{get}"

Не находит нижние каталоги и товары.
Проблема в сканере, не пойму в чём...

Не парсятся ссылки

invalid@example.com (Jack_Sparrow) — Fri, 18 Dec 2020 10:30:15 +0000

Здравствуйте

https://www.oboilux.ru/lepnina/

Не работает фильтрация в сканере ссылок

invalid@example.com (Jamil) — Sat, 12 Dec 2020 08:22:25 +0000

Коллеги, подскажите что делаю не так, вот видео https://yadi.sk/i/UewnEjbWvvKLdg

Сканер не собирает ссылки с сайта с использованием прокси

invalid@example.com (sten30) — Fri, 04 Dec 2020 11:14:44 +0000

Не собирает ссылки Сканер сайтов в режиме MemSave с прокси
Без MemSave все собирал
Проект прилагаю