Как долго может происходить сканирование сайта на получение ссылок?

Запускаю сканер сайта на поиск всех ссылок товаров на сайте, например, в 9 утра. Весь день идет процесс, в 10 вечера смотрю, там всего найдено 15 тыс ссылок, а в очереди еще 160 тыс ссылок. И число ссылок в очереди только увеличивается. Как долго может длиться парсинг ссылок на товары с сайта ( не берем во внимание сайты с огромным количеством товаров)? Например, сайт с 40 тыс товаров Ссылки недоступны для гостей Есть какие-то ориентировочные данные?

Может быть не правильно задала фильтры Ссылки недоступны для гостей ?

 

это битрикс, настраивайте по разделам по счетчику страниц в PAGEN

 

Здравствуйте.

Сканер сайтов работает до тех пор, пока не опустеет список очереди ссылок.

Нужно настроить фильтры списка очереди ссылок таким образом, чтобы в него не попадали лишние ссылки (а, например, попадали только ссылки рубрик).

Ссылки недоступны для гостей

 

Здравствуйте, не могу найти нужную мне информацию, переустанавил программу и обновил и теперь не работает сканер сайтов, кто может помочь понять почему? Очень нужно!

 

Здравствуйте.

Ссылки недоступны для гостей