Как долго может происходить сканирование сайта на получение ссылок?

Тема в разделе "Сбор ссылок сканером сайтов", создана пользователем YuliyaIvanovo1990, 16 окт 2020.

  1. YuliyaIvanovo1990

    YuliyaIvanovo1990 New Member Пользователи

    Регистрация:
    21 авг 2020
    Сообщения:
    1
    Город:
    Иваново
    Запускаю сканер сайта на поиск всех ссылок товаров на сайте, например, в 9 утра. Весь день идет процесс, в 10 вечера смотрю, там всего найдено 15 тыс ссылок, а в очереди еще 160 тыс ссылок. И число ссылок в очереди только увеличивается. Как долго может длиться парсинг ссылок на товары с сайта ( не берем во внимание сайты с огромным количеством товаров)? Например, сайт с 40 тыс товаров Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! Есть какие-то ориентировочные данные?

    Может быть не правильно задала фильтры Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! ?
     
    Последнее редактирование: 16 окт 2020
  2. bek

    bek Member Пользователи

    Регистрация:
    22 фев 2017
    Сообщения:
    21
    Город:
    Краснодар
    это битрикс, настраивайте по разделам по счетчику страниц в PAGEN
    [​IMG]
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.022
    Город:
    Riga
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.152
    Город:
    Барнаул
    Здравствуйте.

    Сканер сайтов работает до тех пор, пока не опустеет список очереди ссылок.

    Нужно настроить фильтры списка очереди ссылок таким образом, чтобы в него не попадали лишние ссылки (а, например, попадали только ссылки рубрик).

    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  5. Alexlife

    Alexlife Member Пользователи

    Регистрация:
    16 окт 2015
    Сообщения:
    49
    Здравствуйте, не могу найти нужную мне информацию, переустанавил программу и обновил и теперь не работает сканер сайтов, кто может помочь понять почему? Очень нужно!
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.152
    Город:
    Барнаул

Поделиться этой страницей