Сканирует и выдает только часть ссылок

Тема в разделе "Фильтры ссылок", создана пользователем Gnom41k, 16 дек 2016.

  1. Gnom41k

    Gnom41k New Member Пользователи

    Регистрация:
    20 июл 2015
    Сообщения:
    21
    Помогите разобраться в ситуации:
    1. Сначала парсил весь сайт отменно, и сканером и через карту сайта.
    2. Обновили сам сайт (перенесли на bitrix) и теперь сканировать отказывается
    3. Карты сайта нет, то есть она есть но без товаров, возможно временно но решить проблему хочу самостоятельно.

    Вводные:
    1. Сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 5 постов.**
    2. Что бы не влазить в дебри то пытаюсь спарсить только одну категорию товаров
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 5 постов.**
    3. В настройках указал такое Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
    4. Менял настройки
    4.1. Количество потоков
    4.2. Добавлять/не добавлять в очередь
    4.3. Шаблон для ссылки вкл/выкл
    5. В не загруженных находятся ровно те же ссылки которые выдаются в результате
    6. Всего по сайту выдает 104 ссылки, хотя даже не вооруженным видно что их гораздо больше.
    p.s. сижу под vpn клиентом и ip менял

    Заранее спасибо
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.044
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! вы указали в очереди эту ссылку и ожидали что просканирует весь сайт?
     
  3. Gnom41k

    Gnom41k New Member Пользователи

    Регистрация:
    20 июл 2015
    Сообщения:
    21
    Я менял на корень результат тот же, даже если стартовый тот который указан то из 9 товаров выдает только 4
     
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.623
    Город:
    Сочи
    Сайт перестал грузиться из-за проверки HTTP-s сертификата. Теперь нужно грузить его с помощью браузера (ctrl+h -> Internet Explorer (DOM)).
    И вот, что нужно сделать для ускорения загрузки WEB-страниц через браузер Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
    Gnom41k нравится это.

Поделиться этой страницей