Сканирует только часть ссылок

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем Gnom41k, 24 мар 2017.

  1. Gnom41k

    Gnom41k Member Пользователи

    Регистрация:
    20 июл 2015
    Сообщения:
    47
    Доброго времени, есть сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Пытаюсь спарсить ссылки но у меня не получается. И в один поток и вообще без никаких фильтров и с задержкой в 3000 все равно выдает то 93 то 100 страниц. Пришлось пройтись вручную и ссылок типа catalog/75665/73945395/
    На сайте 201 шт.
    За ранее спасибо
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Укажите конкретный адрес WEB-страницы, на которой сканер не находит ссылки (с указанием ссылок, которые не находит на этой странице сканер).
     
  3. Gnom41k

    Gnom41k Member Пользователи

    Регистрация:
    20 июл 2015
    Сообщения:
    47
    Адрес указан выше, список страниц которые не находит большой для примера вот

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    На WEB-странице Ссылки недоступны для гостей НЕ содержатся указанные выше адреса.

    Выискивать на сайте эти ссылки мы не будем, зачем...

    Если не можете предоставить конкретную ссылку, которую мы просим, мы вам с этим вопросом не поможем.
     
    Последнее редактирование: 27 мар 2017
  5. Gnom41k

    Gnom41k Member Пользователи

    Регистрация:
    20 июл 2015
    Сообщения:
    47
    я наверное не совсем правильно указал проблему, или не правильно понимаю метод получения ссылок. Я указал главную страницу сайта и без каких либо настроек запустил сканер. Если я правильно понимаю (по аналогии с другими сайтами) в результате должны отобразится все ссылки данного сайта но к сожалению отображаются только небольшая часть. Примеры ссылок которые не отображаются в результате сканирования указаны Выше.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Чтобы правильно понимать принцип работы сканера вы изучите вот этот материал системы помощи Ссылки недоступны для гостей

    Еще раз говорю, мы изучать сайты, разбираться в их структуре и работе не будем. Вы определите, на каких WEB-страницах сканер не находит ссылки и предоставьте их адреса. Тогда и проверим.

    Спасибо!
     
    Последнее редактирование: 29 мар 2017

Поделиться этой страницей