Сканирует только часть ссылок

Discussion in 'Парсинг во вкладке "Ссылки"' started by Gnom41k, Mar 24, 2017.

  1. Gnom41k

    Gnom41k Member Пользователи

    Joined:
    Jul 20, 2015
    Messages:
    47
    Доброго времени, есть сайт
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    Пытаюсь спарсить ссылки но у меня не получается. И в один поток и вообще без никаких фильтров и с задержкой в 3000 все равно выдает то 93 то 100 страниц. Пришлось пройтись вручную и ссылок типа catalog/75665/73945395/
    На сайте 201 шт.
    За ранее спасибо
     
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Укажите конкретный адрес WEB-страницы, на которой сканер не находит ссылки (с указанием ссылок, которые не находит на этой странице сканер).
     
  3. Gnom41k

    Gnom41k Member Пользователи

    Joined:
    Jul 20, 2015
    Messages:
    47
    Адрес указан выше, список страниц которые не находит большой для примера вот

    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
     
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    На WEB-странице Ссылки недоступны для гостей НЕ содержатся указанные выше адреса.

    Выискивать на сайте эти ссылки мы не будем, зачем...

    Если не можете предоставить конкретную ссылку, которую мы просим, мы вам с этим вопросом не поможем.
     
    Last edited: Mar 27, 2017
  5. Gnom41k

    Gnom41k Member Пользователи

    Joined:
    Jul 20, 2015
    Messages:
    47
    я наверное не совсем правильно указал проблему, или не правильно понимаю метод получения ссылок. Я указал главную страницу сайта и без каких либо настроек запустил сканер. Если я правильно понимаю (по аналогии с другими сайтами) в результате должны отобразится все ссылки данного сайта но к сожалению отображаются только небольшая часть. Примеры ссылок которые не отображаются в результате сканирования указаны Выше.
     
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Чтобы правильно понимать принцип работы сканера вы изучите вот этот материал системы помощи Ссылки недоступны для гостей

    Еще раз говорю, мы изучать сайты, разбираться в их структуре и работе не будем. Вы определите, на каких WEB-страницах сканер не находит ссылки и предоставьте их адреса. Тогда и проверим.

    Спасибо!
     
    Last edited: Mar 29, 2017

Share This Page