собирает не все ссылки

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем funtic, 29 апр 2017.

  1. funtic

    funtic New Member Пользователи

    Регистрация:
    29 апр 2017
    Сообщения:
    9
    Добрый день! С сайта Ссылки недоступны для гостей собирает не все ссылки, из возможных 6 тыс, находит только 34 позиции, подскажите плиз решение, проект прилагаю
     

    Вложения:

  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Каталог доступен после авторизации.
     
  3. funtic

    funtic New Member Пользователи

    Регистрация:
    29 апр 2017
    Сообщения:
    9
    Я авторизуюсь, проблема не уходит
     

    Вложения:

    • IMG_3163.PNG
      IMG_3163.PNG
      Размер файла:
      158,6 КБ
      Просмотров:
      2
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Назовите КОНКРЕТНЫЙ адрес WEB-страницы на которой сканер не находит ссылки.
     
  5. funtic

    funtic New Member Пользователи

    Регистрация:
    29 апр 2017
    Сообщения:
    9
    например вот Ссылки недоступны для гостей
     
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    требует авторизации
    1) Пройдите авторизацию, через ctrl+k и парсите на здоровье)
    2) включите галочку "Контент" на вкладке ctrl+h
    изучайте заголовки, которые посылает страница (live http header, либо средствами разработчика в хроме(f12))
    Если вы не знаете что это, то лучше обратитесь к специалистам по настройке Ссылки недоступны для гостей
     
    Последнее редактирование: 30 апр 2017
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-04-30_05-58-27.png
    Нужно читать внимательно:
    А вы, видимо, предоставили адрес товара, который в итоге сканер не находит.

    Простите, мы не готовы просто так тратить свое время на подобные вещи. Читайте внимательно наши сообщения и предоставляйте нужные данные.
     
    Последнее редактирование: 30 апр 2017
  8. funtic

    funtic New Member Пользователи

    Регистрация:
    29 апр 2017
    Сообщения:
    9
    В том то и дело что у меня не находит ее, может что в настройках не правильно стоит...
     

    Вложения:

  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Как надоест экспериментировать, соберите руками ссылки на категории и через вкладку ссылки соберите.
     
  10. funtic

    funtic New Member Пользователи

    Регистрация:
    29 апр 2017
    Сообщения:
    9
    Не много не поняла, как это правильно сделать
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  12. funtic

    funtic New Member Пользователи

    Регистрация:
    29 апр 2017
    Сообщения:
    9
  13. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Не понимаю, зачем вы занимаетесь ерундой.
    На сайте есть пагинация (страницы по нашему)
    Просто создаете проект в wbapp для перелистывания.
    Собирает все ссылки
     

    Вложения:

  14. funtic

    funtic New Member Пользователи

    Регистрация:
    29 апр 2017
    Сообщения:
    9
    Я новичок, что такое проект wbapp?
     
  15. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    пожалуйста ознакомитесь с системой помощи.
    Ссылки недоступны для гостей
    там есть много чего интересного, включая wbapp
     
  16. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Фунтик, Вы меня конечно простите.
    Но у вас 2 варианта.
    Либо вы просто пишите, что именно нужно в конце.
    Либо обращаетесь к специалистам по настройке Ссылки недоступны для гостей
    Просто проблема в том, что сейчас вы спросите 1 вопрос, потом 10-к других, и везде будет отговорка, "я новичек"
     
    kagorec нравится это.
  17. funtic

    funtic New Member Пользователи

    Регистрация:
    29 апр 2017
    Сообщения:
    9
    У меня версия стандарт, а wbapp работает только в ultimate... Больше нет никаких вариантов как самостоятельно спарсить этот сайт? Только заказывать?
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Думаю, там все делается на любой версии. Просто нужно разобраться, как работает сканер и настроить его Ссылки недоступны для гостей
    Если это не получается, обратитесь к специалистам по настройке (так как это работа).

    С уважением к вам, Сергей.
     
  19. funtic

    funtic New Member Пользователи

    Регистрация:
    29 апр 2017
    Сообщения:
    9
    Спасибо.
     
    Root нравится это.
  20. Ivan1914

    Ivan1914 New Member Пользователи

    Регистрация:
    11 янв 2017
    Сообщения:
    13
    Здравствуйте, столкнулся с такой проблемой: Имеется сайт с "пагинацией", на каждой странице 39 товаров. Допустим имеется 3 страницы следовательно должно быть 117 товаров, но когда запускаешь парсинг ссылок на товары получается ~100! Фильтр настроен правильно, авторизация пройдена, паузу между запросами пробовал разную, что интересно когда кликаешь вручную по этим ссылкам (вкладка ссылки) все 3 выдают по 39 товаров. Что может быть?
     

Поделиться этой страницей