Парсинг ссылок, подгружаемых при клике по кнопке "показать еще" (с помощью WBApp)

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем Felix_b, 23 июн 2017.

Метки:
  1. Felix_b

    Felix_b Well-Known Member Пользователи

    Регистрация:
    30 мар 2017
    Сообщения:
    116
    Доброго времени суток, уважаемый профи.

    Не получается собрать ссылки с сайта. На странице присутствует элемент прокрутки "Показать еще")
    Использую WBapp - результат всего 76 ссылок.[​IMG]
    [​IMG]
    Прошу подсказки что не так делаю.


    С уважением к Вам, Богдан
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2017-06-23_01-17-26.png
     

    Вложения:

    Felix_b нравится это.
  3. Felix_b

    Felix_b Well-Known Member Пользователи

    Регистрация:
    30 мар 2017
    Сообщения:
    116
    Большущее спасибо. Теперь все четко работает.
    Что бы мы без Вас делали...
     
    Root нравится это.
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  5. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Добрый день! Прошу помощи!
    Аналогичная настройка, но у меня часто зависает страница после клика на кнопку ПОКАЗАТЬ ЕЩЕ.
    Пробовал разные настройки, не получается! Виснет, соответственно не собирает все ссылки!
     

    Вложения:

  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Перепробовал, все, что мог. Даже причина этого неизвестна мне.

    Получайте ссылки из карты сайта Ссылки недоступны для гостей
     
  7. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Спасибо большое за ответ, хоть не буду мучиться!
    Карта сайта у них не совсем, не все наименования в ней есть!
     
    Root нравится это.
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-06-24_19-45-34.png
    2017-06-24_19-46-23.png
     

    Вложения:

  9. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Добрался до этого проекта, разобрался с Вашей подсказкой! ЗАРАБОТАЛО! Просто ОГРОМНОЕ спасибо!
    Поставил нужный плагин в Мазилу, выцарапал нужные ID рубрик. Теперь все ссылки на месте!
    Успехов в труде и благополучия в жизни!
     
    Root нравится это.
  10. 3xwww

    3xwww New Member Пользователи

    Регистрация:
    27 сен 2013
    Сообщения:
    32
    здравствуйте.
    а если нет кнопки показать еще, а подгрузка выполняется при скролинге в низ, все действия такие же?
     
  11. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    Вроде да, просто не делать клик на области этой Кнопки, а сделать скроллинг вниз толко командой.
     
  12. 3xwww

    3xwww New Member Пользователи

    Регистрация:
    27 сен 2013
    Сообщения:
    32
    вот скрин только не пойму, в самом сайте товар появляется при скролинге а в программе есть кнопка.
    сделал запрос но он не обрабатывается походу т.к. другие товары не раскрываются.
    подскажите пж что не так сделал
    [​IMG]
     
  13. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    Приведите пожалуйста юрл на товары, с которыми у Вас проблемы, и будет более наглядно, как Вам помочь советом.
     
    Root нравится это.
  14. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    outerhtml попробуйте эту строку указать для нажатия
     
  15. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Добрый день!
    Подскажите пожалуйста, как спарсить картинки с страницы Ссылки недоступны для гостей
    Ссылка на картинку появляется только после клика на Выбор цвета.
    Спасибо большое!
     
  16. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    Включить выполнение скриптов нажмите при настройки границы.
     
  17. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Не получается, не вижу ссылки:(
     
  18. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    [​IMG]
     
  19. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Эту ссылку я вижу, но это только одна картинка! там еще три! Которые подгружаются после клика на Выбор цвета - я вот про эти добавочные спрашиваю!
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     

Поделиться этой страницей