Как собрать все ссылки на веб-страницы из раздела недвижимость на куфаре?

Тема в разделе "Решение различных задач по парсингу", создана пользователем vadimsoloviev, 15 янв 2023.

  1. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    Ссылки недоступны для гостей
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нужна ссылка на интересуемый раздел.
     
    vadimsoloviev нравится это.
  3. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    Ааа... А ссылка доступна при клике на изображение.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Прокликивать в WBAppCEF.
     
    vadimsoloviev нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если не знаете, как, напишите. Сделаю в свободное время.
     
    vadimsoloviev нравится это.
  6. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    Да:)... у меня пока что не хватает квалификации:(, БОЛЬШОЕ вам:D, ОГРОМНОЕ:D спасибо.
    Ссылки недоступны для гостей мой текущий проект, осталось его только ссылки собирать научить:rolleyes:.
     
    Последнее редактирование: 15 янв 2023
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проект WBAppCEF для листинга на этом сайте настроил.

    Ссылки собираются во вкладке "Ссылки" или в инструменте "Сканер сайтов".
     

    Вложения:

    vadimsoloviev нравится это.
  8. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    [​IMG]
    Загрузил проект:), всё прекрасно работает;), только мне нужно было вот эти ссылки автоматом собирать, а не внутренние:oops:.
     
  9. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    Не могу сообразить, почему при клике по 2, 3, 4, 5 ссылкам подгружается контент 1-ой ссылки?


    1. Ссылки недоступны для гостей
    2. Ссылки недоступны для гостей
    3. Ссылки недоступны для гостей
    4. Ссылки недоступны для гостей
    5. Ссылки недоступны для гостей
     

    Вложения:

  10. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    Проблему так и не решил:(, подскажите в какую сторону думать:rolleyes:?
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Где эти ссылки расположены. Нужен адрес страницы.
     
    vadimsoloviev нравится это.
  12. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    [​IMG]
    [​IMG]
    Мне интересен выпарс ссылок по определённым агентствам недвижимости, например по Ссылки недоступны для гостей.
     

    Вложения:

  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проект приложил.

    Ссылки здесь парсятся во вкладке "Ссылки".

    В проекте реализовано прокликивание страниц выдачи в браузере WBAppCEF.
     

    Вложения:

    • re_kufar_by.cdp
      Размер файла:
      44,8 КБ
      Просмотров:
      1
    vadimsoloviev нравится это.
  14. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    [​IMG]
    БОЛЬШОЕ вам спасибо Root:), подскажите, а можно ли в данном случае получить 5 ссылок со скриншота и уже по ним, повторяющимися границами спарсить: количество комнат, цены и адреса во вкладке контент:rolleyes:?
    Или при парсинге ссылок из данного раздела сайта нужно действовать только тем способом, которым действовали вы:rolleyes:?
     
    Последнее редактирование: 28 янв 2023
  15. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    Ссылки недоступны для гостей
    [​IMG]
    Так же не могли бы вы подсказать как спарсить все ссылки "в данном случае 39 ссылок" из Ссылки недоступны для гостейраздела сайта:rolleyes:?
    Я собрал их в мануальном режиме:(, и думаю:confused: как бы мне:rolleyes:... это самое:rolleyes::rolleyes:... Автоматизировать их сбор:D:).
     

    Вложения:

    Последнее редактирование: 28 янв 2023
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы просили сделать парсинг ссылок по агентству недвижимости, я сделал. Проект собирает ссылки на объявления.
     
    vadimsoloviev нравится это.
  17. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    Да:), БОЛЬШОЕ вам спасибо:). Подскажите пожалуйста, а можно ли в данном случае, просто 5 ссылок собрать, по которым смогут отрабатывать повторяющиеся границы во вкладке контент:rolleyes:?
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    На этом сайте ссылки на страницы особым образом построены. Вы же сами сказали, всегда кидает на первую страницу.

    Вариант здесь прокликивать страницы выдачи в WBAppCEF.

    В крайнем разделе, что вы предоставили, другая структура страницы.

    Ниже проект для листинга и крайнего раздела в том числе.
     

    Вложения:

    vadimsoloviev нравится это.
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот проект с грубой настройкой для парсинга по вашему запросу.

    Вот, как в нем реализован разбор контента с каждой страницы выдачи Ссылки недоступны для гостей
     

    Вложения:

    vadimsoloviev нравится это.
  20. vadimsoloviev

    vadimsoloviev Member Пользователи

    Регистрация:
    6 окт 2017
    Сообщения:
    66
    Город:
    Витебск
    Теперь нужен видеоурок:rolleyes: чтобы во всём этом разобраться:D.
     
    Root нравится это.

Поделиться этой страницей