Парсинг orgpage.ru

Тема в разделе "Решения по парсингу популярных сайтов", создана пользователем Limod, 2 май 2019.

  1. Limod

    Limod Member Пользователи

    Регистрация:
    14 июл 2018
    Сообщения:
    38
    Добрый день!
    Дайте пожалуйста подсказку как грамотно спарсить данный Ссылки недоступны для гостей
    Пробовал через API, но не знаю какую именно ссылку выбрать. (api яндекса) сам сайт также не получается настроить сбор ссылок, так как не пойму где идет смотреть переключение страниц.
    Очень интересно решение без WBApp , хочется по максимуму быстро собрать информацию. Если у кого-то есть информация как собирать с данного сайта, буду благодарен за поддержку.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    С виду все нормально. В чем проблема у вас, я не понял.

    Предоставьте конкретную ссылку и укажите на скриншоте, какие данные нужно спарсить с WEB-страницы.
     
  3. Limod

    Limod Member Пользователи

    Регистрация:
    14 июл 2018
    Сообщения:
    38
    Ссылки недоступны для гостей
    1) не понятно где изменяется следующая страница с организациями. (что бы добавить num )
    2) не пойму с какой ссылкой из этих работать[​IMG]
    Если вас не затрудни разъясните как данным сайтом работать ?
    Посмотрел видеоролик , но не смог найти ту ссылку из которой брать информацию о ссылках с организациями, а уже потом брать инфо с самих организаций
    Пример ссылки на организацию Ссылки недоступны для гостей
     
    Последнее редактирование: 2 май 2019
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
     

    Вложения:

    • orgpage_ru.cdp
      Размер файла:
      37,7 КБ
      Просмотров:
      10
    eksin и Limod нравится это.
  5. Limod

    Limod Member Пользователи

    Регистрация:
    14 июл 2018
    Сообщения:
    38
    Огромное спасибо, Сергей! Новый уровень в изучение программы)
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста
     
  7. eksin

    eksin New Member Пользователи

    Регистрация:
    16 мар 2011
    Сообщения:
    10
    Кто и как победил зависание программы или автоматическое закрытие её?
    берем вверху cdp, идём на оргпдж ищем любой запрос в котором будет больше 200 страниц и пробуем спарсить ссылки, в итоге софт повиснет или закрывается сама программа. как лечить ? комп i7-3770k , 16gb, ssd, win10
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В таких случаях нужно прикладывать проект (чтобы в нем, например, была одна ссылка) с последовательным описанием действий, которые могут привести к указанной проблеме.

    Искать какие-то ссылки, лазить по сайтам никто тут не будет. И описание действий у вас неконкретное, вы говорите о парсинге ссылок, в программе много функций по парсингу ссылок, о какой идет речь - тоже непонятно.
     
  9. eksin

    eksin New Member Пользователи

    Регистрация:
    16 мар 2011
    Сообщения:
    10
    сделал всё как в этом видео, изменил только запрос на "дет_ский са_д по москве"
     

    Вложения:

    • orgpage_ru.cdp
      Размер файла:
      37,7 КБ
      Просмотров:
      0
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Зависает у вас WBApp.exe или Content Downloader.exe?
     
  11. eksin

    eksin New Member Пользователи

    Регистрация:
    16 мар 2011
    Сообщения:
    10
    WBApp.exe
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Тут ничего не поделаешь. Так работает Internet Explorer.

    Есть вариант парсить без использования браузера. Позже сниму видео.
     
    eksin нравится это.
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
     

    Вложения:

    • orgpage_ru.cdp
      Размер файла:
      38,3 КБ
      Просмотров:
      5
    eksin и Limod нравится это.
  14. Limod

    Limod Member Пользователи

    Регистрация:
    14 июл 2018
    Сообщения:
    38
    Спасибо, дядя Сережа!) Полезная информация! По сути так можно парсить 2 гис и прочее? {key2} мы прописываем аналогично как и {key} что бы по городам искал?
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    {key2} для генерации с динамическим {num} не предусмотрен.

    Либо генерируйте с обычным {num} по введенному диапазону, {key}, {key2}, либо в {key} вставляйте список готовых комбинаций запросов и городов.

    2ГИС давно парсить не пробовал. Можете создать тему с этим вопросом.
     

Поделиться этой страницей