Скрипт подгружает страницу, ловлю заголовок, но дальше не идет

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем AntonFix, 26 мар 2015.

  1. AntonFix

    AntonFix New Member Пользователи

    Регистрация:
    29 окт 2014
    Сообщения:
    30
    Есть сайт, раздел на нем:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    В браузере можно открыть свободно до 11 страницы (в конце урла меняю номер страницы):
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    А вот после 11 страницы возвращает на первую. Хотя всего страниц с результатами более 600.

    Заголовок вот такой при нажатии на кнопку Next:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Там есть параметр page=4&, он меняется. Но в парсере на этих страницах ничего не видно.

    Что я делаю не так? Как поймать страницы 12, 13, 20, 50 и т.д.?
     
  2. AntonFix

    AntonFix New Member Пользователи

    Регистрация:
    29 окт 2014
    Сообщения:
    30
    Кто-нибудь может помочь?
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Простите, но со сбором ссылок с этого сайта запрошенным способом я вам помочь сейчас не могу.

    С уважением к вам, Сергей...
     
  4. AntonFix

    AntonFix New Member Пользователи

    Регистрация:
    29 окт 2014
    Сообщения:
    30
    А каким образом можно решить эту задачу?
    Я догадался про WBApp, но он почему-то сканирует одну страницу и прекращает работу.
     

    Вложения:

    • project.cdp
      Размер файла:
      26,6 КБ
      Просмотров:
      0
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    К сожалению, я сейчас не знаю способа для сбора ссылок с этого сайта.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Хотя нет, вроде собирает ссылки. Проект прилагаю (меню - файл - загрузить проект). Парсить во вкладке "Ссылки". С уважением к вам, Сергей...
     

    Вложения:

  7. AntonFix

    AntonFix New Member Пользователи

    Регистрация:
    29 окт 2014
    Сообщения:
    30
    А что там знать-то? Это же ваша программа, а все сайты почти одинаковую структуру и технологию имеют.

    Почему в сканере ссылок это правило из WBApp запускается всего один раз, а надо циклично.
    Вот это правило запускается один раз при скане ссылок. Почему?
    [CLICK][innerhtml][N]0[/N][FULL]:Volgende resultaten
    [WAIT]:2000

    [​IMG]
     
  8. AntonFix

    AntonFix New Member Пользователи

    Регистрация:
    29 окт 2014
    Сообщения:
    30
    Ой, спасибо. Вроде работает.
    Просто я открывал через браузер ссылку
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Спасибо за помощь.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста, обращайтесь...
     
  10. AntonFix

    AntonFix New Member Пользователи

    Регистрация:
    29 окт 2014
    Сообщения:
    30
    Все же на 35 ссылке он перестает парсить данные (700 результатов). Хотя результаты поиска показывают якобы 12 000 найдено.

    Поэтому вопрос открыт:
    Почему в сканере ссылок это правило из WBApp запускается всего один раз, а надо циклично.
    Вот это правило запускается один раз при скане ссылок. Почему?
    [CLICK][innerhtml][N]0[/N][FULL]:Volgende resultaten
    [WAIT]:2000
    Как циклично запускать?
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    На многих сайтах количество результатов показывает куда больше, чем по факту (типичная дезинформация).
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    У меня WBApp вообще не хочет кликать на кнопку типа "показать еще результаты" для этого сайта. Модуль IE порой "глючит" на некоторых сайтах. Думаю, WBApp для парсинга "вашего" сайта нет смысла использовать.
     
  13. AntonFix

    AntonFix New Member Пользователи

    Регистрация:
    29 окт 2014
    Сообщения:
    30
    А какие варианты парсинга могут быть? Подскажите, пожалуйста, куда копать, а я сам почитаю-поучу.
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Мой вариант от Вчера, 16:07, думаю, в максимально-возможной мере решает вопрос сбора ссылок с этого сайта.
     
  15. AntonFix

    AntonFix New Member Пользователи

    Регистрация:
    29 окт 2014
    Сообщения:
    30
    Не совсем так.
    Дотыкался я на кнопку Next result и он показывает больше чем 700 адресов по Вашему методу.
    То есть по факту их там больше 700 адресов.

    Вот как мне парсером собрать ВСЕ 12000 адресов, вместо 700?
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Простите, но я не знаю, как решать эту задачу.
     

Поделиться этой страницей