Как спарсить форум на vbulletin?

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем eqw, 22 сен 2012.

  1. eqw

    eqw New Member Пользователи

    Регистрация:
    22 сен 2012
    Сообщения:
    3
    Здравствуйте.
    Для примера возьмем Ссылки недоступны для гостей
    Всего в разделе, скажем, 120 страниц с темами.
    Тема в этом разделе выглядит так: Ссылки недоступны для гостей
    Нужно спарсить определенный раздел, поэтому собрать ссылки через банальный {num} не выйдет, ибо тема Ссылки недоступны для гостей4
    может находится в совершенно другом разделе.
    Как спарсить ссылки конкретно только в определенном разделе? И не на 1 странице а со всех 120.
    А далее - как спарсить тексты тем, учитывая что уже в темах, более 1 страниц с обсуждениями.
    Заранее спасибо.
     
  2. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    самое умильное - что я не смог открыть ни одной из приведенных в САБЖ-е ссылок. то ли форума уже такого не существует, то ли с Украины он не впускает, то ли ссылки приведены наобум.
     
  3. eqw

    eqw New Member Пользователи

    Регистрация:
    22 сен 2012
    Сообщения:
    3
    Да это я просто для примера адресс взял, нету такого форума. Под мое описание подходит любой форум на VB.
    Ну например Ссылки недоступны для гостей
     
  4. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    да. охренеть оказалась задачка.
    для решения первой части этой задачи -
    нужно несколько раз подряд просеять ссылки через фильтры.

    1. сначала формируете список страниц с темами через {num}
    http://forum.kinopoisk.ru/forumdisplay.php?f=5&order=desc&page={num}

    2. извлекаете из списков тем ссылки второго порядка - ссылки самих тем. тут надо будет очень жестко поработать фильтрами, вплоть до применения регулярок. по результатам предыдущих манипуляций выходите на огромное количество ссылок вида -
    Ссылки недоступны для гостей

    3. опять стартуете из окошка "ссылки" - но с фильтром &postcount
    вот что выдала предыдущая ссылка -
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    - это 1-й пост (собственно тема) и все 24 сообщения, которые шли за ней. дальше - парсинг контента.
     
    Последнее редактирование: 26 сен 2012
  5. eqw

    eqw New Member Пользователи

    Регистрация:
    22 сен 2012
    Сообщения:
    3
    nikolas1612, спасибо большое.
     

Поделиться этой страницей