Как спарсить все сообщения с форума?

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем dandandan, 23 окт 2015.

  1. dandandan

    dandandan New Member Пользователи

    Регистрация:
    20 сен 2013
    Сообщения:
    20
    Есть форум, в принципе не важно какой. Пусть будет http://forum.sbfactory.ru.

    Нужно спарсить все темы. При этом первое сообщение каждой темы поместить отдельно (считаем его постом), остальные сообщения (считаем их комментариями) выпарсить отдельно.

    Возникло 2 вопроса.
    1. Как разделить пост и комментарии?
    2. Комментарии могу быть не на одной странице. Нужно все комментарии в одно повторяющееся поле, как действовать? Количество страниц с комментариями может быть разным.
    [​IMG]

    Как я понимаю. Первое поле - с неповторяющимися границами. Второе с повторяющимися границами.
    Т.е. получается. По умолчанию я не знаю сколько страниц комментариев есть. Получается, что нужно как-то узнать это количество, получить ссылку на каждую из страниц (например в сканере сайтов) и затем как-то в цикле обойти эти ссылки.

    Жду ответа. Спасибо.
     
    Последнее редактирование: 23 окт 2015
  2. dandandan

    dandandan New Member Пользователи

    Регистрация:
    20 сен 2013
    Сообщения:
    20
    На второй вопрос нашел Ссылки недоступны для гостей Но без примера не понятно что куда записывать.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Увы, у меня по этому вопросу идей нет.

    С уважением к вам, Сергей.
     
  4. dandandan

    dandandan New Member Пользователи

    Регистрация:
    20 сен 2013
    Сообщения:
    20
    Сергей, каким-нибудь образом можно подсунуть CD список ссылок ( сам сформирую) в цикл, чтобы он съел их по одной и "не подавился" ?
     
    Последнее редактирование: 23 окт 2015

Поделиться этой страницей