парсинг форума.

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем ergoline, 3 июл 2013.

  1. ergoline

    ergoline New Member Пользователи

    Регистрация:
    15 сен 2011
    Сообщения:
    49
    Адрес:
    UA
    Город:
    Kiev
    Есть желание спарсить часть форума
    Что хотелось бы что б там было
    1 посты из нужной ветки раздела
    проблема: посты иногда в ветке бывают на несколько страниц.
    если ветки в разделе вроде нормально спарсились, то вот непосредственно там где постов на пару страниц, то оно и распознается как пару страниц - это потом их искать и склеивать?

    2 хочется что б парсинг выглядел
    название раздела, ссылка откуда взято - ( ну это легко)

    потом ник автора поста, может еще аватару и сам пост.
    ник автора поста и аву если я делаю просто - то на 1 посту он есть,
    если через повторяющиеся границы - то просто в 1 месте собраны
    все ники и авы постящих. Как быть?

    3 Сами посты с повторяющимися границами идут нормально ( но только с 1 страницы).
    Но... вот проблема с картинками.
    Они в посту идут как атачи те как то так:
    хххххх.ru/forum.php?mod=attachment&aid=OTczfDM3Y2JmYzM5fDEzNzI4NTI4ODh8MzIwMXw1Mjk%3D&noupdate=yes
    и внутри поста их может быть несколько штук.
    Как быть в этом случае?

    В качестве примера ветки можно рассмотреть _http://chinascript.ru/thread-529-1-1.html тут и несколько страниц, и пару изображений.
    сам раздел для парсинга _http://chinascript.ru/forum.php?mod=forumdisplay&fid=349&page=1 - просто есть желание собрать материалы и сделать мануал.

    То что у меня получилось прилагаю ( были лучше проекты, были хуже - это вроде сбалансированный)
     

    Вложения:

    • chin1.cdp
      Размер файла:
      30,1 КБ
      Просмотров:
      3
  2. ergoline

    ergoline New Member Пользователи

    Регистрация:
    15 сен 2011
    Сообщения:
    49
    Адрес:
    UA
    Город:
    Kiev
    Понял ошибку.
    Изображения видны когда зареген, и они идут как вложения.
    но вот в сд мне не удалось зарегиться чтоб были видны изображения.
    Разобью свои вопросы на части и задам по новой)
     

Поделиться этой страницей