Как парсить Вконтакте (+ видео авторизации)

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Root, 14 янв 2012.

  1. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Писать не пробовали? :D
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    уник в закрытых группах, вступайте и парсите - но вы не один такой умный)) скорее всего оттуда уже тащат другие, проверяйте на уникальность.
    Кстати в группах зачастую копипасту из интернета и так постят.
     
  3. olivergreen

    olivergreen New Member Пользователи

    Регистрация:
    28 янв 2013
    Сообщения:
    31
    Так Вы всем расскажите )) Мне вот тоже интересно! )
     
  4. belozy

    belozy New Member Пользователи

    Регистрация:
    29 янв 2013
    Сообщения:
    3
    авторизовался нормально, но при задании границ парсинга в окне с кодом выдает:

    Не удалось загрузить код сраницы!

    Возможные причины:
    - Программа не может получить доступ в сеть интернет;
    - Была выбрана невалидная ссылка;
    - Из-за частых запросов сайт заблокировал программу.

    хотя в нижней части экрана в браузере страница загружена.

    UPD: решение
    просниффить юзерагента под которым проходит авторизация в CD и в дополнительных настройках указать его, код и откроется)

    p.s. Спасибо Вове)
     
    Последнее редактирование: 19 мар 2013
  5. Woodwoker

    Woodwoker New Member Пользователи

    Регистрация:
    28 июн 2013
    Сообщения:
    3
    Подскажите пож. нужно парсить статьи из ВК, все делаю как на видео, но когда вставляю ссылку из поиска то получаю в предварительном просмотре 5-10 ссылок на группы (с параметром club4545454 например) вместо выданных в поиске 345... Что я не так делаю? Подскажите "чайнику" пож...
    Подозреваю что со скроллом связано но не пойму как правильно сделать...
    Спасибо.
     
  6. VikaBraun

    VikaBraun New Member Пользователи

    Регистрация:
    13 дек 2013
    Сообщения:
    1
    Подскажите пожалуйста - каким образом я могу получить все ссылки на видео с этой страницы: Ссылки недоступны для гостей

    Проблема в динамической подгрузке контента.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте, самый простой способ - через WBApp (Ссылки недоступны для гостей) с примерно таким списком событий:
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    По идее еще можно так вот - Ссылки недоступны для гостей, но почему-то, в данном случае, плагин не показывает, откуда подгружается дополнительное видео...
    Тогда, скорее всего, весь список видео загружается при обращении к Ссылки недоступны для гостей и где-то кроется в коде... (скрипт же его как-то разворачивает).
     
  9. wavehunter

    wavehunter New Member Пользователи

    Регистрация:
    6 сен 2014
    Сообщения:
    4
    Ребят, не могу спарсить время сообщения... в контакте.. в обсуждениях... там границы, как специально убогие, по всему тексту повторяются...
    Не подскажете, кто сталкивался?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Можете, пожалуйста, предоставить код WEB-страницы целиком с указанием частей, которые нужно спарсить (желательно файл проекта Content Downloader)? Так как мне сейчас нужно будет предположительно долго это искать...

    С уважением к вам, Сергей.
     
  11. wavehunter

    wavehunter New Member Пользователи

    Регистрация:
    6 сен 2014
    Сообщения:
    4
    Спасибо, Root, вышлю вам на почту сейчас, ок?)
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Простите, но по почте я вопросы настройки не решаю. Прошу ознакомиться с этой информацией Ссылки недоступны для гостей
     
  13. wavehunter

    wavehunter New Member Пользователи

    Регистрация:
    6 сен 2014
    Сообщения:
    4
    А куда лучше прислать данные?)))
    С уважением,
    Стас
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Либо сюда, либо специалистам по платной настройке. Эти моменты расписаны тут Ссылки недоступны для гостей

    Спасибо!
     
  15. platinumffi

    platinumffi New Member Пользователи

    Регистрация:
    16 дек 2014
    Сообщения:
    3
    Подскажите, есть мануал, по которому можно разобраться как спарсить с сообщества в вконтакте все посты?
     
  16. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Это как искать инструкцию к коту... все индивидуально
     
  17. platinumffi

    platinumffi New Member Пользователи

    Регистрация:
    16 дек 2014
    Сообщения:
    3
    Инструкция к коту это хорошо:rofl::rofl::rofl:
    Мне бы понять вообще возможно это сделать... есть сообщество в контакте (страница) мне нужен контент (текст и фото), все посты на стене в сообществе! Коменты, кто лайкнул и т.д. не нужно... только контент!!?
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проблем не вижу.

    Парсим с помощью WBApp (Ссылки недоступны для гостей). Там и скрипты обрабатываются, эмуляции прокрутки страниц вниз есть и прочее...
     
  19. platinumffi

    platinumffi New Member Пользователи

    Регистрация:
    16 дек 2014
    Сообщения:
    3
    Спасибо!!! Буду пробовать!!
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста, обращайтесь...
     

Поделиться этой страницей