Парсинг страничек вконтакте

Discussion in 'Решение различных задач по парсингу' started by furiec, Jan 28, 2015.

  1. furiec

    furiec Member Пользователи

    Joined:
    Dec 24, 2012
    Messages:
    63
    Доброго дня, пытаюсь спарсить ссылки на странички отобранные по критериям, через webapp использую для этого прокрутку и htmlpointcheck
    Так как страничек много поставил чтобы повторялось 30000 раз но как я не меняю повторения выставляю паузы и т.д. больше 1К ссылок не парсит. Кто сталкивался с такой проблемой?
     
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Лимит вк.com на выдачу поиска информации не более 1000 страниц при прокрутке.
     
  3. furiec

    furiec Member Пользователи

    Joined:
    Dec 24, 2012
    Messages:
    63
    А есть возможность обойти данный лимит?
     
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Думаю, разве что изменить код движка Вконтакте (но это могут только администраторы Вконтакте).
     
  5. redfox

    redfox New Member Пользователи

    Joined:
    Feb 18, 2013
    Messages:
    35
    Вроде по по хелпу как в видео сделал и нет прокрутки :( В версии "старт" я так понимаю нет редактирования вейта? нужно более продвинутая лицензия?

    furiec, добавте ключевых в запрос. будет еще 1000 урлов :)
     
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Эмуляция прокрутки WEB-страницы вниз есть в WBApp. Список событий WBApp предназначен для использования только в версии ULTIMATE.

    Если вам интересен переход на ULTIMATE, можете его без проблем произвести Ссылки недоступны для гостей

    Думаю, для парсинга VK можно обойтись и без ULTIMATE-версии. Изучив, с каких именно ссылок подгружается выдача Вконтакте и парсить по таким же ссылкам (Ссылки недоступны для гостей).

    С уважением к вам, Сергей...
     
  7. redfox

    redfox New Member Пользователи

    Joined:
    Feb 18, 2013
    Messages:
    35
    WBApp я могу использовать в старт версии только "как есть"? И прокрутка будет работать только в версии ультимейт?
     
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Да. Эмуляция прокрутки WEB-страницы вниз в WBApp доступна только в версии ULTIMATE.
     
  9. redfox

    redfox New Member Пользователи

    Joined:
    Feb 18, 2013
    Messages:
    35
    На почту ответьте. Я писал вопрос о доплате.
     
  10. alamina.moon

    alamina.moon Модератор Staff Member Модератор

    Joined:
    Jan 14, 2013
    Messages:
    214
    Да, я тоже парсил но больше 1000 не выдает... правда я посты из группы пытался собрать.
     
  11. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Спасибо. Ответил.
     
  12. redfox

    redfox New Member Пользователи

    Joined:
    Feb 18, 2013
    Messages:
    35
    Я сегодня, при парсинге групп получил 3к. Ведь есть галочка, что смотреть, группы-страниц-события. Кто не дает на каждую потыкать? А ведь каждая по 1к :)
     

Share This Page