Не могу настроить парсинг музыки вк

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем romancabrov, 12 окт 2015.

  1. romancabrov

    romancabrov New Member Пользователи

    Регистрация:
    20 ноя 2012
    Сообщения:
    37
    Пересмотрел кучу видосов, давно не работал с программой, тут понадобилось собрать с вк списки песен
    взял как вариант группу
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Думал спарсить музыку со стены
    настроил повторяющиеся границы, все норм, возникла проблема с прокруткой страницы, чтобы записи подгрузились дальше, знаю сейчас тыкните, что на форуме это уже давно все обсуждалось, но я все пересмотрел, так и не понял, что сейчас актуально?
    пробовал подгружать через дополнение мазилы
    Просмотр htpp заголовков
    приписывал офсет, получалось примерно так
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    определил офсет с шагом 9, пробовал дальше парсить, пишет, что резльтирующий документ пустой
    Пробовал еще вроде как макрос прокрутки
    [SCROLLDOWNTHENRETURN] и паузы
    [WAIT]:2000

    тоже ничего
    кто нибудь может хоть как нить подсказать в како направлении двигаться и что сейчас актуально
    За ранее очень благодарен
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Только что попробовал такую конструкцию в WBApp:
    Все ok!

    В чем проблема?
     
  3. romancabrov

    romancabrov New Member Пользователи

    Регистрация:
    20 ноя 2012
    Сообщения:
    37
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Как правильно в шаблоне вывода это все сделать?
     
    Последнее редактирование модератором: 12 окт 2015
  4. romancabrov

    romancabrov New Member Пользователи

    Регистрация:
    20 ноя 2012
    Сообщения:
    37
    вроде разобрался) не туда прокрутку вставлял
     
  5. romancabrov

    romancabrov New Member Пользователи

    Регистрация:
    20 ноя 2012
    Сообщения:
    37
    Еще при парсинге возникла проблема, парсится примерно 100 прокруток, короче всего за месяц, потом обрубается, пробовал ставить больше паузу, пробовал увеличит время парсинга, не помогает, где еще могут стоят ограничения???
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проблема в том, что больше не прокручивается вниз или выдача ВК больше не подгружается?
     
  7. romancabrov

    romancabrov New Member Пользователи

    Регистрация:
    20 ноя 2012
    Сообщения:
    37
    Не прокручивается вниз я так думаю, потому что я толком не следил, вижу, что сообщество большое, а парситься мало, в ходе поисков вроде как разобрался, тут написано 100 срабатываний, поставил миллион)))
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Но тоже все так где то ограничения стоят мне кажется, потому что парситься уже намного больше, но не о конца, в сообществе 23 тыс постов, а парсится где то 6-7 месяцев последних постов, видно где то не то опять написал
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Команда прокрутки у Internet Explorer имеет какой-то предел. По достижении этого предела прокрутка перестает работать и с этим ничего не поделать.

    Есть два пути возможного решения:

    1) Пробовать "Прокрутка к определенным элементам WEB-страниц" Ссылки недоступны для гостей

    2) Либо основывать парсинг на простых GET-запросах без использования WBApp
     
  9. romancabrov

    romancabrov New Member Пользователи

    Регистрация:
    20 ноя 2012
    Сообщения:
    37
    Спасибо большое пока для меня это темный лес, возможности программы огромные просто, буду по ходу дела разбираться тогда
    К определенным элементам - это самый первый способ который я пробовал, где нужен плагин к мазиле, верно? если да, то как правильно задать запрос и вообще откуда копать начинать?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот проект, у меня на нем до offset 10719 прекрасно грузит данные (только cookies авторизации свои вставьте в окно ctrl+h).

    Думаю, это и есть все данные со стены сообщества!!!
     

    Вложения:

    • vk_com.cdp
      Размер файла:
      294,6 КБ
      Просмотров:
      50

Поделиться этой страницей