При включенном WBApp не парсит

Тема в разделе "WBAppIE", создана пользователем portret32, 27 май 2014.

  1. portret32

    portret32 New Member Пользователи

    Регистрация:
    26 апр 2014
    Сообщения:
    167
    Здравсвуйте. Проблема заключается в том что при предосмотре и при обычном парсе у меня получается файл с каким либо количеством строк, но на сайте их гараздо больше я поставил прокрутку страницы в WBApp и задал следующие событие:
    [REPEAT]
    [WAIT]:3000
    [SCROLLDOWN]
    [WAIT]:3000
    [/REPEAT]
    Когда запускается парс все вроде крутится все делает но данные не сохраняются вообще! Если запускать без него парсится только первая часть страницы и все а с ним вообще файл не создается, может я где то что то не так настроил?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Скорее всего у вас WEB-страница не успевает загружаться. Не забывайте парсить в 1 поток с использованием WBApp, также выставьте "тайм-аут проверки загрузки WEB-страницы (мс)" побольше, скажем, 3000 (зависит от вашего интернет-соединения и сайта, который парсите).
     
  3. portret32

    portret32 New Member Пользователи

    Регистрация:
    26 апр 2014
    Сообщения:
    167
    У меня был один поток и задержка 5000 + я еще потом в списке событий WBApp увеличил паузу.
     
  4. portret32

    portret32 New Member Пользователи

    Регистрация:
    26 апр 2014
    Сообщения:
    167
    Не помогает...
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    ПОВТОРЯЮ:
    "тайм-аут проверки загрузки WEB-страницы (мс)" выставляется в ctrl+h

    Если это не сделать - то ничего и не поможет...
     
  6. portret32

    portret32 New Member Пользователи

    Регистрация:
    26 апр 2014
    Сообщения:
    167
    Не одно так другое, теперь парсит только 1000 строк максимум в один файл хотя в настройках выставил максимальное количество
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    а вы уверены что сайт может отдать больше 1000?
    Если да, то как проверяли?
    Или ваше недовольство должно помочь вашей проблеме?
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Скорее всего TC Вконтакте парсит, Вконтакте не отдает более 1000 результатов...
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Стоит вручную проверить в броузере любом сколько лимит результатов выдает сайт - вк и твиттер точно не более 1000 на один запрос
     
  10. portret32

    portret32 New Member Пользователи

    Регистрация:
    26 апр 2014
    Сообщения:
    167
    Решить проблему отдачи не более 1000 результатов возможно?
     
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    смотря что парсите, если например профили то обратите внимание на фильтры поиска, разбив по дням рождения можно охватить аудиторию намного шире чем выдает просто поиск
     
  12. portret32

    portret32 New Member Пользователи

    Регистрация:
    26 апр 2014
    Сообщения:
    167
    Я думал об этом но по месяцам не получается. ВК не изменяет ссылку при добавлении месяца в фильтр результата поиска. Добавляется в ссылку только школы и т.д. а у них у всех разные ID которые и добавляются в ссылку....вопрос теперь в том как собрать их все эти ID школ...
     
Similar Threads
  1. Jeka_M
    Ответов:
    18
    Просмотров:
    4.525
  2. Lonidas
    Ответов:
    9
    Просмотров:
    1.132
  3. ArsMaxim
    Ответов:
    4
    Просмотров:
    1.341
  4. Denius
    Ответов:
    11
    Просмотров:
    1.323
  5. lavr2004
    Ответов:
    7
    Просмотров:
    1.554
Загрузка...

Поделиться этой страницей