Парсинг по критериям в mail.ru с WBApp

Тема в разделе "WBAppIE", создана пользователем Lenok, 27 дек 2015.

  1. Lenok

    Lenok New Member Пользователи

    Регистрация:
    3 янв 2012
    Сообщения:
    14
    Здравствуйте, 2 вопроса:

    1) Ссылка имеет такой вид _https://my.mail.ru/my/search_people?&gender=2&country=24&region=293&city=1700&agerange=15 около 2 тыс контактов, запускаю с такими параметрами
    [SBSLABEL]
    [WAIT]:2000
    [SCROLLBYSCREENTHENRETURN]
    Собирает (прокручивает) около 500 контактов и все, хотя пробовал руками доходит до конца все 2т. контактов, в чем может быть дело?

    2) В вопросе №1 я собираю не email, а ссылки на странички мой мир, как можно сразу перейти по ссылке в процессе и спарсить уже там "была такого-то числа" ?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1) Этот сайт периодически отдает данные с большой задержкой. Обойти можно, смотрите прикрепленный скриншот с должными настройками;

    2) Рациональнее будет спарсить информацию по собранным ссылкам во вкладке "контент".

    С уважением к вам, Сергей.
     

    Вложения:

  3. Lenok

    Lenok New Member Пользователи

    Регистрация:
    3 янв 2012
    Сообщения:
    14
    Благодарю за оперативный ответ, таким образом 700-900 контактов вытаскивает, 3 раза запускал.
    Скорее всего майл сам так отдает т.к. прокрутил до конца в Мозиле, скопировал плагином все ссылки на странице отфильтровал через CD и получилось в итоге 700 тоже.
     
    Последнее редактирование: 27 дек 2015

Поделиться этой страницей