Проблемка...

Тема в разделе "Решение проблем с использованием программы", создана пользователем asketus, 20 апр 2018.

  1. asketus

    asketus Member Пользователи

    Регистрация:
    2 июл 2014
    Сообщения:
    60
    Есть задачи спарсить url вакансий по фильтру:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    При просмотре через браузер Firefox найдено более 50т вакансий [​IMG] , на странице выводятся 30 вакансий и внизу паджинация по страницам, где можно перейти на 100+ страницу. Ссылки недоступны для гостей

    При настройке проекта даже при подмене юзер-агента страница имеет другой вид, в результатах поиска в два раза меньше вакансий, на странице отображается 20штук вакансий и паджинация только до 100 страниц. Ссылки недоступны для гостей[​IMG] [​IMG]

    Помогите настроить максимальный сбор данных. Спасибо.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Я открываю этот сайт у себя в браузере и вижу 100 (по 20 ссылок на странице).

    Как вы добились, чтобы отображалось по 30 ссылок на странице, я не знаю. Следовательно, и решить этот вопрос не могу.

    Попробуйте передать ваши HTTP-заголовки в ctrl+h из Firefox, это должно решить проблему:
    2018-04-20_15-25-31.png
     
    asketus нравится это.
  3. asketus

    asketus Member Пользователи

    Регистрация:
    2 июл 2014
    Сообщения:
    60
    А каким браузером открываете? я firefox 59.0.2 64bit - и такой вид Ссылки недоступны для гостей
     
  4. asketus

    asketus Member Пользователи

    Регистрация:
    2 июл 2014
    Сообщения:
    60

    там две версии сайта, оказывается - новая и старая. въехал!
     
    Root нравится это.

Поделиться этой страницей