Парсинг сайта с редиректом

Тема в разделе "Общее", создана пользователем Duck83, 6 июн 2018.

  1. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    Есть список ссылок для парсинга. При переходе на страницу в браузере CD, через несколько секунд происходит редирект на сторонний ресурс. Так вот, мне необходимо спарсить тайтл до того, как произойдет редирект. Можно как-то такое реализовать или как-нибудь отключить редиректы в CD или еще какой-нибудь вариант, чтобы добиться результата?
     
  2. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Добрый день.
    В окне ctrl+h есть настройки для работы с редиректом. Протестировать я их не могу, т.к. вы не предоставили источник для парсинга.
     
  3. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    убрал чекбокс с "обрабатывать редиректы", вроде, как заработало. Но есть еще нюанс - ссылки, содержащие символ å, не распознает, выдавая ошибку "Программе не удалось загрузить WEB-страницу (HTTP/1.1 404 Not Found)". В кодировке стоит auto.
     
  4. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Вы уже задавали этот вопрос на форуме. Ответ получили следующий:
    Воспользуйтесь поиском для более подробной информации:
    Ссылки недоступны для гостей
     
  5. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    у меня лицензионная windows 8.1, без всяких модификаций и тд.
     

Поделиться этой страницей