Как отключить обработку редиректов при парсинге

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем User123, 1 май 2021.

  1. User123

    User123 New Member Пользователи

    Регистрация:
    23 май 2015
    Сообщения:
    51
    Парсинг через библиотеку WIN

    например есть страница site/1

    но если открыть эту страницу то сработает редирект на site/2


    если начать парсить страницу site/1, то спарсится страница site/2

    как можно отменить передачу данных то есть парсинг этой страницы, если произошел редирект?
     
  2. User123

    User123 New Member Пользователи

    Регистрация:
    23 май 2015
    Сообщения:
    51
    если возможно проблему решить, то возьму дополнительный ключ
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Нужно обновить программу до версии 11.1.1711150 (30.04.2021) (или новее).

    И отключить эту опцию

    2021-05-01_08-19-34.png
     
  4. User123

    User123 New Member Пользователи

    Регистрация:
    23 май 2015
    Сообщения:
    51
    с библиотекой WIN так не работает, всё равно проходит страница
    а Clever Internet Suite не парсится

    обновить еще надо. понял щас попробую


    или только с Clever Internet Suite работает?
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нужно обновить.

    Если не сработает, выложите под хайдом ссылку с редиректом и без редиректа. Проверю.
     
  6. User123

    User123 New Member Пользователи

    Регистрация:
    23 май 2015
    Сообщения:
    51
    обновил.
    я для проверки ставлю 3 ссылки которые редиректятся

    запускаю

    и сразу на 1 документе парсинг зависает. время - "прошло" растет и на другую не переходит
     
  7. User123

    User123 New Member Пользователи

    Регистрация:
    23 май 2015
    Сообщения:
    51
    редирект
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 9223372036854775807 постов.**
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    По предоставленной ссылке HTTP редиректа нет. Браузер редиректит.

    По HTTP запросу приходит такой ответ
    2021-05-01_09-11-26.png

    Предоставьте ссылку где нет "редиректа". Попробую найти решение.
     
  9. User123

    User123 New Member Пользователи

    Регистрация:
    23 май 2015
    Сообщения:
    51
    вроде всё заработало, если что обнуружу сообщу
    потестирую
     
  10. User123

    User123 New Member Пользователи

    Регистрация:
    23 май 2015
    Сообщения:
    51
    оплатил еще доп ключ
     
    Root нравится это.
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо. Выслал...
     
  12. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    Столкнулся с подобной проблемой. При имитации клика через WebappIE, происходит редирект по рекламе на доноре. Пробовал отключить редирект, а также все существующие библиотеки, но не помогает. Помогает только отключение выполнение скриптов, однако без этого невозможно выполнить изначальную задачу по парсингу. Можете подсказать решение?
     

Поделиться этой страницей