Получение заголовков запроса из CEF через прокси

Тема в разделе "WBAppCEF", создана пользователем Octavian, 27 мар 2020.

  1. Octavian

    Octavian Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    159
    Здравствуйте
    Настроил автоматическое получение заголовков запроса из CEF с помощью группы макросов GETREQUESTHEADERS и соответствующих опций в окне авторизации.
    Айпи сервера на сайте заблочен, поэтому использую прокси, но при вызове CEF прокси не используется, соответственно получение заголовков невозможно.
    Можно ли добавить опцию на выбор работать через прокси при получении заголовков (или даже без выбора, а со встроенной опцией на ваше усмотрение)?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.478
    Здравствуйте.

    В авторизации методом POST есть возможность использовать прокси.

    Опцию такую пока не могу добавить.
     
  3. Octavian

    Octavian Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    159
    Здравствуйте еще раз
    Проблему сабжа решил с помощью связки proxifier и мобильных динамических проксей.
    Есть предложение добавить вызов получения заголовков по событию. Некоторый процент запросов через CEF обрабатываются некорректно по разным причинам и при парсинге цикла гет запросами до следующего вызова CEF через заданное количество линков, получается холостой пробег с урезанным кодом.
    Мне кажется что лучшим решением был бы отдельный макрос который бы вызывался после проверки например если граница парсинга N раз загрузилась пустая.
    Если это технически возможно, пожалуйста возьмите на заметку. Решение будет очень актуальным при парсинге подобных сайтов с объемом в сотни тысяч ссылок.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.478
    Здравствуйте.

    Обратите внимание на опцию периодического автоматического запуска WBAppCEF для получения заголовков.

    2020-04-01_09-48-13.png
     

Поделиться этой страницей