Получение заголовков запроса из CEF через прокси

Тема в разделе "WBAppCEF", создана пользователем Octavian, 27 мар 2020.

  1. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Здравствуйте
    Настроил автоматическое получение заголовков запроса из CEF с помощью группы макросов GETREQUESTHEADERS и соответствующих опций в окне авторизации.
    Айпи сервера на сайте заблочен, поэтому использую прокси, но при вызове CEF прокси не используется, соответственно получение заголовков невозможно.
    Можно ли добавить опцию на выбор работать через прокси при получении заголовков (или даже без выбора, а со встроенной опцией на ваше усмотрение)?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В авторизации методом POST есть возможность использовать прокси.

    Опцию такую пока не могу добавить.
     
  3. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Здравствуйте еще раз
    Проблему сабжа решил с помощью связки proxifier и мобильных динамических проксей.
    Есть предложение добавить вызов получения заголовков по событию. Некоторый процент запросов через CEF обрабатываются некорректно по разным причинам и при парсинге цикла гет запросами до следующего вызова CEF через заданное количество линков, получается холостой пробег с урезанным кодом.
    Мне кажется что лучшим решением был бы отдельный макрос который бы вызывался после проверки например если граница парсинга N раз загрузилась пустая.
    Если это технически возможно, пожалуйста возьмите на заметку. Решение будет очень актуальным при парсинге подобных сайтов с объемом в сотни тысяч ссылок.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Обратите внимание на опцию периодического автоматического запуска WBAppCEF для получения заголовков.

    2020-04-01_09-48-13.png
     
  5. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Здравствуйте еще раз
    К сожалению, периодический запуск не подходит, правильные заголовки передаются в 1 из 5 случаев, остальные циклы будут парсить впустую.
    Проблему помог бы решить макрос перезапуска процесса парсинга по результатам проверки границы. Имею в виду не приостановка парсинга и возобновление, а именно перезапуск проекта с перезагрузкой памяти. Тогда при включенной опции автоматического запуска WBAppCEF он бы вызывался в начале парсинга.
     

Поделиться этой страницей