403 ошибка при парсинге сайта Autocompas ru

Тема в разделе "WBAppCEF", создана пользователем jeDauphin, 9 фев 2021.

  1. jeDauphin

    jeDauphin New Member Пользователи

    Регистрация:
    20 фев 2013
    Сообщения:
    91
    Подскажите, пожалуйста, WBAppCEF имеет какой-то кэш, который необходимо периодически подчищать?

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.535
    Город:
    Барнаул
    Здравствуйте.

    2021-02-10_08-01-34.png
     
    jeDauphin нравится это.
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.535
    Город:
    Барнаул
    403 ошибку может выдавать сайт из-за частых запросов к нему.

    Можно парсить в 1 поток и тогда такая ошибка не должна возникать.

    Я попробовал парсить этот сайт в 5 потоков. Спарсилось около 500 документов, описанную ошибку не увидел.

    Ссылки недоступны для гостей - справка по использованию прокси в WBAppCEF.

    В Chromium (что используется в WBAppCEF) поддерживаются не все виды прокси. Самый оптимальный тип прокси для выбора ipv4 socks 4. Но прогружать такой сайт (2 500 000 символов на 1 WEB документ) не совсем целесообразно браузером и через прокси.
     
    jeDauphin нравится это.
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.535
    Город:
    Барнаул
    Вот файл проекта, где подгрузка данных производится с помощью макроса PHP_SCRIPT (без использования браузера).

    2021-02-10_08-11-09.png

    Если нужно будет, зарядите список HTTP/HTTPS прокси для парсинга.
     

    Вложения:

    jeDauphin нравится это.
Similar Threads
  1. HELL
    Ответов:
    0
    Просмотров:
    1.381
  2. dmitriyan
    Ответов:
    0
    Просмотров:
    856
  3. Григорий86
    Ответов:
    3
    Просмотров:
    69.320
  4. ilgizon
    Ответов:
    4
    Просмотров:
    167
  5. knyazkovstudios
    Ответов:
    1
    Просмотров:
    161
Загрузка...

Поделиться этой страницей