Ошибка в SSL-сертификатах

Тема в разделе "Решение различных задач по парсингу", создана пользователем artmastex, 21 сен 2024.

  1. artmastex

    artmastex New Member Пользователи

    Регистрация:
    21 сен 2024
    Сообщения:
    5
    Добрый день

    С помощью ChatGPT написал парсер, который выгружает мне изображения по папкам с сайта Ссылки недоступны для гостей
    На каждого персонажа выгружаю по 400 самых популярных и больших картинок, однако столкнулся с проблемой. Загрузка изображений работает только через VPN.

    Открываю изображение в браузере без VPN - всё ок.
    Открываю изображение в браузере под управлением webdriver вручную - всё ок.
    Скрипт скачивает изображение с VPN - всё ок.
    Стоит мне отключить VPN - скрипт не может скачать изображение ни в какую.

    [22780:13836:0921/013100.001:ERROR:ssl_client_socket_impl.cc(882)] handshake failed; returned -1, SSL error code 1, net_error -101

    Как я понял, ему не нравится что-то в SSL сертификатах, а вот как это исправить - ума не приложу. Пытался и куки внедрять перед загрузкой, и прокси (возможно, неверно использовал), но ничего не сработало. Может быть, у кого-то есть идеи, как эту напасть победить?

    P.s. Список ссылок приложил отдельным txt файлом. Пробовал и через Content Downloader скачивать, не получается, тоже в ошибку уходят файлы.
     

    Вложения:

  2. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    227
    А с этими настройками игрались?
    Снимок экрана 2024-09-22 211508.png
     
  3. artmastex

    artmastex New Member Пользователи

    Регистрация:
    21 сен 2024
    Сообщения:
    5
    Нет, можете подсказать, какие именно параметры стоит потыкать, а так же нужны ли ещё какие-нибудь настройки для корректной работы?
     
  4. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    227
    режим CIS попробуйте с. Preset1. Или preset 2. Или режим WIN
     
  5. artmastex

    artmastex New Member Пользователи

    Регистрация:
    21 сен 2024
    Сообщения:
    5
    Не срабатывает ни один из вариантов
     
  6. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    227
    При загрузке фото используется TLS v1.3 похоже CD вам тут не помощник.
     
  7. artmastex

    artmastex New Member Пользователи

    Регистрация:
    21 сен 2024
    Сообщения:
    5
    Есть идеи, как это можно обойти?
     
  8. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    227
    У вас вроде с питоном все срослось, используйте питон и впн, если скорость с впн не достаточная попробуйте прокси заморские.
     
  9. artmastex

    artmastex New Member Пользователи

    Регистрация:
    21 сен 2024
    Сообщения:
    5
    Есть проверенные источники хороших прокси?
     
  10. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    227
    тут не подскажу.
     

Поделиться этой страницей