Принудительное включение типа прокси

Тема в разделе "Прокси для парсинга", создана пользователем kadishev1997, 3 мар 2021.

  1. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    287
    Здравствуйте! Столкнулся с такой проблемой:

    Есть список прокси, который распространяется на определенные сайты. Они имеют сразу 2 типа на 1 порт: HTTP(S) и SOCKS5. Отрабатывают по мере последовательности.

    На одном из сайтов (через библиотеку CIS) подключение только по SOCKS5. Загоняя прокси в программу, сталкиваюсь с ошибкой
    Если их же загнать в какой-нибудь ProxyFier, там выставить SOCKS5 - работает без проблем.
    Сами прокси имеют тип "Прокси:порт", без авторизации.

    Как-то можно принудительно включать обработку прокси через определенный тип (в этом случае SOCKS5) ?

    UP: Увидел, что некоторые программы, где можно использовать списки прокси, могут прописать "socks5://" в начале, чтобы принудительно вывести тип прокси

    И то же самое для HTTP

    Попробовал подобное в CD - не сработало. Есть возможность как-то добавить подобный функционал?
     
    Последнее редактирование: 3 мар 2021
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.306
    Город:
    Барнаул
    Здравствуйте.

    Вышлите личным сообщением два прокси для теста (один HTTPS, второй - SOCKS5).
     
  3. pers

    pers New Member Пользователи

    Регистрация:
    16 июл 2021
    Сообщения:
    7
    Город:
    city
    та же проблема
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 14000 постов.**
     
    Последнее редактирование: 16 июл 2021
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.306
    Город:
    Барнаул
    Проверил. Почему-то эти прокси не работают в программе. Причина мне неизвестна.
     
  5. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    287
    Здравствуйте! Вопрос снова стал актуальным.
    Нужно, чтобы определенный тип прокси (а именно SOCKS5) включался и работал в CD.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    При необходимости могу предоставить сервер, на котором работают проекты с данным типом прокси (отдельно дать список прокси не могу, т.к. они привязываются к IP-адресу)
     
    Root нравится это.
  6. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    287
    Дополнение к предыдущему посту: Сейчас протестировал еще пару вариантов платных (дорогих) прокси с одним из сайтов
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Он работает корректно с прокси только под библиотекой CIS с SOCKS5.

    Программа при загрузке кода выдает по сути 2 варианта ошибок:
    и такую
    Эти ошибки выдаются при условии, что прокси-листы (которые были куплены) предлагают использование сразу всех типов HTTP/HTTPS/SOCKS4/SOCKS5 , при этом нельзя сделать какой-то определенный выбор (т.к. видимо прокси автоматически подставляют нужный тип)
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.306
    Город:
    Барнаул
    Записал в TODO постараюсь на днях сделать.

    Вариант с добавлением типа прокси к строке с прокси подойдет?

    Типа
    Код:
    login:pass@ip:port[HTTPS]
     
  8. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    287
    Думаю да, в виде галочки принудительного выбора типа прокси или прописи вручную должно подойти.

    Либо такой вариант, который предлагал ранее в этой теме

     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.224
    Адрес:
    @kagorec
    Город:
    Riga
    Было бы хорошо, для более функционального парсинга, чтоб поддерживало мульти "тип" прокси из списка, где одновременно присутствуют несколько типов (прокси).
    Если тип прокси не указан, то стандартно считать как http/https
    Код:
    ip:port
    login:pass@ip:port
    Прокси Socks чтоб поддерживало как все популярные программы, в формате
    Код:
    socks4://ip:port
    socks4://login:pass@ip:port
    socks5://ip:port
    socks5://login:pass@ip:port
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.306
    Город:
    Барнаул
    Спасибо.

    Завтра к вечеру постараюсь сделать.
     
  11. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    287
    Тогда, может немного по другому:
    Если сейчас в актуальной версии программы все работает как есть в большинстве случаев хорошо (тип прокси определяется автоматически и сайты проходят корректно, и не важно HTTPS это или SOCKS4/5), то может в программу создать "галочку", которая будет добавлять принудительное включение функционала с вариантом от @kagorec
    Потому как подключение к сайтам через прокси с условием, что прокси поддерживают все типы (HTTPS/SOCKS4/5) - происходит в 90% случаев без проблем.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.306
    Город:
    Барнаул
    Здравствуйте.

    Хорошо бы еще реализовать проверку каждого прокси по всем типам (HTTP, SOCKS4, SOCKS5), но это пока не успел сделать.
     
  13. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    710
    Бало-бы неплохо, реализовать прокси чекер в виде отдельного приложения, как CSV редактор.
    с возможностью подгрузки ip для проверки, по списку, а сам список может содержать:
    - url страницы с прокси (+ задавать regex правила извлечения проксей, т.к. сайты имеют разную верстку )
    - ссылку на локальный файл с прокси
    - строки в виде ip:port

    + Расписание в котором можно задать гибки график проверки
     
    kadishev1997, kagorec и Kreol нравится это.
  14. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    287
    Обновил программу, попробовал подключить SOCKS5 к сайту
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    , не проходят, выдает ту же ошибку, о которой писал ранее
    Протестировал на дорогих, приватных прокси от 2 разных сайтов.
    Может, чего-то не доглядели в обновлении? При необходимости, могу предоставить доступы к прокси
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.306
    Город:
    Барнаул
    Напишите в Whatsap/Telegram
    Код:
    +79833813211
     

Поделиться этой страницей