Библиотека Win и прокси

Тема в разделе "Решение различных задач по парсингу", создана пользователем dexperanto, 17 дек 2021.

  1. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    Здравствуйте.
    Парсю инсту через пост-запросы.
    Парсинг работает только через билиотеку win.
    Прокси в библиотеке win только без авторизации, то есть с привязкой к айпи.
    Есть поставщик проксей достаточно дешевых мобильных с хорошим качеством, но он не может сделать привязку к айпи.
    Собственно, вопрос, можно ли как-то заставить win дружить с проксями, где стоит авторизация?
    Уже подумывал о том, что типа какой-то прокси поставить, который будет брать пул от поставщика и без авторизации отдавать в cd.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Попробую сделать за неделю.
     
  3. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Здравствуйте
    ссылкой можете поделится на продавца проксей ?

    Могу подсказать как работать с прокси с авторизацией
     
  4. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    Отписал в тележку.
     
  5. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    Спасибо большое. Очень нужно.
    Уже давно мучаюсь из-за таких неудобств связки win + post + прокси с привязкой к ip.

    А можно ещё докрутить функцию, чтобы прокси не рандомно раздавались на все ссылки, а можно было выставить, чтобы линейно?
    Допустим, у нас 1000 ссылок и 5 проксей. Я выставляю, что на 1 прокси 20 ссылок.
    Парсер берет первые 20 ссылок, парсит их через первый прокси.
    Потом следующие 20 ссылок, парсит через второй прокси.
    И так по кругу.

    Очень нужно такое для мобильных проксей, когда есть ротация айпи:)
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Простите за долгий ответ.

    Нашел способ, как парсить через такие прокси.

    Можете написать мне.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
     
    Последнее редактирование: 24 дек 2021
  7. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    По возможности, если работает корректно - выложите в открытый доступ, т.к. актуально будет для многих я думаю (в т.ч. и для меня)
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Сегодня брал на тест мобильный прокси.

    Выявил, что даже в браузере через мобильный прокси (в некоторых случаях) страница бесконечно находится в процессе загрузки (даже если весь ее код уже получен).

    Предполагаю, что проблема в некорректной передаче заголовков ответа от мобильного прокси (т.е. принимающая сторона не видит, что передача данных завершена и ждет ответ дальше).

    При использовании НЕ мобильных прокси такой проблемы замечено не было.

    Выход - использовать WBAppCEF для парсинга через мобильные прокси. В списке событий WBAppCEF есть возможность установить максимальное время ожидания для выполнения запроса.

    На днях выпущено обновление WBAppCEF. Теперь через него можно также быстро парсить, как и через обычную библиотеку запросов. Подробнее об этом читайте здесь Ссылки недоступны для гостей
     
    TeslaCo нравится это.

Поделиться этой страницей