Proxy сервисы которые пригодятся для Content Downloader

Тема в разделе "Прокси для парсинга", создана пользователем kagorec, 5 фев 2017.

Метки:
  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Пожалуйста.

     
    Dimon_chik и Grafin нравится это.
  2. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Спасибо за видео.
    А чтобы прокси так быстро в бан не улетали, видимо лучше паузу между запросами делать?
    upload_2019-6-9_13-15-34.png
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Лучше добавить больше прокси.
     
  4. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Здравствуйте! Больше прокси, это сколько в цифрах?
     
  5. Grafin

    Grafin Member Пользователи

    Регистрация:
    14 ноя 2018
    Сообщения:
    130
    Город:
    Киров
    Это ж математика! Прикиньте через сколько времени прилетает бан, затем предполагаемое время "общения" с этим сайтом делите на время бана и получите количество необходимых прокси. Но лучше накинуть например 10-25%.
     
    Root нравится это.
  6. Dimon_chik

    Dimon_chik New Member Пользователи

    Регистрация:
    10 июн 2019
    Сообщения:
    28
    Математика- это точная наука в цифрах) А это моё второе сообщение на форуме, программой ни разу не пользовался, хотя бы гипотетически представлять о нужных количествах прокси
     
  7. kalit

    kalit New Member Пользователи

    Регистрация:
    25 май 2018
    Сообщения:
    1
    Город:
    Moscow
    20 proxy 10 потоков редко банят
     
  8. dfssss

    dfssss New Member Пользователи

    Регистрация:
    13 мар 2019
    Сообщения:
    1
    Город:
    wer
    от каждого конкретного случая зависит. некоторые не дают более 10-20и страниц посетить с 1 ip за 24 часа. недавно мне понадобилось 2k проксей чтобы спарсить 50k страниц
     
  9. Rust_Iskh

    Rust_Iskh New Member Пользователи

    Регистрация:
    24 апр 2020
    Сообщения:
    1
    Согласен
     
  10. Artres

    Artres New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    1
    Спасибо за большое количество информации
     
  11. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    106
    Город:
    Kiev
    А что лучше, когда сайт осень сильно следит за поведенческими факторами и без постоянного использования WBApp (где имитация прокрутки страницы, клики и т. д. на каждую ссылку) вообще ничего не показывает, а при малейшем подозрении на робота предлагает капчу?
    1. Как я сейчас делаю! - Парсить со своего ID в один поток, с паузами 5000-12000 - это примерно 1800 ссылок - 50 часов (2 суток)
    2. Добавить много прокси и увеличить потоки например до 5 и уменьшить паузу от 1000 до 5000 - скорость парсинга увеличится?
    3. Увеличить потоки, и уменьшить паузы, но постоянно (примерно через каждые 5-7 ссылок) кликать на капчу? - так скорость увеличится?

    Как лучше подскажите?

    Буду признателен за ответ!
     
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.988
    Город:
    Riga
    На 1800 ссылок, примерно 1000 прокси, запускайте в 50 потоков, в ctrl+h побольше useragents
     
    rusalex нравится это.
  13. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    106
    Город:
    Kiev
    Спасибо. Заманчиво. Но! Где столько взять прокси? Сайт не парсится вообще если включить ВПН или прокси другой страны, только там где находишься и все!
     
  14. rusalex

    rusalex Member Пользователи

    Регистрация:
    22 мар 2018
    Сообщения:
    106
    Город:
    Kiev
    Очень благодарен вам за подсказку...ране не обращал внимание на "useragents"... добавл их и все решилось, стало парсится в 10 потоков,добавил "клик по капче" и все 1% за 4 минуты!

    Вопрос! В качестве "useragents" для парсинга можно добавлять всех? в том числе и мобильные, и поисковые роботы? Или они для другого? Спасибо, очень помогли!
     
  15. berchuks

    berchuks New Member Пользователи

    Регистрация:
    1 фев 2013
    Сообщения:
    13
    o2proxy.com не рекомендую, медленные и дорогие. Плюс возврат средств не делают после отмены услуги ни на баланс ни куда (брал на месяц 500 прокси, в первый же час использования сделал отмену услуги, 15к рублей сгорели).
     
    kagorec нравится это.
  16. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.988
    Город:
    Riga
    Добавил ссылку на ваш отзыв в первый пост.
     
  17. vox88

    vox88 New Member Пользователи

    Регистрация:
    8 май 2020
    Сообщения:
    1
    Добрый день!
    С IPv6 проксями работает программа?
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Здравствуйте.

    Да, в актуальной версии библиотека Clever Internet Suite (CIS) по заявлению разработчиков поддерживает IPV6 прокси.
     

Поделиться этой страницей