Где лучше всего купить прокси?

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем SequelONE, 28 апр 2017.

Статус темы:
Закрыта.
  1. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Здравствуйте, программа перестала быстро собирать ссылки. Причина скорее всего в черезмерной любвиобильности запросов к сайту донору. Подскажите где лучше всего купить прокси сервера? Кто чем пользуется?
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
  3. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Спасибо, но не раскрыт вопрос сколько нужно прокси-серверов? Какой оптимальный вариант для парсинга видео с youtube?! У меня первые 400 ссылок шустро обработало, а оставшиеся 400 ни в какую, до 20 часов время оставшееся доходило и это только сбор ссылок, которые я так и не собрал полностью.
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Вы уверены, что у вас все правильно настроено?
    Обычно чем больше - тем лучше. Нет четких граней что тут надо 1 прокси или 100.
    Скорее всего у вас что-то в проекте не так настроено. Что происходит при нажатии в проекте комбинации ctrl+k? Возможно вам и не прокси нужны, а просто банально авторизироваться. И чем больше вопросов, тем меньше ответов.
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Kreol нравится это.
  6. SequelONE

    SequelONE New Member Пользователи

    Регистрация:
    27 апр 2017
    Сообщения:
    63
    Как настроить сбор ссылок с ютуба? 7к ссылок собирает до 24 часов, это же не нормально?! Канал есть 100 Мб в сек у коллеги, а у меня 16 Мб в сек, как мне настроить это дело? Прокси в 100% случаев помогают мощность парсинга увеличить? Может есть какие-то секретные настройки?
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Это вы откуда такую информацию взяли?
    Обычно прокси только тормозят процесс, причем обеими ногами.
    Но это не касается элитных и дорогих проксей у которых uptime 98-100%
    Так вы же уже настроили вроде? вопрос не ясен.
    1) это зависит от того что настроено и как
    2) это сильно зависит от вашего интернета
    Секретных настроек нет, нужны просто знания
     
  8. lion

    lion New Member Пользователи

    Регистрация:
    19 янв 2013
    Сообщения:
    28
    Уважаемые, гуру парсинга!
    Root, kagorec, Kreol
    Кто парсил
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    ? Возможно доводилось, т.к. сайт крупный. Никак не получается нормально спарсить, постоянно ловлю "капчи", уже парсил на 2-3 потоках с таймингом 15 сек и все равно через некоторое время появляется "введите код". Брал публичные прокси , но они не годятся, даже написал парсер
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    с 5 минутным обновлением файла proxy.txt, но многие прокси попадают сразу в бан.

    Так же брал 10 покупных прокси но и с ними не пошло, некоторые прокси в программе не прошли проверку, а те 5 что прошли так же через некоторое время банились.

    Вопрос, это на сайте защита какая то особая ?
    почему спрашиваю, тот же
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    спокойно парсится, а тут никак не хочет. Если есть опыт парсинга этого сайта дайте совет, что бы зря не покупать прокси.
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Через socks5 в 100 потоков хорошо идет процесс, погонял минут 10 Ссылки недоступны для гостей
    Как видно на скрине 12 страниц в секунду, забаненных нет.
     
    lion и Root нравится это.
  10. lion

    lion New Member Пользователи

    Регистрация:
    19 янв 2013
    Сообщения:
    28
    Спасибо, за ответ! Может быть сканер сайта не сразу покажет забанили прокси или нет?.. Можно для проверки при парсинге контента парсить еще по границу - <h1>С вашего адреса или из вашей сети идёт слишком много запросов к...
    Тогда будет визуально видно что даже при малом количестве потоков и плавающим большим таймингом и при наличии прокси, хоть из паблика но с перепроверкой через каждые 100 ссылок, все равно сайт выдает свою "капчу"

    точно такой же результат и при парсинге без прокси, на нескольких потоках с большим таймингом по 20-30 сек.. Может быть там бан с привязкой не только по IP ?

    Тут 2 варианта или прокси из паблика не годятся и при нормальных прокси все будет нормально...
    или на сайте кроме проверки IP еще как то проверяется частое обращение... (((

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
     
    Последнее редактирование: 22 июн 2017
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Насколько я понимаю, есть прокси "прозрачные", есть прокси более "защищенные" (SOCKS-прокси). Используйте последние.
     
    lion нравится это.
  12. lion

    lion New Member Пользователи

    Регистрация:
    19 янв 2013
    Сообщения:
    28
    используются Socks 5 с Ссылки недоступны для гостей


    P.S.

    Где то что то баниться еще, потому что отключив прокси получаю капчу, но при этом с браузера заходит нормально (браузер хром, без впн и и тд)

    Предполагаю что кроме прокси возможно бан определяется еще по какому то параметру. Может в чем то еще причина.. Хотя какая то странная ситуация, первый раз с таким сталкиваюсь
     
    Последнее редактирование: 22 июн 2017
  13. lion

    lion New Member Пользователи

    Регистрация:
    19 янв 2013
    Сообщения:
    28
    Аналогичная ситуация с сайтом
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    . Товарищи, подскажите как парсить. на 1 потоке с таймингом 15 сек, точно так же получаю бан
    Программе не удалось загрузить WEB-страницу (HTTP/1.1 429 Too Many Requests)
     
  14. klooo4a

    klooo4a New Member Пользователи

    Регистрация:
    2 янв 2018
    Сообщения:
    1
    Город:
    cherkasy
    Привет всем
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 500 постов.**
    мне постоянно нужны хорошие прокси.Найти бесплатно рабочие прокси очень тяжело, да и если найдете то качество не очень, поэтому я покупаю их здесь buy.fineproxy.org
     
    Последнее редактирование модератором: 3 янв 2018
  15. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    429 Too Many Requests это уже вы положили вконец, надо ждать пока поправят и только потом в 1 поток и с паузой больше чем была. Других вариантов нет
     
  16. Igor

    Igor Active Member Пользователи

    Регистрация:
    13 янв 2017
    Сообщения:
    125
    Могу предложить аренду прокси!
    Без пароля, от 7 000 до 15 000 тыс. в списке - 500 руб на 6 мес.
    Vip - с лог и паролем или с привязкой по ip на 3 адреса 85 руб. за 1 шт.
     
    Root нравится это.
  17. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Без пароля паблик списки? Как с надёжностью?

    За 85 руб. будет гугл работать? 85 руб. тоже на 6 мес.?
     
  18. Igor

    Igor Active Member Пользователи

    Регистрация:
    13 янв 2017
    Сообщения:
    125
    за 500 руб на 6 мес предоставляется ссылка на прокси, с открытым доступом на 3 ip адреса (50 рублей демо доступ на 1 день)
    Vip - с лог и паролем или с привязкой по ip на 3 адреса 85 руб. за 1 шт.(аренда на 1 мес.)
     
    gans нравится это.
  19. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    На форуме давно есть тема где предлагается список прокси сервисов
     
    Root нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей