Отваливаются прокси

Тема в разделе "Прокси для парсинга", создана пользователем customer77, 4 дек 2017.

  1. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    14
    Город:
    orenburg
    Купил прокси на o2proxy.com, 3 дня норм парсил.
    Потом прокси после паузы перестали добавляться в программу.
    Из 30 индивидуальных проксей добавится то 1, то 2, то ничего не добавится (при проверке).
    Проверял вручную в браузере - как минимум 10 из них работают и переходят на сайт, который ими парсю (bitcointalk.org).
    В чем может быть проблема? Почему прокси не схватываются?
     
  2. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
    Здравствуйте.

    Адрес рабочего прокси и его тип под хайдом выложите. Лучше список.
     
  3. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    14
    Город:
    orenburg
    HTTP
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
     
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
    Спасибо, буду разбираться.
     
  5. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2017-12-04_18-03-17.png
     
  6. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    14
    Город:
    orenburg
    Заменил, но проблема с прокси осталась
    Настроил как по скрину, вот мой:
    [​IMG]
     
  7. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
    На другом сайте попробуйте. На вашем сайте, видимо, прокси в бан успели улететь.
     
  8. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
  9. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
  10. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    14
    Город:
    orenburg
    Понял, спасибо
     
  11. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    14
    Город:
    orenburg
    Купил я новых проксей. В браузере нормально этот сайт открывается. А в прогу не добавляются

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    Добавляю не в этом формате, а по привязке к ip без логина и пароля

    Может Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! поставил какую то защиту на чек прокси до него? Это возможно?
     
  12. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
    Проверяю ваши новые прокси, не могу проверить:

    2017-12-04_23-47-25.png

    Гадать тоже не могу.
     
  13. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    14
    Город:
    orenburg
    Окей, где можно взять сейчас норм 20-30 рабочих прокси?
     
  14. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
    Сейчас попрошу господина Kagorec ответить в теме.
     
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    2.894
    Биткойнталк использует CDN Cloudflare, чтобы получить доступ то надо сначало пройти каптчу если прокси подозрительный.
    Парсинг через большое количество прокси здесь не получится. Обязательно через wbapp.

    п.с. через тор попробовал, как прошел каптчу то можно парсить.
     
    Последнее редактирование: 5 дек 2017
    customer77 нравится это.
  16. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Попробуйте парсить через библиотеку WIN (добавил для нее поддержку прокси без логина и пароля (с авторизацией по IP или без авторизации))

    2017-12-05_01-36-59.png
     
    customer77 и kagorec нравится это.
  17. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    14
    Город:
    orenburg
    Запарсило, спасибо!!!
     
    Root нравится это.
  18. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    2.894
    Какие действия с вашей стороны были опишите пожалуйста, интересно.
     
  19. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    14
    Город:
    orenburg
    Я поставил новый эксешник, который выложил Root и как по скрину поставил WIN. Сейчас на 20 проксях при 10 потоках 14-16 документов в секуду, как раз за 1 день спарсится вся нужная мне база.
    [​IMG]
     
    kagorec и Root нравится это.
  20. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    8.571
    Адрес:
    sbfroot@gmail.com
    Город:
    Краснодар

Поделиться этой страницей