Перестали работать прокси

Тема в разделе "Решение проблем с использованием программы", создана пользователем Valiks, 18 янв 2012.

Статус темы:
Закрыта.
  1. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    С момента последнего апдейта программы, исчезла возможность использовать прокси.
    Версия программы 27.77 от 17.01.2012

    Ввожу, как обычно, список прокси, идёт как бы проверка, но ни одного прокси в списке проверенных (то есть рабочих) не появляется. Проверяю на сторонних ресурсах,- прокси рабочие.

    Это только у меня так или у всех? И главное,- что делать?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Это ваш комментарий на сайте?

    Просто я прокси вообще не трогал, на такую ошибку никто не жаловался.
    Я только что проверял - все работает.
    У вас проски какие? Сокс 4, Сокс 5?
     
  3. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Нет, это не мой комментарий. Прокси все обычные, вот парочка для примера
    Код:
    198.164.129.13:80
    cert.www.lawson.com:80
    nstip.kacst.edu.sa:80
    newtony3.webair.com:8080
    203.177.115.6:80
    dev.www.lawson.com:80
    certowa.lawson.com:443
    222.88.95.77:80
    82.116.220.10:80
    223.4.21.108:80
    Со вчерашней ночи перестало работать, примерно после того как обновил программу
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Точно, спасибо!
    За час постараюсь решить проблему...
     
  5. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Ночь на дворе, отдыхайте, мы можем до утра потерпеть
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Content Downloader версии 27.87 (19.01.2012):

    - Исправлен прокси-чекер;
    - Доработана функция сохранения проекта;
    - Несколько доработок.

    Прошу проверить...
     
  7. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Проверка

    Вот неугомонный, не спится ему (как и мне)
    - чекер работает. Правда, на последнем ip очень долго сидит, т.е. когда остаётся одно ip виснет, долго думает, и так и не сообщает ничего.
    Было набрано 30 ip
    При повторной задаче прочекить - оставшиеся после первой проверки 25, прочекалось всего 3 ip, однако, и при этих 3-х программа их не воспринимает как нормальные, то есть страница не загружается.

    - При нажатии на Ctrl+S сохранение происходит сразу, без того, чтобы выводилось окно. Это не очень хорошо, на мой взгляд, потому что можно случайно перезаписать какой-то другой проект, название которого было набрано раньше. Лучше, чтобы выводилось окошко, и спрашивало название. При нажатии на кнопку меню,- "сохранить как" окошко выводится.

    - несколько доработок,- не проверял...
     
    Последнее редактирование: 19 янв 2012
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Когда вы начнете новый проект (Ctrl+N), при нажатии Ctrl+S программа спросит имя файла. Когда загружаете проект, имя файла (куда будет сохраняться проект при нажатии Ctrl+S) берется из пути загруженного проекта. Перезаписи исключены!

    Чекер работает нормально, добавляйте в него более-менее бодрые сервера, от которых всегда будет приходить ответ и он их будет принимать исправно. Если хотите, чтобы программа не сидела на последнем IP (по дефлоту 20 секунд в случае не ответа прокси-сервера), уменьшите значение readtimeout.
     
  9. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Чекер работает нормально

    В программе очень многие моменты работают нестандартно, приходится прибегать к ухищрениям, чтобы как-то сэкономить время. К сожалению, я, к примеру, новый проект открываю не через (Ctrl+N), а открыв какой-нибудь старый проект, его переделываю. Вот тут и будет заложена мина. Переделаешь, нажмёшь Ctrl+S по инерции и всё.

    Прокси всё время брал из одного и того же места, и всегда всё работало исправно, за исключением вот вчерашнего или позавчерашнего инцидента. И, именно вчера (этой) ночью, видимо, что-то вот не срасталось. Сейчас проверил,- работает. Бывают же такие совпадения.

    В общем, работает всё

    Как-то странно, но виснет именно при проверке последних одного-двух прокси, реже трёх. Неужели все "бодрые" прокси в моих списках всегда находятся только в начале списка?
     
    Последнее редактирование: 19 янв 2012
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Виснет на последних, потому что он сначала быстрые обрабатывает. Дохлые и медленные он же завершает последними.
    Еще раз говорю, используйте нормальные прокси и никаких проблем как у вас не будет. Слабый прокси может ответить 1 раз, а второй нет...
     
  11. Diomidov

    Diomidov New Member Пользователи

    Регистрация:
    24 мар 2011
    Сообщения:
    6
    А при сканере ссылок прокси используются?
    Просто гугл банит "Мы зарегистрировали подозрительный трафик, исходящий из вашей сети. С помощью этой страницы мы сможем определить, что запросы отправляете именно вы, а не роботМы зарегистрировали подозрительный трафик, исходящий из вашей сети. С помощью этой страницы мы сможем определить, что запросы отправляете именно вы, а не робот"
    Использую соксы но гугл банит мой локальный IP
    а парсинг идет с капчёй и не останавливается.В итоге утром поднимаюсь а ссылок на половину спарсилось(
    Может антигейт прикрутить, былоб удобнее.
     
    Последнее редактирование: 19 янв 2012
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Капчу вводить во вкладке "контент" - кнопка "авторизация/cookies" (затем передать куки).
    Похоже у вас бесплатные прокси (которые часто уже в бане) или их у вас просто недостаточное количество...
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если у вас есть время, то c Google лучше в 1 поток и с паузой. Тогда нужда в прокси отпадает.
     
  14. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Теперь понятно

    А где брать эти "нормальные" прокси? Спрашивал даже на платных ресурсах, там гарантия такая же как и на бесплатных, с той только разницей, что деньги берут, и могут отобрать по региональтному признаку, а на бесплатных то же самое но бесплатно. Мне говорили, что один прокси ПЛАТНЫЙ может проработать 5 минут, а может час, а может и сутки. Гарантий никаких они не дают.
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Искать нормальные платные без авторизации (с привязкой по IP). Такие есть...
    Подсказать где найти их я не могу, так как прокси никогда не использую, просто видел как клиент Маркет парсит очень быстро с такими прокси...
     
  16. Diomidov

    Diomidov New Member Пользователи

    Регистрация:
    24 мар 2011
    Сообщения:
    6
    А где при парсинге ссылок потоки выставлять?
    Кстати прокси платные с привязкой по IP
     
    Последнее редактирование: 20 янв 2012
  17. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Если знаете где взять нормальные прокси

    В разделе "Контент", чуть ниже поля куда вставляется путь на папку куда скачиваются спарсенное. Окошко "Потоки", окошко "Пауза"...
    Непонятно. Если знаете где взять нормальные прокси, дайте ссылку.
     
  18. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Добрый день. У меня точно такая же проблема, как у топикстартера.
    Прокси рабочие, абсолютно новые, но проверку по нужному сайту не проходят и данных не выдают.
    Сайт эти прокси не заблокировал, в браузере через них все открывается? Но как же его парсить тогда, если программа не срабатывает?

    Вот здесь подробнее - http://forum.sbfactory.ru/threads/ne-rabotajut-privatnye-proksi.8509/#post-49819
     
    Последнее редактирование: 11 апр 2020
  19. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Вы решили написать в теме 8 летней давности?))
    Кроме прокси надо еще пробовать менять библиотеку в Ctrl+h и там же добавить список актуальных юзерагентов.
     
Статус темы:
Закрыта.

Поделиться этой страницей