Падают потоки сами

Тема в разделе "Решение проблем с использованием программы", создана пользователем Xpite, 5 апр 2019.

Метки:
  1. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Парсю в 50 потоков с мобильными проксями от airsocks. Запускаю - скорость отличная, все идет в 50 потоков, через время смотрю - потоки сами падают. Потом все доходит до 1 потока и скорость никакущая. Жму стоп и старт заново и все опять идет в 50 потоков и со временем падает также. Что за глюк такой, как исправить? Спасибо!
     
  2. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Даже до 0 потоков упало за ночь. Программа просто остановилась... Раньше с таким не сталкивался
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Прокси смените на короткое время, чтобы сравнить или без прокси аккуратно 5 потоков - для проверки работы потоков.
    Пауза нормальна указана 100-3000 или неправильно в виде 3000-100 (в таком виде парсинг\сканер работает но падают потоки) ?

    п.с. это очень редкое явление, раз в два года если сталкивался и то по своей ошибке.
     
  4. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Пробовал менять потоки (ставить меньше) и паузу (1000 - 2000), не помогло, перезапускать программу и тд. Ща попробую прокси поменять, но там сложно проверить, мне Яндекс парсить надо, а он с другими проксями не парсится)

    Добавлено:
    Поменял прокси у них с адресов типа
    mt-2m-1.airsocks.in:порт
    на
    Ип адрес:порт

    не помогло :(
     
    Последнее редактирование: 6 апр 2019
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    "Сменить прокси сервис" имел ввиду.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте, приложите проект со ссылками, где такая проблема есть.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    PS: С какой библиотекой парсите? (установлена в ctrl+h).
     
    Xpite нравится это.
  7. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Clever Suite HTTPS Prefset 2
    Отправил Вам на почту проект, он простейший (сбор сниппетов), там 4 порта в прокси мобильных, замена ип на них каждые 120 сек. Доступ сейчас с привязкой по ip, если нужно для проверки, могу прислать эти прокси по логину-паролю. 49 потоков вместо 50 становится уже через 3-4 минуты после старта.
    Спасибо!
     
    Последнее редактирование: 7 апр 2019
  8. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Попробовал prefset 1 и другие варианты внутри Clever internet Suite, все равно потоки падают...
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вышлите прокси на ту же почту. Проверить смогу через три дня.
     
  10. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Почему-то через авторизацию ошибка у этих прокси возникает, могу привязать Ваш ип адрес как будете свободны для проверки
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    IP у меня динамический. Причем меняется очень часто.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 91 постов.**
    PS: У вас нет возможности временно снять ограничение по IP для прокси?
     
    Xpite нравится это.
  12. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Поставить по логину-паролю нет проблем, просто у меня почему-то ошибка в CD при таком парсинге
     
  13. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Отправил Вам на почту доступ к личному кабинету от прокси, там можно авторизацию по логину-паролю поставить или привязать свой ип (у меня именно такой вариант).
    Спасибо!
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо.

    Увидел проблему, буду разбираться.
     
    Xpite нравится это.
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проблема была в [DATAENCODE] (выдавал ошибку из-за некорректных символов на входе).

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Xpite нравится это.
  16. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Спасибо огромное!
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
     

Поделиться этой страницей