Падают потоки сами

Тема в разделе "Решение проблем с использованием программы", создана пользователем Xpite, 5 апр 2019.

Метки:
  1. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Симпатии:
    19
    Парсю в 50 потоков с мобильными проксями от airsocks. Запускаю - скорость отличная, все идет в 50 потоков, через время смотрю - потоки сами падают. Потом все доходит до 1 потока и скорость никакущая. Жму стоп и старт заново и все опять идет в 50 потоков и со временем падает также. Что за глюк такой, как исправить? Спасибо!
     
    Xpite, 5 апр 2019
    #1
  2. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Симпатии:
    19
    Даже до 0 потоков упало за ночь. Программа просто остановилась... Раньше с таким не сталкивался
     
    Xpite, 6 апр 2019
    #2
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Симпатии:
    1.422
    Прокси смените на короткое время, чтобы сравнить или без прокси аккуратно 5 потоков - для проверки работы потоков.
    Пауза нормальна указана 100-3000 или неправильно в виде 3000-100 (в таком виде парсинг\сканер работает но падают потоки) ?

    п.с. это очень редкое явление, раз в два года если сталкивался и то по своей ошибке.
     
    kagorec, 6 апр 2019
    #3
  4. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Симпатии:
    19
    Пробовал менять потоки (ставить меньше) и паузу (1000 - 2000), не помогло, перезапускать программу и тд. Ща попробую прокси поменять, но там сложно проверить, мне Яндекс парсить надо, а он с другими проксями не парсится)

    Добавлено:
    Поменял прокси у них с адресов типа
    mt-2m-1.airsocks.in:порт
    на
    Ип адрес:порт

    не помогло :(
     
    Последнее редактирование: 6 апр 2019
    Xpite, 6 апр 2019
    #4
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Симпатии:
    1.422
    "Сменить прокси сервис" имел ввиду.
     
    kagorec, 6 апр 2019
    #5
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Здравствуйте, приложите проект со ссылками, где такая проблема есть.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    PS: С какой библиотекой парсите? (установлена в ctrl+h).
     
    Root, 7 апр 2019
    #6
    Xpite нравится это.
  7. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Симпатии:
    19
    Clever Suite HTTPS Prefset 2
    Отправил Вам на почту проект, он простейший (сбор сниппетов), там 4 порта в прокси мобильных, замена ип на них каждые 120 сек. Доступ сейчас с привязкой по ip, если нужно для проверки, могу прислать эти прокси по логину-паролю. 49 потоков вместо 50 становится уже через 3-4 минуты после старта.
    Спасибо!
     
    Последнее редактирование: 7 апр 2019
    Xpite, 7 апр 2019
    #7
  8. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Симпатии:
    19
    Попробовал prefset 1 и другие варианты внутри Clever internet Suite, все равно потоки падают...
     
    Xpite, 7 апр 2019
    #8
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Вышлите прокси на ту же почту. Проверить смогу через три дня.
     
    Root, 8 апр 2019
    #9
  10. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Симпатии:
    19
    Почему-то через авторизацию ошибка у этих прокси возникает, могу привязать Ваш ип адрес как будете свободны для проверки
     
    Xpite, 9 апр 2019
    #10
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    IP у меня динамический. Причем меняется очень часто.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 91 постов.**
    PS: У вас нет возможности временно снять ограничение по IP для прокси?
     
    Root, 10 апр 2019
    #11
    Xpite нравится это.
  12. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Симпатии:
    19
    Поставить по логину-паролю нет проблем, просто у меня почему-то ошибка в CD при таком парсинге
     
    Xpite, 10 апр 2019
    #12
  13. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Симпатии:
    19
    Отправил Вам на почту доступ к личному кабинету от прокси, там можно авторизацию по логину-паролю поставить или привязать свой ип (у меня именно такой вариант).
    Спасибо!
     
    Xpite, 11 апр 2019
    #13
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Спасибо.

    Увидел проблему, буду разбираться.
     
    Root, 12 апр 2019
    #14
    Xpite нравится это.
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Проблема была в [DATAENCODE] (выдавал ошибку из-за некорректных символов на входе).

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Root, 12 апр 2019
    #15
    Xpite нравится это.
  16. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    Симпатии:
    19
    Спасибо огромное!
     
    Xpite, 12 апр 2019
    #16
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Пожалуйста.
     
    Root, 12 апр 2019
    #17
Similar Threads
  1. babblosy

    Парсинг контента доходит до 0 документов в сек. но есть активные потоки

    babblosy, 7 мар 2013, в разделе: Решение проблем с использованием программы
    Ответов:
    7
    Просмотров:
    2.686
    fox
    16 ноя 2015
  2. meskalin

    Как парсить сами ссылки как контент в CSV

    meskalin, 10 окт 2013, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    2
    Просмотров:
    1.309
    Root
    12 окт 2013
  3. jeDauphin

    Виснут потоки при парсинге

    jeDauphin, 20 авг 2015, в разделе: Решение проблем с использованием программы
    Ответов:
    1
    Просмотров:
    670
    Root
    21 авг 2015
  4. qweeeraz

    Как отключить потоки?

    qweeeraz, 20 авг 2018, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    476
    Kreol
    29 авг 2018
  5. strateg2010

    При сборе ссылок на товары сканер сайтов и wbapp не видит сами товары

    strateg2010, 14 мар 2019, в разделе: Решение проблем с загрузкой WEB-страниц
    Ответов:
    7
    Просмотров:
    761
    strateg2010
    16 мар 2019
Загрузка...

Поделиться этой страницей