Слишком медленная скорость прокси в программе

Тема в разделе "Прокси для парсинга", создана пользователем sten30, 2 июн 2019.

  1. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Программа работает в 50 потоков
    Отбираем прокси откликающиеся за 6 секунд
    прямой компьютер грузит 2 документа в секунду
    его скорость в 12 раз больше
    но прокси больше в 50 раз
    Значит они должны работать как 4 обычных и грузить 8 документов в секунду

    Фактически 50 потоков прокси грузят 0,2 документа
    один прямой компьютер грузит 2 документа в сек
    значит один быстрее пятидесяти в 10 раз

    Сколько секунд грузит один прокси?
    0,2 разделить на 50 = 0,004 документа в секунду
    Значит целый документ прокси грузит 250 секунд

    Почему такая разница фактической скорости прокси от расчетной?
    4 минуты не может документ грузиться.
     
    Последнее редактирование: 2 июн 2019
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Приложите проект со списком прокси для тестов.
     
  3. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    Ссылки во вкладке key , Прокси во вкладке key2
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10000 постов.**
     
    Последнее редактирование модератором: 3 июн 2019
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Там на каждый документ идет по 2 мегабайта фотографий.

    В браузере через прокси код WEB-страницы приходит быстро, а фото уже постепенно догружаются (или вообще не загружаются, пока на них не кликнешь), программа скачивает все нужные фото сразу, отсюда и разница в скорости.

    2019-06-03_15-23-59.png
     
    Последнее редактирование: 3 июн 2019
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Кажется нашел, куда еще "упирается" в процессе скачивания картинок. Постараюсь позже отписаться.
     
    Последнее редактирование: 3 июн 2019
  6. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    228
    У меня ограничение в проекте на 11 файлов фото. Это 1 мегабайт в среднем.
     

Поделиться этой страницей