Упала скорость парсинга

Тема в разделе "Решение проблем с использованием программы", создана пользователем Drabadan, 28 апр 2015.

  1. Drabadan

    Drabadan New Member Пользователи

    Регистрация:
    28 апр 2015
    Сообщения:
    2
    До недавнего времени Стояла windows 7 и при парсинге сайта в 50 потоков у меня парсило где то 15-18 документов в секунду. Вчера переустановил windows, поставил windows 8. Переустановил и CD. Загрузил тот же проект, поставил парсинг в 50 потоков и скорость парсинга заметно упала на 1 -2 документа в секунду. Прошу помощи.
     
    Drabadan, 28 апр 2015
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Win8 это зло, возвращайте 7-ку и будет вам счастье.
    1) Что происходит в самом проекте?
    2) Возможно у вас стоит антивир?
    3) Какой стоит IE?
     
    Kreol, 28 апр 2015
    #2
  3. Drabadan

    Drabadan New Member Пользователи

    Регистрация:
    28 апр 2015
    Сообщения:
    2
    Проект парсит, но с меньшей скоростью. 2 документа в сек. Для меня это очень мало так как надо спарсить 80000000 документов.
    Антивира нет.
    IE стоял 10, при попытке поставить 11 выдает ошибку. Пробывал уже 3 IE поставить, без результатов.
     
    Drabadan, 29 апр 2015
    #3
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Сначало попробуйте самое простое решение - добавьте побольше User-Agent (сочетание клавишь ctrl+h)

    Что за необоснованные отзывы о Windows 8, пару месяцев как работаю на этой ОС, проблем не обнаружено только положительные качества.)
    Если проект не секретный, предоставьте под хайдом или в лс.

    п.с. предугадываю, два варианта не связанных с операционной системой: лимит подключений на один ip имеет сайт, либо при наличии роутера рестартните.
     
    Последнее редактирование: 29 апр 2015
    kagorec, 29 апр 2015
    #4
Similar Threads
  1. korteller

    Скорость парсинга ресурсов 0,2-0,5 документа в сек

    korteller, 2 ноя 2012, в разделе: Решение проблем с использованием программы
    Ответов:
    1
    Просмотров:
    1.629
    nikolas1612
    2 ноя 2012
  2. Jagger

    Скорость парсинга совсем упала 0-0,3 в среднем

    Jagger, 19 дек 2013, в разделе: Решение проблем с использованием программы
    Ответов:
    9
    Просмотров:
    2.187
    Root
    19 дек 2013
  3. алексей232

    как увеличит скорость скачивания??

    алексей232, 12 янв 2014, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    1
    Просмотров:
    964
    kagorec
    12 янв 2014
  4. Arless

    Падает скорость потоков

    Arless, 21 окт 2015, в разделе: Решение проблем с использованием программы
    Ответов:
    6
    Просмотров:
    1.033
    Arless
    21 окт 2015
  5. Yetty

    Как увеличить скорость парсинга?

    Yetty, 26 ноя 2015, в разделе: Парсинг во вкладке "Ссылки"
    Ответов:
    10
    Просмотров:
    2.948
    Duck83
    2 июл 2018
Загрузка...

Поделиться этой страницей