Очень медленно парсит

Тема в разделе "Разное", создана пользователем Uriy_Web_D, 18 янв 2021.

?

Как быстро работает софт у Вас?

  1. менее 1 стр сек

    1 голосов
    100,0%
  2. между 1 и 2 стр сек

    0 голосов
    0,0%
  3. более 2 стр сек

    0 голосов
    0,0%
  4. 60 000 стр час

    0 голосов
    0,0%
  1. Uriy_Web_D

    Uriy_Web_D New Member Пользователи

    Регистрация:
    15 ноя 2019
    Сообщения:
    12
    Доброго времени суток, решил проверить выполненный прогон Хрумером, при помощи Content Downloader X1. Логика проста, мне прислали файл отчета с 54 000 строк. Я делаю Ссылки недоступны для гостей фильтрацию документов по списку кючей, страницы без ключа отфильтровываю - ключ, доменное имя.
    Настройки вот такие Ссылки недоступны для гостей Ссылки недоступны для гостей пробовал играть с количеством потоков, временем паузы ... ничего не помогает, начинает парс с 2-2.6 и падает минут через 5-10 до 0.3(
    Канал 250 мб.с не загружен совсем Ссылки недоступны для гостей проц не нагружен, памяти хватает. Прокси не использую.
    В чем может быть причина? Использовал поиск, подобных тем найти не смог. Помогите плз, завтра утром принимать работу, а времени на переобход не хватит(
    Заранее спасибо!
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Приложите файл проекта.
     
  3. Uriy_Web_D

    Uriy_Web_D New Member Пользователи

    Регистрация:
    15 ноя 2019
    Сообщения:
    12
    Спасибо, разобрался сам, была проблема в DNS провайдеров, заменил на гугловские.
     
    Root нравится это.

Поделиться этой страницей