Падает количество потоков

Тема в разделе "Решение проблем с использованием программы", создана пользователем NikitoS, 11 июн 2015.

  1. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Здравствуйте!
    Столкнулся с проблемой при парсинге по такому проекту.
    Ставлю 50 потоков, программа какое-то время работает нормально, но через некоторое время (каждый раз по разному) начинается снижение количества потоков. Потоки снижаются пока программа не остановится полностью. Фактически парсинг не остановлен, процесс запущен, но т.к. потоков - 0, то соответственно программа ничего не парсит.
    Пробовал ставить CD на трех разных компьютерах, но эффект один. Вариант бана на сайте вряд ли имеет место быть, т.к. ссылки в базе на разные сайты. Брандмауэр полностью отключен, антивирусника на компьютере нет.
    Заранее благодарен за помощь!
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Простите, не увидел по ссылке упомянутого вами проекта, прошу предоставить.
     
  3. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1000 постов.**
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Простите, где ссылки? На чем тестировать? Список ссылок пуст.
     
  5. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Я использую функцию "парсинг большого количества web-документов", т.к. в базе несколько десятков миллионов ссылок. За раз подгружается по 50 тыс. ссылок. Раньше, до появления этой функции, разбивал базу на мелкие файлы (по 100 тыс.). Для теста приложу выборку из базы. В выборке около 850 тыс. ссылок, если не хватит для теста, я скину больше.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1000 постов.**
     
    Последнее редактирование: 11 июн 2015
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Потестировал - проблем не обнаружил.

    После того, как у вас опять потоков 0 станет, нажмите в программе: меню - сервис - текущие элементы при (парсинге во вкладке "контент") и скопируйте содержимое этого окна сюда на форум. Далее постараемся помочь. Спасибо!
     
  7. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Здравствуйте!

    Вот содержимое окна, которое вы просили:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1000 постов.**
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуйте парсить в 20 потоков. Документы большие, предположительно: не хватает выделенной программе памяти.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Также можете попробовать нажать ctrl+h и в поле "максимальное количество символов в загружаемом коде" поставить значение, скажем 220000.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Документы просто огромные:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  11. NikitoS

    NikitoS New Member Пользователи

    Регистрация:
    31 май 2012
    Сообщения:
    11
    Действительно, дело в огромных документах. Почистил базу от этого мусора, теперь процесс идет нормально на 50-ти потоках.

    Спасибо за помощь!
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста, обращайтесь.
     

Поделиться этой страницей