Тормозит при сборе ссылок

Доброго всем времени суток!
Проблематика следующая, при работе сборщика ссылок (поток 1) через какое-то время начинаются жуткие тормоза, почему-то растет нагрузка на систему, конкретно на проц, и сбор ссылок очень затягивается.
Подскажите, возможно из-за своего дилетантства неправильно что-то настроил, на что обратить внимание?!
Спасибо.

 

Здравствуйте.

Пожалуйста, уточните, что имеете ввиду под "сборщиком ссылок".

"Какое-то время" - это сколько?

Сколько ссылок собрано до появления "тормозов"?

Желательно приложить проект (меню - файл - сохранить проект).

Спасибо!

 

Извините, сканер сайтов будет правильнее наверно.

 

Спасибо за уточнение. Но без деталей (что я спросил выше), а главное, без файла проекта, очень сложно разобраться в проблеме (так как у нас такого эффекта не наблюдается).

 

При работе сканера сайтов, тормоза начинаются примерно после 15 000 собраных ссылок

 

Могу приложить бекап, но он весит много уже, третий день собирает ссылки

 

Спасибо, поставили тестировать.

И еще пара моментов:
1) На сколько процентов занято ядро процессора, когда "тормозит"?
2) Сколько ссылок в очереди, когда "тормозит"?
3) Какие ссылки обрабатывает, когда "тормозит" (приостановить работу сканера, выделить 20-30 ссылок списка очереди (shift+click), нажать правую клавишу мыши и в контекстном меню выбрать пункт "скопировать выделенное").

 

Загрузка проца скачет 50 -90 %
К сожалению не засек сколько было ссылок в очереди на тот момент, сейчас найдено 24382 ссылок, в очереди порядка 227001 ссылок.

 

Спасибо, буду пробовать. Но мне казалось что сканер сайтов для этого и существует, иначе зачем его надо было делать....

 

Спасибо за развернутые ответы, все предельно понятно, буду пробовать!
Но червячок в голове все равно спрашивает, а что же все таки со временем так затормаживает работу программы?=)

 

Список "пройденных" ссылок в памяти программы постоянно растет. На каждой WEB-странице может до нескольких тысяч ссылок. Список растет - растет время проверки каждой добавляемой ссылки на дубль (была такая ссылка "пройдена" или нет).

 

Ну я собственно так и подозревал, что просто нужно стараться сокращать количество сылок, буду тренироваться. Спасибо.

 

kagorec по вашим настройкам товар ищет не правильно попробуйте сами войти по ссылкам которые создались. Я тоже столкнулся с проблемой торможения компьютера, пробовал как советует kagorec и заметил, что при таком парсинге находится меньше ссылок.