Как устранить, дублирование по несколько раз при обход ссылок?

Запускаю программу Content Downloader, ставлю 5 потоков
Вставляю список ссылок (элементы к обработке)
При обходе ссылок, парсятся страницы и отправляется а базу данных

Но при обходе ссылок очень часто по несколько раз парситься страница и в базу идет несколько одинаковых записей

Например:
"id" - "title"
----------------
"1" - "один"
"2" - "два"
"3" - три"
"4" - три"
"5" - три"
"6" - четыре"

Как это можно устранить?

 

Проблема решена, точнее её не было. Удалите пожалуйста топик.