Проблема с парсингом ссылок (некоторые ссылки пропускаются)

Добрый вечер!
Столкнулся с интересной проблемой, решения на форуме и в системе помощи не нашел.

При парсинге ссылок наступает определённый момент, когда ссылки по заданному списку адресов перестают собираться, хотя по тем адресам они есть. Судя по логу, причина "не найдено ни одной НОВОЙ ссылки". Однако, если делать паузу после каждых 2000 собранных ссылок, такая проблема частично пропадает, хоть и не полностью, и получается спарсить в несколько раз больше ссылок, чем без пауз.
Проблема, конечно, решается сохранением из лога адресов, из которых не были собраны ссылки, с повторением этого процесса до тех пор, пока по всем адресам не пройдёт парсинг, однако, это такая себе автоматизация =)

Проект прилагается. Скриншот лога:
Ссылки недоступны для гостей

 

Здравствуйте.