Парсятся не все ссылки

Здравствуйте, подскажите пожалуйста, год назад проект парсил все корректно.

Сейчас на выходе в CSV такая информация, т.е. парсит примерно каждый пятый товар:


В предварительном просмотре при этом все отображается корректно. Пробовал и с большими задержками парсить, и через прокси, но результат одинаковый все время.

Проект прикрепил.

 

Здравствуйте.

Уберите из списка те User Agent, с которыми данный сайт не работает.

Эту информацию нужно анализировать в логе парсинга (ctrl+l).