Как парсить, если страницы сайта долго генерируются?

Привет!
На сайте большая часть страниц генерируется 10-20 секунд, за это время CD обозначает их как страницы которые не удалось загрузить и убегает дальше. Но если я вручную в браузере вставляю такие ссылки, то сайт вначале долго не отвечает (примерно 10 секунд), а потом прогружает страницу как надо. Как правильно настраивать такой парсинг?

Прилагаю скрин с настроками на данный момент. Спасибо!

 

Здравствуйте.

За Connect и Read Timeout отвечает этот параметр: