Как парсить, если страницы сайта долго генерируются?

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем AndreAndre, 9 июн 2019.

  1. AndreAndre

    AndreAndre New Member Пользователи

    Регистрация:
    26 май 2019
    Сообщения:
    2
    Привет!
    На сайте большая часть страниц генерируется 10-20 секунд, за это время CD обозначает их как страницы которые не удалось загрузить и убегает дальше. Но если я вручную в браузере вставляю такие ссылки, то сайт вначале долго не отвечает (примерно 10 секунд), а потом прогружает страницу как надо. Как правильно настраивать такой парсинг?

    Прилагаю скрин с настроками на данный момент. Спасибо!
     

    Вложения:

  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    11.455
    Здравствуйте.

    За Connect и Read Timeout отвечает этот параметр:

    2019-06-09_10-44-59.png
     
    AndreAndre нравится это.

Поделиться этой страницей