Не загружаются страницы при парсинге

Discussion in 'Решение проблем с загрузкой WEB-страниц' started by hostbox, Apr 19, 2019.

  1. hostbox

    hostbox New Member Пользователи

    Joined:
    Jun 23, 2014
    Messages:
    7
    Сайт Ссылки недоступны для гостей

    В фунции "авторизации с помощью передачи cookies...." сайт открывается, контент показывается, куки сохраняются.

    Как только я пытаюсь загрузить эту же страницу в парсере контента - возникает ошибка "Socket Error # 10054 Connection reset by peer" и соответственно контент не загружается, границы не отрабатывают.

    Не пойму в чем проблема. Помогите.

    UPD: запилил видео проблемы:
     
    Last edited: Apr 19, 2019
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    Ваш IP заспамился
     
  3. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Ctrl+h библиотека WIN?
     
  4. hostbox

    hostbox New Member Пользователи

    Joined:
    Jun 23, 2014
    Messages:
    7
    INDY: Ссылки недоступны для гостей

    Почему тогда сайт открывается в разделе "авторизации с помощью передачи cookies...." на тех-же страницах?
     
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Попробуйте поставить библиотеку WIN в окне ctrl+h, как намекнули выше. Проверил, с ней работает.
     
  6. inotoxic

    inotoxic Well-Known Member Пользователи

    Joined:
    Sep 13, 2015
    Messages:
    874
    cookie передаются POST запросом

    А как вы настраивали границы парсинга ?
    При настройке же отображалось содержимое ?
     
    Root likes this.
  7. hostbox

    hostbox New Member Пользователи

    Joined:
    Jun 23, 2014
    Messages:
    7
    Поставил библиотек WIN (beta). Ситуация аналогичная первому топику.

    Границы я настраивал давно, неделю назад, тогда все работало. Потом я попарсил - сайт мой ip забанил. Я сижу сейчас с VPN.

    UPD: сейчас парсит с такими настройками: Ссылки недоступны для гостей
    но ОЧЕНЬ медленно, что меня не устраивает
     
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Приложите проект с включенной библиотекой WIN.
     
  9. hostbox

    hostbox New Member Пользователи

    Joined:
    Jun 23, 2014
    Messages:
    7
    Ссылки недоступны для гостей - проект
    через VPN точно такая-же история, как в первом посте, через браузер Хром сайт открывает.
    без VPN вообще сайт нигде не загружается, ни в браузере Хром, ни в каком окне CD
     
  10. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Все нормально, данные загружаются.

    2019-04-25_20-16-13.png
     
  11. hostbox

    hostbox New Member Пользователи

    Joined:
    Jun 23, 2014
    Messages:
    7
    У меня на библиотеке WIN не загружаются при парсинге. Я пользуюсь CD уже лет 5 с перерывами. Всегда тоже все загружалось, а тут сайт по IP забанил и перестало (причем только при парсинге; при авторизации сайт загружается). Вот и спрашиваю совета.
    UPD: Напомню, все описываемое поведение программы при включенном VPN. Без VPN вообще сайт нигде в системе не открывается
     
    Last edited: Apr 26, 2019
  12. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Если не загружается из-за бана, используйте прокси.
     
  13. hostbox

    hostbox New Member Пользователи

    Joined:
    Jun 23, 2014
    Messages:
    7
    Переключил режим VPN на L2TP/IPsec - и CD заработал на всех библиотеках.

    Какой вывод: CD в режиме авторизации заходит на сайт через VPN, а в режиме парсинга - по-другому минуя VPN. Соответственно через VPN страница загружается, а минуя - не загружается.

    Проблема решена. Поведение CD не явное почему так.
     

Share This Page