Не загружаются страницы при парсинге

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем hostbox, 19 апр 2019.

  1. hostbox

    hostbox New Member Пользователи

    Регистрация:
    23 июн 2014
    Сообщения:
    7
    Сайт Ссылки недоступны для гостей

    В фунции "авторизации с помощью передачи cookies...." сайт открывается, контент показывается, куки сохраняются.

    Как только я пытаюсь загрузить эту же страницу в парсере контента - возникает ошибка "Socket Error # 10054 Connection reset by peer" и соответственно контент не загружается, границы не отрабатывают.

    Не пойму в чем проблема. Помогите.

    UPD: запилил видео проблемы:
     
    Последнее редактирование: 19 апр 2019
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Ваш IP заспамился
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Ctrl+h библиотека WIN?
     
  4. hostbox

    hostbox New Member Пользователи

    Регистрация:
    23 июн 2014
    Сообщения:
    7
    INDY: Ссылки недоступны для гостей

    Почему тогда сайт открывается в разделе "авторизации с помощью передачи cookies...." на тех-же страницах?
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуйте поставить библиотеку WIN в окне ctrl+h, как намекнули выше. Проверил, с ней работает.
     
  6. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    cookie передаются POST запросом

    А как вы настраивали границы парсинга ?
    При настройке же отображалось содержимое ?
     
    Root нравится это.
  7. hostbox

    hostbox New Member Пользователи

    Регистрация:
    23 июн 2014
    Сообщения:
    7
    Поставил библиотек WIN (beta). Ситуация аналогичная первому топику.

    Границы я настраивал давно, неделю назад, тогда все работало. Потом я попарсил - сайт мой ip забанил. Я сижу сейчас с VPN.

    UPD: сейчас парсит с такими настройками: Ссылки недоступны для гостей
    но ОЧЕНЬ медленно, что меня не устраивает
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Приложите проект с включенной библиотекой WIN.
     
  9. hostbox

    hostbox New Member Пользователи

    Регистрация:
    23 июн 2014
    Сообщения:
    7
    Ссылки недоступны для гостей - проект
    через VPN точно такая-же история, как в первом посте, через браузер Хром сайт открывает.
    без VPN вообще сайт нигде не загружается, ни в браузере Хром, ни в каком окне CD
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Все нормально, данные загружаются.

    2019-04-25_20-16-13.png
     
  11. hostbox

    hostbox New Member Пользователи

    Регистрация:
    23 июн 2014
    Сообщения:
    7
    У меня на библиотеке WIN не загружаются при парсинге. Я пользуюсь CD уже лет 5 с перерывами. Всегда тоже все загружалось, а тут сайт по IP забанил и перестало (причем только при парсинге; при авторизации сайт загружается). Вот и спрашиваю совета.
    UPD: Напомню, все описываемое поведение программы при включенном VPN. Без VPN вообще сайт нигде в системе не открывается
     
    Последнее редактирование: 26 апр 2019
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если не загружается из-за бана, используйте прокси.
     
  13. hostbox

    hostbox New Member Пользователи

    Регистрация:
    23 июн 2014
    Сообщения:
    7
    Переключил режим VPN на L2TP/IPsec - и CD заработал на всех библиотеках.

    Какой вывод: CD в режиме авторизации заходит на сайт через VPN, а в режиме парсинга - по-другому минуя VPN. Соответственно через VPN страница загружается, а минуя - не загружается.

    Проблема решена. Поведение CD не явное почему так.
     
Similar Threads
  1. Kreol
    Ответов:
    5
    Просмотров:
    694
  2. strelkovandrey
    Ответов:
    1
    Просмотров:
    471
  3. weresa
    Ответов:
    6
    Просмотров:
    874
  4. strelkovandrey
    Ответов:
    6
    Просмотров:
    668
  5. weresa
    Ответов:
    8
    Просмотров:
    1.010
Загрузка...

Поделиться этой страницей