Программе не удалось загрузить WEB-страницу (HTTP/1.1 403 Forbidden)

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем Rod, 24 окт 2018.

Статус темы:
Закрыта.
  1. Rod

    Rod Member Пользователи

    Регистрация:
    29 авг 2018
    Сообщения:
    52
    Добрый день,
    Настроил парсинг контента. Нажимаю кнопку предпросмотра и вижу такую ошибку в результатах:
    Программе не удалось загрузить WEB-страницу (HTTP/1.1 403 Forbidden)
    До этого собирал ссылки с этого сайта с помощью сканера сайтов.

    Если еще раз нажать на страницу в окне предпросмотра, то данные загрузятся.
    И так по разным страницам из списка: то загружает данные с первого раза, то пишет эту ошибку и при повторной загрузке все работает.
     
  2. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    Дабы не плодить повторы, напишу в этом топике. Такая же проблема с загрузкой страницы, как в этой закрытой теме: http://forum.sbfactory.ru/threads/programme-ne-udalos-zagruzit-web-stranicu.4552/
    Все решения предложенные в там же, мне не помогли. Ошибки такого рода: Программе не удалось загрузить WEB-страницу (The unknown error was occured: 80090326)
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 2000 постов.**
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Duck83, поскольку оставили хоть ссылку для проверки, так вот в вашем источнике все парситься указав библиотеку win.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Где ссылка?)
     
  5. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    Если не сложно, можно посмотреть ваши настройки более детально? Что-то ничего не помогает. Где-то что-то выставил не так и не пойму где.
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Из настроек это создание нового проекта в котором лишь добавлена ссылка и сменена библиотека на WIN
     
    Kreol нравится это.
  7. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    Разобрался в своем вопросе. Оказывается меня банит по ip, поставил прокси и все ок. Спасибо за помощь!
     
    Kreol и kagorec нравится это.
  8. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Приветствую!

    Вчера когда настраивал проект все работало, сегодня запустил уже не хочет, выдает ошибку

    Программе не удалось загрузить WEB-страницу (The unknown error was occured: 80090326)

    Стояла библиотека clever когда настраивал, все работало))), сейчас ставлю win, парсит но не подгружается контент по https

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 5 постов.**
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Все там подгружается.
     
  10. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    А у меня не хочет, помогите, куда копать?
    Content_Downloader_2018-12-26_21-34-37.png Content_Downloader_2018-12-26_21-35-28.png
     
  11. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    Trim и Root нравится это.
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2018-12-26_22-12-24.png
     
    Trim нравится это.
  13. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
  14. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    настройка выше от админа, сделал точно так и получил линк
    upload_2018-12-26_21-51-59.png
    Пробуйте
     
    Root нравится это.
  15. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Посмотрите пожалуйста проект, хожу вокруг до около. Если ставлю win не видит ключ в ссылках, который нужен для подгрузки контента по ssl.
     

    Вложения:

    • книги.cdp
      Размер файла:
      64 КБ
      Просмотров:
      2
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Меня удивляет, что вас не смутил факт ожидания появления ссылки на сайте (60 секунд).

    2018-12-27_06-59-50.png

    В запросах сайта копаться не стал. Решение "в лоб". Нажать в браузере кнопку скачать и подождать 60 секунд для получения ссылки

    2018-12-27_07-04-02.png
     

    Вложения:

    • книги.cdp
      Размер файла:
      67,2 КБ
      Просмотров:
      1
    Trim нравится это.
  17. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Если вы посмотрите на POST запрос который срабатывает через 60 секунд, то увидите, что запрос состоит из
    Код:
    <URL="https://webbooks.com.ua/wp-admin/admin-ajax.php[POST]action=return_link_to_book
    count[id]=ID
    count[key]=КЛЮЧ[/POST]
    А сама ссылка на страницу где появляется счетчик выглядит так:
    Код:
    https://webbooks.com.ua/download/?key=j5UvJj4UD&count=604&cat=6
    где j5UvJj4UD - КЛЮЧ, а 604 - ID соответственно подставив эти значения в POST запрос в макросе <GETMORECONTENT> без всякого ожидания подгружаются ссылки на скачивание.

    Я ЖЕ ГОВОРЮ, ЧТО КОГДА ЭТО ВСЕ НАСТРАИВАЛ ВСЕ РАБОТАЛО, ДАЖЕ ВСЕ ЗАМЕНЫ ПРОПИСАЛ. НО НА СЛЕДУЮЩИЙ ДЕНЬ ПЕРЕСТАЛИ КОРРЕКТНО ПАРСИТЬСЯ ССЫЛКИ И ИЗ ЗА ЭТОГО НЕ ПОДГРУЖАЕТСЯ ПРАВИЛЬНО КОНТЕНТ ПО POST ЗАПРОСУ...


    Content_Downloader_2018-12-27_19-19-32.png
     
  18. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Вот к примеру протестировал пост запрос, все приходит без ожидания 60 секунд
    ProjectMaker_2018-12-27_19-29-07.png
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    А что требуется? Позвонить администраторам сайта и попросить их вернуть ключ в код? Я вам предложил единственный вариант решения вопроса, который вижу на данный момент.
     
Similar Threads
  1. VDS
    Ответов:
    5
    Просмотров:
    3.106
  2. kashubaev
    Ответов:
    30
    Просмотров:
    2.578
  3. Jusper
    Ответов:
    7
    Просмотров:
    3.356
  4. rim1
    Ответов:
    4
    Просмотров:
    919
  5. mihim
    Ответов:
    3
    Просмотров:
    1.396
Загрузка...
Статус темы:
Закрыта.

Поделиться этой страницей