Не открывается ссылка

Тема в разделе "Решение различных задач по парсингу", создана пользователем kenny872012, 2 окт 2018.

  1. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    Здравствуйте. Ни одна библиотека кроме IE не работает с ссылкам вида Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! Но IE не подходит так как парсить надо периодически порядка 10000 товаров, а с помощью него ссылка открывается около минуты. Подскажите пожалуйста как парсить такие ссылки?
     
  2. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    Может быть как-то можно передавать заголовки запроса?
     
    Последнее редактирование: 2 окт 2018
  3. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.462
    ищите другого донора тогда. Не совсем понятно почему у вас так долго открывает. IE 11 версии.
     
  4. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    IE вообще не вариант, даже если бы он быстрее грузил эту страницу. Пол дня будет парсить.
     
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.462
    бывают сайты которые сутками парсятся, к сожалению тут нужно выбирать либо ждать либо отказываться от донора.
    Программа работает с IE поменять это ни мы ни вы не в силах.
     
  6. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    Все это решается без IE, если передавать заголовки запроса при парсинге, только в CD я этого не нашел. Может подскажите если есть такая функция в парсере?
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.462
    ctrl+h (внизу справа)
     
    kenny872012 нравится это.
  8. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    Спасибо
     
  9. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    Не помог ни один метод. По этому сайту вопрос остался открытым. Подскажите пожалуйста как его парсить ни одна из библиотек не открывает ссылки. Проект приложил
     

    Вложения:

  10. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.462
    ссылок нету ни одной
     
  11. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
  12. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.462
    ctrl+h галочка Контент. И все появляется
     
  13. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    А вы пробовали в этом проекте ставить галочку "контент"? Грузит он одну ссылку 2 минуты. Потом еще дерево подгружается 3 минуты. Или поставить галочку "сканер сайтов" и запустить сканер?
     
    Последнее редактирование: 11 окт 2018
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.462
    1) отключите создание дерева ctrl+3 (когда оно создается)
    2) да конечно пробовал, у меня открывается ну секунд за 12 (из них 5-7 на загрузку в wbapp)
    3) если подключение по wifi, то будет намного дольше.
    4) ну и проверьте какой у вас IE и какая версия программы.
     
  15. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    Дерево отключил, по прежнему грузится долго, подключено напрямую, скорость интернета 100мб/с , IE 11 версии
     
  16. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.462
    Попробуйте
     

    Вложения:

    kenny872012 нравится это.
  17. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    Спасибо, работает! А что вы изменили, что он вдруг без ie заработал?
     
    Последнее редактирование: 11 окт 2018
  18. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.462
    он на ie и работает, у вас просто не включена галочка Контент
     
  19. kenny872012

    kenny872012 Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    86
    Просто я запустил с галочкой "контент", потом отменил потому что медленно работало, потом запустил без нее и заработало, хотя до этого работало только с галочкой "контент", странный феномен.
     
  20. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.462
    это назвывается ЗАГРУЗКА ИЗ КЕША
    правой кнопкой по списку ссылок и снимите галочку справа третья снизу
     

Поделиться этой страницей