Как спарсить ссылки, если их нет в коде WEB документа

Тема в разделе "Общее", создана пользователем Letion, 19 фев 2020.

Статус темы:
Закрыта.
  1. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Добрый день, профессионалы!
    Подскажите, пожалуйста, почему в исходном коде
    Ссылки недоступны для гостей
    не видно ссылок на товары, вернее они видны, если использовать просмотр кода с помощью команды ctrl+shift+I
    Ссылки недоступны для гостей
    В программе CD можно также отобразить?
    Чтобы я смог собрать ссылки с помощью парсинга.
     
  2. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Благодарю за помощь!
     
    Последнее редактирование: 19 фев 2020
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.



    PS: Читайте систему помощи и создавайте темы в соответствующих разделах. Мне приходится часто переносить темы.
     

    Вложения:

    Последнее редактирование: 20 фев 2020
    Letion нравится это.
  4. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Огромное спасибо Вам, что уделили время и даже показали видео!!!
    :)
     
    Root нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста
     
    Letion нравится это.
  6. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    В качестве благодарности за уделенное мне время отправил вам денюжку на пиво - очень выручили!)))
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Большое спасибо.

    Пиво не пью.
     
    Letion нравится это.
  8. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Добрый день!
    Подскажите, пожалуйста, как собрать ссылки из 1-го раздела Ссылки недоступны для гостей с помощью генерации списка ссылок
    По ходу зашифрован исходный код в скрипте, не могу подобрать.
    Сканер сайта (сбор ссылок) тоже для данного донора не работает, к сожалению(
    Спасибо
     
    Последнее редактирование: 3 июн 2020
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Пробуйте через WbappCEF. Поиск по форуму даст вам больше подробностей на эти актуальные вопросы.
     
  10. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Сканер сайта (сбор ссылок) тоже для данного донора не работает, к сожалению(
    Он у меня есть и включен, но не отображает полный код -
    Ссылки недоступны для гостей
    Попробуйте, пожалуйста, у вас отображает корректно исходный код с Ссылки недоступны для гостей ?
    Со всеми ссылками на вложенные товары?
     
    Последнее редактирование: 3 июн 2020
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Да сантехника онлайн у меня открывается в CD.
    Более того, периодически парсю этот источник и имею актуальную базу всех товаров.;)
     
  12. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Так почему у меня не открывается весь исходный код, не пойму :(
    Ссылки недоступны для гостей
     
  13. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    WBApp CEF установлен
     
    Последнее редактирование: 4 июн 2020
  14. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Так подскажите, пожалуйста, тем более раз знаете, как ссылки собрать с раздела сантехника.
    Уже все видео пересмотрел - все не то. Нет нужного запроса в инструментах разработчика.
    Думал это - Ссылки недоступны для гостей
    но не оно
     
  15. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Читайте между строк - вам намекают ;) , что данный вопрос можно решить на платной основе
    Такие сайты относятся к категории "жирных" и просто так делится информацией никто я думаю - не будет.
     
  16. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Не даром говорят - если долго мучиться, то что-нибудь получится))
    Увеличил тайм-аут проверки документа до 1000 мс и все пошло грузиться.
    Думаю, не сложно было подсказать в этом направлении
     
  17. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Я так понимаю, если статус админ, то подсказывает, а не намекает на оплату.
    Другое дело, если обычный пользователь...
    Спасибо всем за уделенное мне время
     
  18. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Не сталкивался с подобной проблемой на сантехнике. На других сайтах при такой недогрузке кода обходилось прибавкой времени ожидания отклика страницы в Ctrl+h и возможно необходимо добавить паузу в WbappCEF.
    Вам ответил что с источником нет существенных проблем и парсю периодически.
    Статус администратора это не статус альтруиста, нету смысла делать каждому проект по малым вопросам, иногда достаточно дать правильное направление (поиск по форуму поскольку тема недавно обсуждалась или в справке).
    Про оплату в данной теме разве писал, поправьте если не так? Вам была информация что источник возможно распарсить.
    Этот источник распарсивается для определенных людей.
     
  19. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    А я разве просил вас сделать этот проект? Попросил, чтобы посмотрели, открывается или нет - думал все дело в старой версии программы, хотел уже подписку оплачивать.
    И раз уже у вас база есть, то думал сталкивались с такой же ошибкой, а значит можете подсказать, где копать.
     
  20. Letion

    Letion Member Пользователи

    Регистрация:
    4 авг 2017
    Сообщения:
    37
    Про оплату не писали. Но и ответил я не вам, а другому пользователю на его слова.
    Если есть возможность, благодарю и денюжкой. Но это же дело добровольное, насколько понял.
    Спасибо за направление.
     
Similar Threads
  1. ААА
    Ответов:
    0
    Просмотров:
    1.738
  2. Zeus
    Ответов:
    5
    Просмотров:
    1.720
  3. Solex
    Ответов:
    4
    Просмотров:
    739
  4. genryford
    Ответов:
    9
    Просмотров:
    710
  5. Djahat
    Ответов:
    5
    Просмотров:
    468
Загрузка...
Статус темы:
Закрыта.

Поделиться этой страницей