Как спарсить карту сайта xml?

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем Trim, 27 ноя 2015.

  1. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Здравствуйте!

    Подскажите как спарсить ссылки из карты сайта, прописываю путь, кликаю на парсить, но ничего не происходит
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Укажите адрес карты сайта.
     
  3. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  4. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Так же и не авторизоваться через метод POST, показывает, что запрос выполнен, но при проверке не авторизовывается
     
  5. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Ну так, что, кто ответит, почему не парсится карта сайта?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    По непонятным для меня причинам, указанную вами карту сайта в программе обработать не удается.

    К сообщению прикрепил файл со ссылками из указанной карты сайта.

    По поводу авторизации методом POST: приложите к сообщению ваш файл проекта или назовите сайт/логин/пароль для составления запроса.

    С уважением к вам, Сергей.
     

    Вложения:

    • 12.rar
      Размер файла:
      106,2 КБ
      Просмотров:
      5
  7. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Страницы данного сайта почему-то не открываются GET-Запросами программы:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Для парсинга этого сайта используйте библиотеку Internet Explorer (DOM) (включается в окне ctrl+h). Чтобы пройти авторизацию на сайте для библиотеки Internet Explorer (DOM), достаточно нажать кнопку с изображением ключика во вкладке "Контент" и пройти авторизацию на сайте в открывшемся браузере.

    С уважением к вам, Сергей...
     
  9. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Спасибо, вроде заработала авторизация
     
  10. Trim

    Trim New Member Пользователи

    Регистрация:
    3 фев 2014
    Сообщения:
    34
    Забыл спросить, а чем вы вытаскивали урлы с карты сайта, вдруг такой же сайт попадется с не читаемой картой? Спасибо!
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Из браузера сохранил и поиск-заменой лишнее удалил (оставил только ссылки).

    За все время такой сайт впервые нам попался, не переживайте.
     
  12. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Добрый день!
    Похоже у меня второй случай! Так же не загружается карта сайта Ссылки недоступны для гостей
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Функцию постараюсь доработать. А пока парсите XML во вкладке "Контент".
     

    Вложения:

    • bs-rus_ru.cdp
      Размер файла:
      34,4 КБ
      Просмотров:
      3
  14. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Спасибо за быстрый ответ и доработку!
     
    Root нравится это.
  15. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Спасибо большое за подсказку. Ссылки собрал! Удачи в делах!
     
    Root нравится это.
  16. Vadimdas

    Vadimdas Member Пользователи

    Регистрация:
    24 дек 2016
    Сообщения:
    44
    Для информации. Третий сайт с не загружаемой картой сайта Ссылки недоступны для гостей
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-06-14_16-24-23.png
     
    kagorec нравится это.
  18. Stendal

    Stendal New Member Пользователи

    Регистрация:
    19 июл 2017
    Сообщения:
    6
    Город:
    Минск
    подскажите плиз неопытному еще, а зачем парсится карта сайта?
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Для получения всех ссылок страниц сайта разом.
     
    Stendal нравится это.
  20. Stendal

    Stendal New Member Пользователи

    Регистрация:
    19 июл 2017
    Сообщения:
    6
    Город:
    Минск
    спасибо за подсказку
     

Поделиться этой страницей