Сбор карты сайта .xml.gz

Тема в разделе "Решение различных задач по парсингу", создана пользователем Xpite, 30 окт 2017.

Метки:
  1. Xpite

    Xpite Member Пользователи

    Регистрация:
    13 мар 2017
    Сообщения:
    103
    На сайте одна общая карта сайта .xml и в ней несколько внутренних .xml.gz
    Программа их не видит, возможно ли как-то решить эту проблему?
     
  2. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Добрый день.
    Попробуйте так:
    [​IMG]
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Предоставьте ссылку на gz-карту сайта.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Ситуация похожая, есть ссылка на xml.gz где внутри файл xml со ссылками на товары
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Готово!

    Замените файл Content Downloader.exe в папке с программой этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    С уважением к вам, Сергей.
     
    gans, kagorec и xLime нравится это.
  6. garat

    garat New Member Пользователи

    Регистрация:
    23 июл 2017
    Сообщения:
    15
    Сергей здравствуйте
    вопросы по этой версии CD
    1) это дополнение к программе? которое позволяет распаковывать .xml.gz на лету в CD?
    2) добавиться ли это фича в обновление программы? в след релизе?
     
  7. TipTop

    TipTop New Member Пользователи

    Регистрация:
    17 дек 2016
    Сообщения:
    1
    Спасибо
     
  8. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    Доброго дня!

    Столкнулся с той же проблемой, есть xml.gz где внутри файл xml со ссылками на товары. Ссылка на данную версию с функционалом недоступна. Или эта функция есть в текущей? Подскажите. где ее искать?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Функция парсинга XML-карт сайта в текущей версии прекрасно открывает gz-карты сайта. Не нужно придумывать проблему, когда ее нет.
     
  10. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    Не получается открыть, вот скрин
    Ссылки недоступны для гостей

    Если задавать границы на таких ссылках, то в коде
    Ссылки недоступны для гостей
    Это и естественно, потому как архив.
    Как собрать ссылки из таких архивов?
     
    Последнее редактирование: 7 мар 2018
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Куда приложили проект? Не видно проект. Также не нужно дезинформировать.
     
  12. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    Пример проекта
     

    Вложения:

    • tme_eu.cdp
      Размер файла:
      47,5 КБ
      Просмотров:
      3
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Карты сайта нужно парсить специально-созданной для этого функцией (загрузка ссылок из XML-карты сайта (shift+ctrl+m)). Зачем вы пытаетесь их парсить во вкладке "Контент" - непонятно.
     
  14. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    Я не паршу с вкладки контент. С основной карты я собрал вложенные, они выведены во вкладке ссылки инструментом загрузки ссылок из XML-карты сайта. Поиск нашел вложенные карты в архиве (они как раз в проекте)
    Как из них достать ссылки на товары?
     
  15. Mind

    Mind Well-Known Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    190
    Вопрос закрыт, просто думал, что прога на лету может брать ссылки с архивов.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Может.

    Просто нужно пользоваться функцией, которой я вам многократно рекомендовал пользоваться.

    2018-03-07_11-37-18.png
     
    Последнее редактирование: 7 мар 2018
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2018-03-08_15-47-20.png
     
    xLime и Mind нравится это.
  18. Duck83

    Duck83 Member Пользователи

    Регистрация:
    3 окт 2017
    Сообщения:
    76
    Город:
    Симферополь
    Здравствуйте. я извиняюсь, но тоже столкнулся с данной проблемой. В основной карте сайта xml есть много вложенных карт с расширением вида xml.gz. Включил все необходимые чекбоксы в меню парсинга карты сайта, однако безрезультатно. Тем не менее в браузере архив с картами сайта открывается. Подскажите, что я делаю не правильно?

    UP.D. Обновил программу - проблема исчезла.
     
    Последнее редактирование: 29 ноя 2019
    Root нравится это.

Поделиться этой страницей