1. ФОРУМ РАБОТАЕТ В РЕЖИМЕ ЧТЕНИЯ (ЗАКРЫТ ДЛЯ НОВЫХ ВОПРОСОВ)!

Парсинг составной карты сайты (с вложенными подкартами)

Тема в разделе "Парсинг ссылок из XML-карт сайтов", создана пользователем trans5, 22 мар 2018.

  1. trans5

    trans5 New Member Пользователи

    Регистрация:
    26 сен 2017
    Сообщения:
    9
    Город:
    екаеринбург
    Здравствуйте,

    есть вот такая карта сайта Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! видимо что то у нее с синтаксисом т.к. при открытии в браузере выглядит как текстовый документ.
    Вложенные карты сайта динамические т.е. адрес после -ru-RUB- каждый день меняется.

    Хотел воспользоваться парсингом составных xml-карт , все настроил по инструкции, запустив сканер ссылок он находит вложенные xml-карты но ссылки во вложенных не находит. Фильтр ссылок пробовал по разному настраивать и даже полностью пустой оставлял.

    upload_2018-3-22_14-1-4.png

    upload_2018-3-22_14-1-34.png

    Подскажите куда копать
     
  2. garat

    garat New Member Пользователи

    Регистрация:
    23 июл 2017
    Сообщения:
    15
    del
    не актуальный ответ
     
    Последнее редактирование: 22 мар 2018
  3. trans5

    trans5 New Member Пользователи

    Регистрация:
    26 сен 2017
    Сообщения:
    9
    Город:
    екаеринбург
    Что бы один раз отпарсить я сделал так же, но завтра ссылка изменится и надо будет скопировать новую и руками вставить.

    Что бы парсить периодически в автоматическом режиме такой вариант не подходит
     
    garat нравится это.
  4. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.477
    Город:
    Сочи
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2018-03-22_13-27-47.png
     
  5. trans5

    trans5 New Member Пользователи

    Регистрация:
    26 сен 2017
    Сообщения:
    9
    Город:
    екаеринбург
    Все отлично получилось, но вот возник вопрос:
    Как организовать периодический парсинг. Настроив планировщик открывается сканер сайта, а кнопка загрузить карту сайта сама не нажимается))
     
  6. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.477
    Город:
    Сочи
    Здравствуйте.

    2018-03-23_19-22-46.png
     
  7. trans5

    trans5 New Member Пользователи

    Регистрация:
    26 сен 2017
    Сообщения:
    9
    Город:
    екаеринбург
    И еще вопросик если проектов несколько, в одном ссылки собираются через сканер сайта, а в другом через загрузку xml-карты то в через планировщик такие проекты не запустить последовательно?
     
  8. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.477
    Город:
    Сочи

Поделиться этой страницей