Парсинг сайта для поиска страниц содержащих ссылки на 404 код ответа сервера.

Тема в разделе "Функции и интерфейс программы", создана пользователем Orvin, 16 июл 2015.

  1. Orvin

    Orvin New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    28
    Добрый день! Возможно ли использовать программу для поиска битых ссылок с указанием на какой странице эти ссылки находятся?
     
    Orvin, 16 июл 2015
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Да. Шаблон вывода оставить пустым, а в окно ctrl+6 прописать <CD_DOCURL!> и парсить во вкладке "Контент" в 1 файл.

    С уважением к вам, Сергей.
     
    Root, 16 июл 2015
    #2
  3. Orvin

    Orvin New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    28
    насколько я понимаю тут как минимум 2 колонки должны быть:

    ссылка на документ где расположена битая ссылка и сама битая ссылка

    Посмотреть вложение пример_1.cdp

    и почему при текущих настройках в список ссылок попадают внешние на соц сети?

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

    Вложения:

    Последнее редактирование: 17 июл 2015
    Orvin, 17 июл 2015
    #3
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Вы помоему неправильно сформулировали задачу.
    Вам нужно на странице находить битые ссылки, и как я понимаю таких страниц будет очень много???
    В таком случае задача решается так
    1) проект собирает ссылки со страницы через повторяющиеся границы и например формирует ссылку вида url_проверяемый на 404[PARAM]:url_original
    2) на вкладке контент используется рекомендация root

    либо программой
    Ссылки недоступны для гостей
    но только в том случае, если вам необходимо получать внешние ссылки. (хотя ее можно попросить доработать, платно)
     
    Kreol, 18 июл 2015
    #4
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы можете сделать сколько угодно, разделив столбцы оператором [CSVCS].
     
    Root, 19 июл 2015
    #5
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Постараюсь доработать.

    Спасибо!
     
    Root, 19 июл 2015
    #6
Similar Threads
  1. yuzi

    Как сканить ссылки категорий сайта fotos.ua?

    yuzi, 19 сен 2013, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    4
    Просмотров:
    2.412
    Liooon
    21 авг 2015
  2. vavera4ka

    Парсинг при помощи WBapp или парсинг страниц с динамическими URL

    vavera4ka, 29 авг 2014, в разделе: Решение различных задач по парсингу
    Ответов:
    9
    Просмотров:
    1.988
    vavera4ka
    30 авг 2014
  3. Crucifer

    Получение ответа сервера на страницу

    Crucifer, 16 янв 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    5
    Просмотров:
    1.380
    Kreol
    19 мар 2015
  4. Astraport

    Парсинг Авито по расписанию с сервера

    Astraport, 17 апр 2015, в разделе: Разное
    Ответов:
    4
    Просмотров:
    1.357
    Root
    17 апр 2015
  5. Reset

    Парсинг Location в ответе сервера

    Reset, 23 ноя 2016, в разделе: Решение различных задач по парсингу
    Ответов:
    16
    Просмотров:
    1.128
    Root
    6 янв 2021
Загрузка...

Поделиться этой страницей