Как научить понимать cannonical url?

Тема в разделе "Решение различных задач по парсингу", создана пользователем Odessky, 24 июл 2013.

  1. Odessky

    Odessky New Member Пользователи

    Регистрация:
    29 июн 2013
    Сообщения:
    19
    Подскажите, как научить понимать канонические ссылки, чтоб не парсить дублей?
     
    Odessky, 24 июл 2013
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    В программе можно подключать текстовой файл, в который записывается ссылка удачно спарсенной страницы. При последующем парсинге проверка по списку идет из текстовика и парсит только новые, тем самым избежать дублей можно.
     
    kagorec, 24 июл 2013
    #2
  3. Odessky

    Odessky New Member Пользователи

    Регистрация:
    29 июн 2013
    Сообщения:
    19
    Вы меня совершенно не поняли.
    Речь идет о том, что одна страница может быть под множеством разных URL (wordpress, drupal).
    И для ее "единого" url используется Ссылки недоступны для гостей
     
    Odessky, 24 июл 2013
    #3

Поделиться этой страницей