Исключить мобильную версию при парсинге ссылок

Тема в разделе "Фильтры ссылок", создана пользователем muxa0077, 8 май 2017.

  1. muxa0077

    muxa0077 New Member Пользователи

    Регистрация:
    24 апр 2017
    Сообщения:
    39
    Каким образом можно исключить ссылки мобильной версии сайта?
    Все они на поддомене Ссылки недоступны для гостей
     
  2. Japonec

    Japonec Well-Known Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    92
    Адрес:
    Kiev
    если указать главный поддомен в фильтре, то, что не обрезается ведь все остальные ссылки с него? Вроде как да.
     
    muxa0077 нравится это.
  3. muxa0077

    muxa0077 New Member Пользователи

    Регистрация:
    24 апр 2017
    Сообщения:
    39
    С главного поддомена есть ссылка на мобильную версию сайта, краулер уходит по ней и собирает все ссылки и с поддомена.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    добавьте в фильтре ссылок и в сканере для списка очереди в запрет:
    Код:
    ://m.
     
    Root нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     

Поделиться этой страницей