Исключить мобильную версию при парсинге ссылок

Тема в разделе "Фильтры ссылок", создана пользователем muxa0077, 8 май 2017.

  1. muxa0077

    muxa0077 New Member Пользователи

    Регистрация:
    24 апр 2017
    Сообщения:
    7
    Каким образом можно исключить ссылки мобильной версии сайта?
    Все они на поддомене Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  2. Japonec

    Japonec Active Member Пользователи

    Регистрация:
    19 июл 2015
    Сообщения:
    82
    Адрес:
    Kiev
    если указать главный поддомен в фильтре, то, что не обрезается ведь все остальные ссылки с него? Вроде как да.
     
    muxa0077 нравится это.
  3. muxa0077

    muxa0077 New Member Пользователи

    Регистрация:
    24 апр 2017
    Сообщения:
    7
    С главного поддомена есть ссылка на мобильную версию сайта, краулер уходит по ней и собирает все ссылки и с поддомена.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.080
    добавьте в фильтре ссылок и в сканере для списка очереди в запрет:
    Код:
    ://m.
     
    Root нравится это.
  5. Root

    Root Администратор Команда форума Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    9.624
    Город:
    Сочи

Поделиться этой страницей