Очень много ссылок с одинаковым содержанием

Тема в разделе "Парсинг во вкладке "Ссылки"", создана пользователем 4toy, 26 июл 2015.

  1. 4toy

    4toy Member Пользователи

    Регистрация:
    8 июл 2015
    Сообщения:
    46
    Вот сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    начал парсить - все настроил и вот вопрос
    скачалось 180 000 ссылок и остановки так и нет
    сделал анализ содержания и получается что
    начало у всех одинаковое а конец - разный похоже
    на динамически меняющийся вот пример:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    содержание по всем ссылкам абсолютно одинаковое.
    Вопрос как этого избежать?
     
    Последнее редактирование модератором: 26 июл 2015
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    antiCache
    это добавьте в фильтр ссылок именно в поле "удалять параметры ссылок"
     
  3. 4toy

    4toy Member Пользователи

    Регистрация:
    8 июл 2015
    Сообщения:
    46
    Спасибо - помогло!
     

Поделиться этой страницей