Проверка уникалности границы

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем fairbug, 23 янв 2015.

  1. fairbug

    fairbug New Member Пользователи

    Регистрация:
    24 дек 2014
    Сообщения:
    11
    Город:
    Астана
    Привет всем собирателям)
    Прошу прощения если где то проглядел, поиском не нашёл информацию, ткните пальцем если есть...
    Вопрос есть ли функционал в программе для проверки уникальности, пример: мне надо собрать базу людей с номерами телефонов, можно ли как то настроить чтобы одинаковые номера пропускались?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    В шаблоне вывода ( сочетание клавишь ctrl+2 ) макрос внизу выберите DUPIGNORE
     
  3. fairbug

    fairbug New Member Пользователи

    Регистрация:
    24 дек 2014
    Сообщения:
    11
    Город:
    Астана
    спасибо, вы по ходу ас уже, а не подскажете ситуацию такую, допустим парсится доска объяв, требуется напарсить максимально данных оставленных лицами женского пола, пока вижу выход такой: составил базу основных мужских имён, хочу попробовать поставить с заменой на пустое значение, и выставить галку обязательное поле, по идее должно пропускать же такие страницы? один минус, база большенькая , почти 500 имён а урлов тоже не мало, думаю будет грузить систему и медленно собираться...
    так вот , нет ли какого нибудь более изящного решения?
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Уникальность обьявлений на основе телефонов прикрепляете к DUPIGNORE
    Имена построчно введите в фильтре по ключевым словам (shif+ctrl+t)
     
  5. fairbug

    fairbug New Member Пользователи

    Регистрация:
    24 дек 2014
    Сообщения:
    11
    Город:
    Астана
    Да, спасибо ещё раз, так и сделал с именами, а по поводу дупликатов на пальцах можете объяснить? там ещё в примере какой то [DELETEKEY], не пойму, для чего он нужен, в данное время у меня построено так:
    [DUPIGNORE]<CD_GRAN_1!>;[KEY]<CD_GRAN_2!>[/KEY];<CD_GRAN_3!>;[/DUPIGNORE],
    где <CD_GRAN_2!> номер телефона, будут ли в таком виде удалятся дубликаты?
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Цитата из справки Ссылки недоступны для гостей
    Разберем ваш пример:
    Все правильно, но разделители ; должны быть как [CSVCS]
    К макросу DUPIGNORE подключите текстовой файл
    [​IMG]
    И немного краткого заключения - [DELETEKEY] может быть в любом месте
    Как описано во всплывающей подсказке в шаблоне вывода при наведении курсора на макрос - такая конструкция удалит все если содержимое внутри KEY совпадет с тем что слево или справо но внутри DUPIGNORE
     
  7. pompey

    pompey New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    20



    Чего то делал я делал и нифига не получилось.

    Можете посмотреть на моем примере. Задача стоит спарсить название модели шин и картинку этой модели. Поскольку каждая модель может иметь множество размеров, то у меня образуется очень много повторов.

    Причем если у меня повторяется название модели, то и фотка соответственно тоже повторяется.

    В приложении мое некромансерство. я мозг себе сломал.:facepalm:
    Заранее спасибо за помощь...
     

    Вложения:

  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Зачем ломать мозг, когда можно открыть хелп и почитать большие красные буквы вот тут Ссылки недоступны для гостей. Ну или пользоваться логом выполнения функций.
     
  9. pompey

    pompey New Member Пользователи

    Регистрация:
    27 янв 2015
    Сообщения:
    20
    Вроде разобрался - спасибо!
     

Поделиться этой страницей