Проверка уникалности границы

Discussion in 'Парсинг конкретных сайтов по запросу (ПЛАТНО)' started by fairbug, Jan 23, 2015.

  1. fairbug

    fairbug New Member Пользователи

    Joined:
    Dec 24, 2014
    Messages:
    11
    Город:
    Астана
    Привет всем собирателям)
    Прошу прощения если где то проглядел, поиском не нашёл информацию, ткните пальцем если есть...
    Вопрос есть ли функционал в программе для проверки уникальности, пример: мне надо собрать базу людей с номерами телефонов, можно ли как то настроить чтобы одинаковые номера пропускались?
     
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    В шаблоне вывода ( сочетание клавишь ctrl+2 ) макрос внизу выберите DUPIGNORE
     
  3. fairbug

    fairbug New Member Пользователи

    Joined:
    Dec 24, 2014
    Messages:
    11
    Город:
    Астана
    спасибо, вы по ходу ас уже, а не подскажете ситуацию такую, допустим парсится доска объяв, требуется напарсить максимально данных оставленных лицами женского пола, пока вижу выход такой: составил базу основных мужских имён, хочу попробовать поставить с заменой на пустое значение, и выставить галку обязательное поле, по идее должно пропускать же такие страницы? один минус, база большенькая , почти 500 имён а урлов тоже не мало, думаю будет грузить систему и медленно собираться...
    так вот , нет ли какого нибудь более изящного решения?
     
  4. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Уникальность обьявлений на основе телефонов прикрепляете к DUPIGNORE
    Имена построчно введите в фильтре по ключевым словам (shif+ctrl+t)
     
  5. fairbug

    fairbug New Member Пользователи

    Joined:
    Dec 24, 2014
    Messages:
    11
    Город:
    Астана
    Да, спасибо ещё раз, так и сделал с именами, а по поводу дупликатов на пальцах можете объяснить? там ещё в примере какой то [DELETEKEY], не пойму, для чего он нужен, в данное время у меня построено так:
    [DUPIGNORE]<CD_GRAN_1!>;[KEY]<CD_GRAN_2!>[/KEY];<CD_GRAN_3!>;[/DUPIGNORE],
    где <CD_GRAN_2!> номер телефона, будут ли в таком виде удалятся дубликаты?
     
  6. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Цитата из справки Ссылки недоступны для гостей
    Разберем ваш пример:
    Все правильно, но разделители ; должны быть как [CSVCS]
    К макросу DUPIGNORE подключите текстовой файл
    [​IMG]
    И немного краткого заключения - [DELETEKEY] может быть в любом месте
    Как описано во всплывающей подсказке в шаблоне вывода при наведении курсора на макрос - такая конструкция удалит все если содержимое внутри KEY совпадет с тем что слево или справо но внутри DUPIGNORE
     
  7. pompey

    pompey New Member Пользователи

    Joined:
    Jan 27, 2015
    Messages:
    20



    Чего то делал я делал и нифига не получилось.

    Можете посмотреть на моем примере. Задача стоит спарсить название модели шин и картинку этой модели. Поскольку каждая модель может иметь множество размеров, то у меня образуется очень много повторов.

    Причем если у меня повторяется название модели, то и фотка соответственно тоже повторяется.

    В приложении мое некромансерство. я мозг себе сломал.:facepalm:
    Заранее спасибо за помощь...
     

    Attached Files:

  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Зачем ломать мозг, когда можно открыть хелп и почитать большие красные буквы вот тут Ссылки недоступны для гостей. Ну или пользоваться логом выполнения функций.
     
  9. pompey

    pompey New Member Пользователи

    Joined:
    Jan 27, 2015
    Messages:
    20
    Вроде разобрался - спасибо!
     

Share This Page