Удаление дублей в повторяющихся границах.

Всем доброго времени суток.
Столкнулся с проблемой.
При сборе данных использую повторяющееся границу.
При парсинге нескольких документов, между документами могут быть дубли каких то данных, например ссылок, можно ли сделать так чтобы данные, которые были ранее записаны в CSV файл больше не добавлялись.

 

Удалять дубли строк можно после парсинга в редакторе CSV файлов (кнопка на панели инструментов). Удалять можно как дубли строк CSV, так и удалять дубли по определенным столбцам ("дубли каких то данных")...

 

Спасибо за помощь

 

Немного другая ситуация, но тоже в рамках повторяющихся границ. В рамках этих границ есть несколько магазинов продающих один и тот же товар. Парсинг собирает файл закидывая в csv таблицу Наименование товара, название магазинов и соответственно цены предложенные ими. Однако, в результате возможной ошибки на сайте, один из магазинов может отображаться дважды. В результате в ячейку с ценой данные по магазину записывается дважды. На странице выглядит так: магазин1 9000, магазин2 10000, магазин2 10000, магазин3 11000. В файле получаем: магазин1 9000, магазин2 10000 10000, магазин 3 11000. Примерная стурктура таблицы: первый столбец наименование товара, остальные столбцы в заголовках содержат названия магазинов, а на пересечении в ячейках цены. На сколько я понимаю, один из макросов это решает, но какой именно лучше подходит и что им подсовывать в аргументы, не понимаю.

 

Или проверяйте настройки повт. границ парсинга, т.к. такие дубли могут возникать из-за их неправильной настройки (с вероятностью 98% причина в этом), либо попробуйте использовать макрос [DELDUP]

 

Здравствуйте, Recrut.

Подумаю над реализацией функции удаления дублей циклов повторяющихся границ парсинга.

 

Замените файл Content Downloader.exe (в папке с программой) этим файлом:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 12 постов.**

 

Спасибо за поддержку. Было потрачено пару недель на поиск решения. Заменил файл, подправил проект. Вытащил данные, дублей нет, обрадовался. Проверил сайт, и на сайте дубли исчезли, хотя еще с утра, судя по логам они были. Поэтому еще раз большое спасибо за поддержку. Появится подобная ситуация, отпишу о работе CD.

 

Добрый день. Дубли появились на сайте. В редакторе шаблона вставляю {NODUP}[VALUE][CC] в CSV получаю: Магазин1 20500, 1Магазин2 21500, 2Магазин2 21500. Убираю нумерацию, оставляю только {NODUP}[VALUE] в SCV получаю: Магазин1 20500, Магазин2 21500 21500. Насколько я понимаю [CC] показывает, что дубли есть, так как повторяющийся магазин нумеруется. Версия CD от 30 ноября. Что еще можно посмотреть?

 

Здравствуйте.

Приложите проект с одной ссылкой, на которой видно описанную вами проблему.

 

скинул на почту.

 

Вы логин с паролем для доступа на сайт не предоставили.

 

К сожалению, это одна из проблем сайта. Ответил на почту.

 

процентов 30 дублей при парсинге,
парсинг простой заголовки и описания (поисковик), макрос [DUPIGNORE], оперативки хватает)
Спасибо за {NODUP} попробую

 

{NODUP}