Удаление дублей (строк) товаров

Данные php скриптом отправляю в таблицу MYSQL. Некоторые сайты отдают дубли товаров если страницы не существует, например:

Ссылки недоступны для гостей (последняя страница)
Ссылки недоступны для гостей (не существующая страница дублирует товары последней страницы)

Можно ли удалить дубли таких товаров программой CD перед их отправкой на сервер?

 

Благодарю!

Описание макроса в мануале не нашел: Ссылки недоступны для гостей

Попробовал так:

<PHP_SCRIPT=https:ххх.php>
all_data=[DATAENCODE][DELDUP(),()]<CD_CYCLE_GRAN_1!>[/DELDUP][/DATAENCODE]
</PHP_SCRIPT>

К сожалению не помогло, все дубликаты товаров в базе. Прошу подсказать если допустил ошибку. "),(" - в моем случае разделитель для INSERT.

 

Если я правильно понял, в вашем случае, каждый цикл повторяющихся границ парсинга нужно фильтровать макросом [DUPIGNORE]:
Ссылки недоступны для гостей
Макрос [DELDUP] не подходит, так как он работает в пределах каждого WEB-документа, которые парсите. А вам нужна "глобальная" проверка на дубли.

 

DUPIGNORE - то, что нужно, благодарю!