Парсинг товаров с отсеиванием по дублям (заголовок, артикул)+обьединение категорий

добрый день
парсю очередной сайт
такая проблема
там один товар может быть в разных категориях, но сложность в том что этот же товар с одинаковым именем или артикулом может иметь разный url... а мне нужно спарсить так что бы избежать дублей и при этом сохранить структуру сайта
может кто подскажет в какую сторону мне смотреть? или был в такой ситуации и есть решение уже готовое или полуготовое? любая помощь будет оплачена, так как понимаю-время это деньги

 

Здравствуйте.

Макрос шаблона вывода DUPIGNORE для отсеивания дублей при парсинге Ссылки недоступны для гостей

Функция удаления дублей в редакторе CSV (после парсинга).

 

Объединение строк по ключевым столбцам (сохранение категорий) Ссылки недоступны для гостей

 

спасибо, все оказалось проще чем я думал

 

в итоге все получилось не совсем так как хотел
спарсил товары, залили, сделал сайт....
оказалось что многие товары были в разных категориях
к примеру товар 1 был в категории 1, категории, 2, категории 3....

может кто подскажет как сейчас можно будет спарсить все заново но только соотнести название товара к категории?
что бы задать список названий товаров (h1)
и собрать категории все к этим товарам

 

С этих слов непонятно, что требуется.

 

ну вот к примеру
товар 1
есть в категориях
https//site.com/cat1
https//site.com/cat1
https//site.com/cat1
нужно собрать товары что бы не было дублей товаров, но при этом все категории у товара записывались в одну колонку, пример
Каталог|Категория 1|подкатегория...
Каталог|Категория 2|подкатегория...
Каталог|Категория 3|подкатегория...

 

Как и говорил выше.