Как удалить ссылки на одинаковые товары из разных рубрик

Доброго времени.
С сайта собраны ссылки на товары, но они повторяются в разных категориях и собираются по несколько раз (повторяются).
Каким способом можно решить, чтобы при парсинге в файл csv повторяющиеся ссылки перезаписывались, либо обрабатывались еще до записи в файл.
По итогу нужны все ссылки в единственном числе.

 

Правый клик по списку ссылок - удалить дубли ссылок

 

Как просто. Спасибо!

 

Сергей, я хотел, чтобы мне подсказали(научили), а вы перенесли мою другую тему в разряд платных http://forum.sbfactory.ru/threads/kakim-makrosom-nastrojkoj-ehto-mozhno-vzjat.7208/

 

Я не знаю ответ на ваш второй вопрос (из другой темы). Я не разбирался с тем сайтом.

 

Вы делали для меня проект по сбору ссылок http://forum.sbfactory.ru/threads/dannye-s-sajta-ne-podgruzhajutsja-pri-parsinge.7024/#post-40713
Видимо сайт не простой...