Сравнение двух CSV файлов по общей колонке

Тема в разделе "Встроенный редактор CSV файлов", создана пользователем Smile, 21 апр 2021.

  1. Smile

    Smile New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    15
    Город:
    Москва
    Подскажите или дайте, пожалуйста, ссылку, если это уже обсуждалось, как сделать так, чтобы сравнить два CSV файла, которые имеют общую колонку и получить все значения этой колонки (или можно все строки), где значения не совпали?
     
  2. Smile

    Smile New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    15
    Город:
    Москва
    Я уже понял, что в Content Downloader нет функции сравнения.
    Может быть разработчики рассмотрят возможность добавления?

    Если кто-то знает способ (сервис или другую программу), которой можно сравнить два CSV, то скажите, пожалуйста.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Здравствуйте.

    Постараюсь сделать такую функцию в течение недели.
     
  4. Smile

    Smile New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    15
    Город:
    Москва
    Ура! Это было бы волшебство.
     
  5. Smile

    Smile New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    15
    Город:
    Москва
    Уважаемый Root
    Скажите, пожалуйста, вы напишете тут о том, что она появилась или как об этом узнать?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Напишу тут.
     
  7. Smile

    Smile New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    15
    Город:
    Москва
    С нетерпением жду, потому что во всем Рунете не нашел ни программы ни сервиса, который мог бы сравнить два CSV
     
    Root нравится это.
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Завтра планирую взяться.
     
  9. masrub

    masrub Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    46
    Можно в Excel использовать ВПР.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Здравствуйте.

    Простите за задержку.

    Решил собрать новую программу на 64 bit. Вроде готово.

    Если актуально, приложите два ваших файла для тестирования.
     
    Последнее редактирование: 4 май 2021 в 17:10
  11. Smile

    Smile New Member Пользователи

    Регистрация:
    24 фев 2021
    Сообщения:
    15
    Город:
    Москва
    Да, актуально. Уже можно где-то потестировать?
    Файлы для примера прикладываю.
     

    Вложения:

  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Сделал торопясь и без усердия (так как не вижу в этом выгоды в дальнейшем).
     

    Вложения:

    • Project1.zip
      Размер файла:
      4,4 МБ
      Просмотров:
      3
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Затем в новой программе

    2021-05-05_07-03-05.png
     

    Вложения:

  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Если бы была востребованность, сделал бы хорошо. Пока только так.
     
  15. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    249
    Сергей, потребность есть. Не так часто, как в этом запросе, но есть.

    Лично у меня, бывает часто так, что нужно сравнить (сопоставить) 2 товара с разных CSV не по точному артикулу, а по неточному наименованию товара и возможно, другим характеристикам.

    Например: "iPhone 12 PRO Max 256GB" и "Айфон 12 Про макс 256 ГБ" (это простой пример, для понимания)
    Товары одинаковые, характеристики схожие, а такие товары сложно сопоставить, нужно делать какое-то обучение/нейронку в дальнейшем.

    Но это, наверное уже совсем отдельная ПО/разработка должна быть.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Не могли бы накидать таких примеров, чтобы алгоритм придумать?
     
  17. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    249
    Вам нужны CSV файлы либо просто как варианты сравнения?
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Лучше второе.
     
  19. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    249
    Сделал на примере 2-х сайтов, для наглядности взял несколько товаров и упаковал в CSV, для удобного просмотра/сравнения.

    Это небольшой пример, накидал вручную минут за 5-7. На начальном этапе хотелось бы получать сравнение подобных файлов.

    Как это видится: например, берутся ключевые слова, вставляются в поиск на сайтах, собирают ссылки на все варианты товаров с этим наименованием.

    Происходит парсинг всех этих товаров. Формируется 2 файла парсинга (в дальнейшем, возможно больше чем 2 файла), они сопоставляются (делается матчинг между ними) например по наименованию товаров.

    Мысли:
    - Брать базовый, первоначальный файл как основу (который уже сформирован и по которому нужно делать сопоставление) - и сравнивать его с другими файлами
    - Сопоставление делать например по процентному соотношению товаров (например, если совпадает более 50% символов либо слов наименования товаров, сопоставлять их). Процент лучше регулировать, т.к. тут все индивидуально
    - Формировать файлы, которые:
    1) сопоставились автоматически
    2) нужно сопоставить вручную и возможно, обучить этому систему (что эти товары схожи)
    - Сформированный файл вручную (который сопоставили ручками) - можно было бы отдавать на некое "нейронное" обучение программе.
    - Формировать список несопоставленных файлов, и предлагать пользователю сопоставить их в программе в полуавтоматическом режиме. Например, 2 столбца: слева базовое слово (по которому ищем), справа - предложенные варианты. Из этих предложенных вариантов - выбрать одно и сопоставить.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 13000 постов.**
     

    Вложения:

    Root нравится это.
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.865
    Город:
    Барнаул
    Спасибо. Обдумаю этот вопрос.

    Есть мысли отдельный CSV редактор сделать с востребованными функциями. Только понятия не имею, какие функции требуются (слияние, разбитие, загрузка картинок на FTP и прочее). Если есть опыт, не могли бы перечислить нужные функции кратко?

    Спасибо.
     

Поделиться этой страницей