Парсинг EXCEL файлов как Вэб документов, обновление цен на сайте из xls и xslx прайса автоматически

Тема в разделе "Решение различных задач по парсингу", создана пользователем Djahat, 3 мар 2017.

  1. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Идея, как решить проблему универсального разбора файлов XLSX и XLS, которые шлют поставщики с прайсами, каталогами и прочим.

    В моем понимании надо превести файл XLSX и XLS к такому состоянию, чтобы его можно было парсить при помощи Content Downloader ом

    Тоесть все листы объеденить в один, и разметить ячейки и столбцы так, чтобы можно было назначить границы парсинга данных.

    Если есть идеи, пишите.


    Сергей, добрый день.
    У меня такая идея есть.
    Закрыть при помощи CD, большую потребность в Ecommerce
    А именно задачу универсального разбора файлов EXCEL и CSV с последующей обработкой при помощи CD

    Это реально Важная и нужная задача, для обновления данных на сайте, для автоматизированного анализа на новые товары, для любого разбора файлов Excel вообще, так как сейчас универсальной автоматизации нет. А форматов и видов Excel файлов от поставщиков миллионы, подо все писать макросы на VBA, жизни не хватит.

    Какое для меня актуальное применение:
    1) поставщики присылают на почту или отдают по ссылке к скачке файлы xls и xlsx – надо этот файл забрать оттуда.
    2) В файлах лежат листы, в листах строки и колонки на пересечении, ячейки, в ячейках данные. – надо это разобрать в один документ и пометить границами для парсинга, чтобы можно было распарсить этот документ после. Нпример сделать из него текстовый документ, по примеру HTML
    3) Распарсить этот документ Как обычно при помощи CD/

    Я думал, может быть можно сделать модуль для CD по Экселю, наподобие как это делает модуль WBApp, который подготовит для CD документ в привычном для CD Виде.


    • [​IMG] admin says:
      3 March 2017 at 10:00
      Здравствуйте.

      300 евро стоит лицензия модуля работы с XLS (и то не понятно, как он будет работать, будет ли он поддерживать XLS старых годов (какие часто высылают поставщики) или нет, можно пока только гадать). Собственный модуль работы с XLS разрабатывать, думаю, нецелесообразно (займет очень много времени).

      Может быть есть варианты получать прайсы в формате CSV? Или какие-нибудь решения, позволяющие производить конвертацию XLS -> CSV.

      Если можно, создайте тему по этому поводу на форуме, постараемся найти решение.

      Спасибо!
     
    Последнее редактирование: 3 мар 2017
    archiver нравится это.
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Не в курсе? Возможно есть какое-либо готовое решение (утилита или программа, или PHP-скрипт) которая позволяет произвести перекодирование из XML в другой формат (HTML, CSV). Если да, то, думаю, можно запускать его автоматически перед парсингом из командной строки с передачей параметров.
     
    Djahat нравится это.
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.432
    Адрес:
    Latvia
    Не сочтите за грубость - но сие дополнение ради хотелок одного клиента как-то не разумно.
    Имея желание и финансы давно могли бы реализовать сторонним решением.
    Понятно что разработчик откликается на любую разработку во благо развития Content Downloader, но порой пользователи перегибают планку своими желаниями.

    п.с. еще раз повторюсь, это сугубо личное мнение и не принимайте как грубость.
     
    Djahat и Root нравится это.
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Господин Djahat предложил очень полезную вещь. Просто нужно найти более оптимальное решение реализации предложенного. Сейчас вся загвоздка в открытии XLS-файла. Думаю, это решится через вызов утилит через командную строку.

    Я сейчас этим вопросом плотно заняться пока не могу. Думаю, есть люди, которые подскажут по поводу конвертации XLS в CSV.
     
    Djahat нравится это.
  5. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Kagorec я не обижаюсь, я реально один клиент, но уверяю, просто чекни фриланс биржи - это потребность каждого магазина в СНГ! (я на господина больше обижаюсь, я ж не господин :))))

    Я сам разрыхлю тему в плане, что кто как предлагает и какие либы юзает. через какаоето время напишу тут что нарыл.
     
    kagorec и Root нравится это.
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо!
     
    Djahat нравится это.
  7. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    499
    есть софт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 4 постов.**
    может xls в html конвертировать, демка есть там
     
    Djahat и Root нравится это.
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуем.

    Спасибо!
     
    Djahat нравится это.
  9. GRINE

    GRINE Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    90
    Stan, можно же вроде стандартными средствами экселя сохранить в html - Ссылки недоступны для гостей
     
    Stan и Djahat нравится это.
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Это нужно делать в автоматическом режиме (с запуском приложения через командную строку). Не думаю, что это предусмотрено в Excel.
     
    Djahat нравится это.
  11. GRINE

    GRINE Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    90
    возможно, а так конечно востребовано очень сильно эксель прайсы от поставщиков приводить к нужному формату для загрузки в различные cms
     
    pablo и Djahat нравится это.
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Не понимаю поставщиков вообще. Почему бы им сразу не скидывать в нормальном формате (CSV). Думаю, тут надо больше их прессовать, пусть скидывают нормальные прайсы, чтобы людям было удобно.
     
  13. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Я еще не пробовал PHP функцию в CD, но ведь есть возможность подключать сторонние модули?
    По типу PHP-ExcelReader, Ссылки недоступны для гостей
    Я его часто использую для того что бы переделать .xls в .csv и далее импортировать его в mysql, гдя я уже через свои скрипты обрабатываю все данные прямиком в базе данных.
    Создается новая временая база данных в которую загружается .csv и сравнивается с оригинальной базой данных. (и в зависимости от моих требований я обновляю товар или нет)
    По идее, если обрабатывать файлик через данный модуль можно будет получить данные из .xls в CD и далее записывать их в CMS.
     
    Djahat нравится это.
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Возможность подключать PHP-скрипты, конечно есть. Для этого разработан макрос PHP_SCRIPT.

    Спасибо за информацию.
     
    Djahat нравится это.
  15. GRINE

    GRINE Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    90
    пытались пинать поставщиков из нескольких ниш, не хотят шевелиться тк у них и так всё работает и их всё устраивает, а мотивация по нормальному начать работать не особо их зажигает
     
    pablo и Djahat нравится это.
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Понял. Значит нужно шевелиться нам.
     
  17. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Да вообще конечно дикость у поставщиков, у них все базы минимум в 1С есть, ну что стоит фид в XML сделать, 2 часа работы IT спеца, но годами сидят и руками делают прайсы и руками же их рассылают :( и таких 95%
     
    pablo и GRINE нравится это.
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Что поделать. Дай Бог, найдем выход!
     
    pablo, Djahat и GRINE нравится это.
  19. archiver

    archiver Member Пользователи

    Регистрация:
    22 фев 2017
    Сообщения:
    19
    Вот нормальный макрос для обработки прайсов: Ссылки недоступны для гостей. Он может все, что нужно для работы с прайсами разных поставщиков.
     
    ttimbaland нравится это.
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Автоматический запуск макросов Excell для спарсенных CSV нужен?
     
    ttimbaland нравится это.

Поделиться этой страницей