большой XML с русскими символами

Тема в разделе "Решение проблем с использованием программы", создана пользователем Djahat, 15 май 2017.

  1. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Всем привет.
    то ли лыжи на едут, то ли я не въезжаю.

    Есть большой XML 50 мб - 800 000 строк - Ссылки недоступны для гостей
    Локально загружаю файл в парсинг.
    Пытаюсь распарсить его через повторяющуюся границу: начало <offer> , конец </offer>
    CD крутил проект ЧАС - результат так и не выдал.

    CD может как то распарсить такой большой файл XML или как то пробовать его раздробить ?

    Знает кто то? Буду рад любой помощи, спасибо.....
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Поделите на части, а вообще при настройке проверьте сначало на мизерном отрезке кода где пару элементов например из 800к строк возьмите 100. И потом как настроите и убедившись можно парсить.
     
    Djahat нравится это.
  3. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Да я так и сделал, 100 строк он запарсил норм. А вот все - нет. Я ждал ровно 2 часа - а CD так и не закончил. Видимо файл очень большой, так как комп у меня быстрый в принципе.
    Как то можно при помощи CD разобраться с этим или слишком тяжелый файл для разбора ?

    Дело в том что я пытаюсь настроить автоматическое обновление от поставщика.
    По ссылке XML
    Я его разбирать хотел в CD , и в повторяющейся границе PHP скрипт вызывать, на обновление базы данных. Так что разделять на несколько более маленьких xml мне не очень понятно как !
     
  4. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Всем привет
    Вообщем подождал 18,5 часов, процесс парсинга файла не закончился, результата нет.
    Сергей, как Вы думаете, такой большой файл CD в состоянии распарсить вообще ?
     

    Вложения:

    • nicht.png
      nicht.png
      Размер файла:
      1,6 КБ
      Просмотров:
      5
    • XML.cdp
      Размер файла:
      32,7 КБ
      Просмотров:
      1
  5. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    CD xml на 1млн строк не сможет разобрать как я понял ?
    Надо разделить на 500 частей каким - нибудь PHP Скриптом ?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вы хотите 800 000 запросов PHP-скриптом делать или в 1 запросе все отправить?
     
    Djahat нравится это.
  7. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Добрый день, спасибо за ответ. Я уже понял и осознал свою ошибку.

    Я хотел сначала разобрать XML - и записать его построчно в CSV для начала.
    Потом в каждой повторяющейся границе, я хотел прописать PHP скрипт, там примерно 30 000 товаров, на 800 000 строк.
    Таким образом у меня писался бы CSV и обновлялись данные на сайте.

    Но у меня зависал CD от того, что я брал данные ReplacОМ и GETом - а надо было использовать Обычные границы внутри повторяющихся, они менее ресурсо-емкие.
    + Я использовал макрос ONELINE - он тоже отожрал сколько то ресурса
    + Я еще и пытался сделать замену всех переносов строк, на НИЧТО, то есть удалить их - это тоже при 800 000 строк вешало CD
    Этого всего делать нельзя, не хватает мощностей не слабой машины.

    В результате: кто наткнется на этот пост: в таких больших XML не нужно делать лишних телодвижений, не брать данные через GET в Реплэйсе, не делать замен для символов которых много в файле.
     
    Последнее редактирование: 8 июн 2017
    Root нравится это.
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     

Поделиться этой страницей