Как парсить в CSV более 10000 товаров

Тема в разделе "Решение различных задач по парсингу", создана пользователем dimochkaorg, 12 сен 2019.

  1. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    180
    Доброго времени суток, дорогие форумчане. Реализовал задачу парсинга xml файла, но наткнулся на неприятную особенность, что при парсинге в один файл, а нужен именно один файл, больше 10.000 строк не парсится. Как быть?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2019-09-12_10-12-57.png
     
    dimochkaorg нравится это.
  3. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    180
    Прошу простить за такой тупой вопрос. Ну вылетело из головы. Я все настройки перерыл. Спасибо огромное, а то я бы еще два часа бы искал :)))))))
     
    Root нравится это.
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Обращайтесь
     
  5. dimochkaorg

    dimochkaorg Active Member Пользователи

    Регистрация:
    25 мар 2017
    Сообщения:
    180
    Лучше, но не до конца Итак... Изначально парсится один файл xml 66 мегайбайт... Поставил максимальное количество и поставил для быстроты 50 потоков допарсило почему-то до 19999, а там точно больше 50.000 продуктов. В чем еще может быть дело?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вам видней, вы же парсите, и логи перед вашими глазами (ctrl+l).
     
    Последнее редактирование: 12 сен 2019
Similar Threads
  1. White200570
    Ответов:
    8
    Просмотров:
    1.271
  2. tsolomon
    Ответов:
    3
    Просмотров:
    829
  3. Arless
    Ответов:
    9
    Просмотров:
    1.316
  4. varvar
    Ответов:
    1
    Просмотров:
    950
  5. vladimir4000
    Ответов:
    7
    Просмотров:
    541
Загрузка...

Поделиться этой страницей