Быстрый импорт записей (около 1 млн.) на WP. Можно сделать быстрее, чем за 48 часов?

Тема в разделе "Другое", создана пользователем knyazkovstudios, 18 апр 2020.

  1. knyazkovstudios

    knyazkovstudios New Member Пользователи

    Регистрация:
    15 апр 2020
    Сообщения:
    4
    Город:
    Rivne
    Добрый день! Это мой первый пост на форуме, прошу не судить строго.

    На данный момент получилось спарсить и сделать настройку вывода через границы парсинга (заголовок, описание) всех 1 млн. спарсеных ссылок с разных сайтов. Формат csv (UTF-8 без BOM). Сделал как надо без проблем.

    Моя основная задача: Необходимо импортировать в Wordpress полученные 1 млн.записей максимально быстрым способом.


    =По факту=:

    Файлы csv со спарсенными записями очень тяжелые.

    20000 записей формата csv весят около 1,8 гиг.

    Соответственно, 1 млн. записей будут весить около 90 гигабайт.


    =Что предпринимал=:

    Плагин для WP - WP ALL IMPORT сможет импортировать около 1000MB за одну загрузку. Больше не получается Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    По времени это занимает около 8 минут.

    Таким образом, если необходимо 90 раз загружать файлы (90 гиг/1000MB),

    то это будет минимум 720 минут. Плюс – обработка и настройка 1 млн. записей (около 48 часов) - проверил по времени. И как итог – около 60 часов. Даже еще дольше, чем я написал в заголовке темы.

    А если еще что-то собьется, этот процесс будет еще дольше.


    Другой плагин для WP – Ultimate CSV Importer Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! совсем не тянет загрузку. Даже 200MB не смог загрузить.


    Плагин для WooCommerce есть (тоже тестировал).


    Во всех плагинах есть крутая фишка – обработка и загрузка файла может посредством загрузки его через URL, FTP. Но данная функция платная и стоит недешево.


    Мой вопрос в следующем:

    Можно 1 млн. записей (около 90гиг.) импортировать на WP быстрее, чем за 60 часов? Возможно есть какие-то возможности программы, о которых я не знаю. Подскажите, пожалуйста те, кто в теме.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    12.562
    Здравствуйте.

    Если немного разбираетесь в MySQL запросах, можно добавлять записи при парсинге с помощью подключаемого к шаблону вывода PHP скрипта Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    Подумаю над написанием такого скрипта.

    Других способов импорта такого объема данных пока не знаю.
     
  3. knyazkovstudios

    knyazkovstudios New Member Пользователи

    Регистрация:
    15 апр 2020
    Сообщения:
    4
    Город:
    Rivne
    В MySQL запросах не разбираюсь, к сожалению. Но PHP скрипт это интересно.

    Хочу у вас уточнить, вы сможете на платной основе его сделать (возможно среди участников форума спросить)?

    Или этот скрипт станет доступным в следующей обновленной версии программы?
     
  4. sten30

    sten30 Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    176
    Интересно, как у вас 20 тыс строк в CSV стали весить 2 гига?
    Есть и программа для управления магазином.
    Если напрямую в базу данных настраиваешь в ней соединение, то довольно быстро льет.
    emagic Store Manager for WooCommerce
     
  5. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    544
    Как-то попался такого вида файл, в нем фото товаров были сохранены в BASE-64 ))
     
    kagorec нравится это.
  6. Reset

    Reset Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    87
    От 1 млн записей WP ляжет, он и 100к тянет с тормозами, так что на эту затею можно забить
     

Поделиться этой страницей