Быстрый импорт записей (около 1 млн.) на WP. Можно сделать быстрее, чем за 48 часов?

Добрый день! Это мой первый пост на форуме, прошу не судить строго.

На данный момент получилось спарсить и сделать настройку вывода через границы парсинга (заголовок, описание) всех 1 млн. спарсеных ссылок с разных сайтов. Формат csv (UTF-8 без BOM). Сделал как надо без проблем.

Моя основная задача: Необходимо импортировать в Wordpress полученные 1 млн.записей максимально быстрым способом.


=По факту=:

Файлы csv со спарсенными записями очень тяжелые.

20000 записей формата csv весят около 1,8 гиг.

Соответственно, 1 млн. записей будут весить около 90 гигабайт.


=Что предпринимал=:

Плагин для WP - WP ALL IMPORT сможет импортировать около 1000MB за одну загрузку. Больше не получается Ссылки недоступны для гостей

По времени это занимает около 8 минут.

Таким образом, если необходимо 90 раз загружать файлы (90 гиг/1000MB),

то это будет минимум 720 минут. Плюс – обработка и настройка 1 млн. записей (около 48 часов) - проверил по времени. И как итог – около 60 часов. Даже еще дольше, чем я написал в заголовке темы.

А если еще что-то собьется, этот процесс будет еще дольше.


Другой плагин для WP – Ultimate CSV Importer Ссылки недоступны для гостей совсем не тянет загрузку. Даже 200MB не смог загрузить.


Плагин для WooCommerce есть (тоже тестировал).


Во всех плагинах есть крутая фишка – обработка и загрузка файла может посредством загрузки его через URL, FTP. Но данная функция платная и стоит недешево.


Мой вопрос в следующем:

Можно 1 млн. записей (около 90гиг.) импортировать на WP быстрее, чем за 60 часов? Возможно есть какие-то возможности программы, о которых я не знаю. Подскажите, пожалуйста те, кто в теме.

 

Здравствуйте.

Если немного разбираетесь в MySQL запросах, можно добавлять записи при парсинге с помощью подключаемого к шаблону вывода PHP скрипта Ссылки недоступны для гостей

Подумаю над написанием такого скрипта.

Других способов импорта такого объема данных пока не знаю.

 

В MySQL запросах не разбираюсь, к сожалению. Но PHP скрипт это интересно.

Хочу у вас уточнить, вы сможете на платной основе его сделать (возможно среди участников форума спросить)?

Или этот скрипт станет доступным в следующей обновленной версии программы?

 

Интересно, как у вас 20 тыс строк в CSV стали весить 2 гига?
Есть и программа для управления магазином.
Если напрямую в базу данных настраиваешь в ней соединение, то довольно быстро льет.
emagic Store Manager for WooCommerce

 

Как-то попался такого вида файл, в нем фото товаров были сохранены в BASE-64 ))

 

От 1 млн записей WP ляжет, он и 100к тянет с тормозами, так что на эту затею можно забить