Парсинг большого кол-ва данных в базу SQL

Добрый день всем!

Я новичок в работе с CD, может кто-то сможет подсказать, как решить мою задачу?:
Необходимо спарсить большое кол-во данных о компаниях (400-500 тыс.)- адрес, почта, тел и т.д.
Нужно, чтобы в итоге получилась база SQL со всеми данными для импорта на сайт.

- можно ли парсить сразу в базу SQL такое кол-во значений с помощью CD? не будет ли тупить от такого кол-ва строк в базе?

- в одну из ячеек в БД на каждую строку нужно сгенерить текст по определенному шаблону с включением спарсенных данных с этой страницы, например: Магазин {название магазина} продает {название товара} по цене {цена товара}. можно ли генерить такой текст параллельно с парсингом и сразу записывать данные в БД? или есть способ проще?

- как потом можно импортировать базу такого объема (а получится порядка 500-600 Мб а может и больше) на сайт? Движок не ВП. стандартными средствами phpMYadmin не получается импортнуть( долго импортирует - сервак засыпает и импорт отваливается). Может кто-то импортировал такого объема базу через SYPEX или BigDump?

Если предложите другие варианты решения, буду благодарен))

 

Здравствуйте.

1) Можно Ссылки недоступны для гостей
2) Можно, для парсинга и вывода информации используйте границы парсинга Ссылки недоступны для гостей и помещайте их макросы в нужные места шаблона вывода
3) Вы же собрались сразу парсить в базу, при парсинге каждого товара данные будут добавляться в базу (смотрите пункт 1)

 

Я имел ввиду, если допустим, парсить в БД на локалке. Я правильно понимаю, что на локалку писаться в базу данные будут быстрее, чем сразу их в БД на сервере грузить?

Меня собственно интересует, как ПРАВИЛЬНЕЕ И БЫСТРЕЕ выполнить поставленную задачу? может мной предложенный способ -не самый хороший вариант)

 

Правильнее и быстро - миновать локальную БД и сразу парсить в БД на сервере.

 

Спасибо за помощь! буду разбираться

 

Приветствую!

Скрипт для добавления в данных в mysql-базу вызывается в повторяющейся границе и для некоторых документов может вызываться до ~200 раз. Документов много и поэтому в базу записываются не все данные, т.к. CD не успевает выполнить все ~200 вызовов скрипта и переходит к другому документу. Сталкивался ли кто-нибудь с такой проблемой и как решали?

 

Проверьте максимальное кол-во одновременных подключений к БД

Код:

SELECT @@max_connections;

Увеличить максимально допустимое количество подключений:
Можно выполнив в mysql

Код:

set global max_connections = ***;

Или в файле my.cnf добавить или изменить секцию, при этом необходимо перезагрузить mysql.

Код:

max_connections = ***