Возможен ли паралельный сбор ссылок и парсинг контента, если да то как?

Здравствуйте
getmorecontent

 

На вкладке Контент ищите ваши ссылки и сразу их передаете в getmorecontent снимая данные

 

ТС, чтобы не растягивать тему на несколько страниц выспрашивая какой же сайт какие решения предложить соответствующие - стоило описать подробнее.
Вы как спросили кратко так вам и ответили - логично?)

По сути используя getmorecontent вы наврятли добьетесь скорости если со страницы категорийной будет выпарсивать одновременно 25 getmorecontent.
Отследить качество парсинга сложнее, скорость одинакова с тем же прямым парсингом по товарным ссылкам собранными со сканера.

п.с. нужны подробности об источнике.

 

Не малый объем работ по парсингу этих вариантов запросов собирать))
/popular.html со страницы собираем через F6 выделив область, потом в сканер в список очереди и по маске /popular/ и .html , далее распарсивать.
Легче тут не придумать, все что нужно собрать придется стандартным путем через выделение границ и повторяющиеся границы (смежные категории, похожие запросы).

 

Ну и все это разделять на 10-ки проектов, а не парсить все в 1

 

Ага. Чтоб эти миллионы выпарсивать, придеться делить списки ссылок для проектов.
drvoodoo, если не секрет - вы собираетесь поднять аналог алиекспресса в России?))