URLs для парсинга

На текущий момент я делаю так, чтобы получить данные с сайтов:
1) запускаю "лягушку" (Frog Deo Spider), прогоняю сайт, далее
2) сохраняю юрлы для необходимой категории сайта, например определённый бренд велосипедов,
3) загоняю в ContentDownloader (CD) и парсю данные.

Но вот в чём дело: при прохождении лягушкой больших сайтов, например veloskad.ru, даже моих 16 ГБ оперативки не хватает, да и времени это занимает очень много

1) Есть ли способ оптимизировать этот процесс?
2) Можно ли как-то собрать урлы только определённой категории сайта?

 

1) Используйте CD для получения url ов, кто вам в этом мешает?
2) Парсите товары из какой вам необходимо категории.
Ну либо парсите sitemap.xml сайта на предмет товаров/категорий, но там бывает много мусора и не актуальных данных. Ссылки недоступны для гостей

 

Спасибо. Видимо, нужно изучать материалы FAQ.

 

Нужны актуальные данные.