Парсинг Walmart

Добрый день!
Хочу спарсить ссылки на товары Ссылки недоступны для гостей, протестировал 2 способа:
1) Сканером сайтов собрал ссылки на страницы категорий, после этого для сбора ссылок использовал парсинг ссылок товара в повторяющихся границ парсинга, а также во вкладке ссылки. Процесс очень долгий поскольку нужно использовать WBapp и ссылок на категории около 1,6 млн.
2) Побывал напрямую без WBapp собрать ссылки на страницы товара, но но в список очереди ссылки на товар добавляются очень медленно и сканирование останавливаеться при отсутствии ссылок.

Подскажите, пожалуйста, как можно более эффективно получить ссылки на товар.
Проект прикрепляю на стороннем ресурсе, проект очень большой, 156 Мб.
Ссылки недоступны для гостей

 

Можно решить на платной основе

 

Цена?

 

А собрать ссылки с карты сайта не вариант?
Ссылки недоступны для гостей
Ссылки недоступны для гостей

 

Спасибо!
я пробовал собрать ссылки с карты сайта, но благодаря Вам понял в чем ошибки сделал.

 

Так же возникла проблема при сборе ссылок, на 6% или 7,5 млн. ссылок что недостаточно памяти.
Хотел настроить что бы ссылки записывались в файл, но насколько понимаю, записывают только после окончания парсинга.
Подскажите пожалуйста как собрать 100-120 млн. ссылок с карты сайта в CD или в файл?