Обьясните, пожалуйста, насчет прокси...

Здравствуйте!

При сборе ссылок из инет-магаза получилось собрать всего 100 ссылок, очевидно спарсились ссылки только с первой страницы каталога товаров... по неопытности не поставил паузу в начале и вероятно получил бан... повторные попытки с выставленной паузой не сработали... 100 ссылок не более..

обьясните, пожалуйста, поэтапно, как решить этот вопрос)

 

Здравствуйте, подождать, пока разбанит (переподключить интернет - помогает снять бан).
Парсить в 1 поток с использованием подобранной паузы.
Прокси не рекомендую - это часто "помойка", простите =)

 

поставил во вкладке контент - 1поток
начал с 60сек(60000мс) паузой, результат тот же - 100ссылок и все
может проблема в самих ссылках?

они такого вида
http://www.6pm.com/men-sneakers-athletic-shoes~f#!/men-sneakers-athletic-shoes-page2/CK_XARC81wHAAQLiAgMBGAI.zso?p={num}&s=goliveRecentSalesStyle/desc/

открываются все нормально...

 

Ну да, если бы вы еще предпросмотр второй ссылки сделали и проанализировали, что выдача такая же, как и на первой, кто мешал...

Для гет-запроса неважно все, что стоит после # в ссылке:

Пробуйте так:

 

Ссылки недоступны для гостей
и
Ссылки недоступны для гостей

выдачу просмотривал, она разная...

а вот насчет # не знал... без него все нормально заработало!
спасибо!

 

Я имел ввиду выдачу ссылок в программе (при предпросмотре результата парсинга ссылок).
Пожалуйста, обращайтесь...