Парсинг ПС

добрый день.

Все сталкивались с проблемой парсинга выдачи ПС.
пример : по запросу "ххх" - 15000 страниц с точным соотвествием

но ПС выводит макимум 1000 результатов , а на практике ~450
подскажите наработанные уловки , с помощью которых можно получить результат близкий в 15к.

от себя могу добавить "ххх site:ru" , где ru - доменная зона поиска

 

Чтобы выпарсить больше результатов из ПС нужно использовать слова-подстановки.

После непродолжительного парсинга google с операторами будет капча.

Вообще, на данном этапе CD не совсем предназначен для масштабного парсинга - нужно много, очень много проксей (от 1,5-2 тысяч) - с регулярным обновлением и чеков списка.

Но если собрать список статей по ключевику - то идеален!

 

хотелось бы парсить ссылки на сайты реализованные на определённой cms.
но как описано выше есть ограничение на количество страниц в выдачи , как это бороть?