Поиск по сайту по ключевым словам и парсинг выдачи

Привет. Есть сайт, в котором есть поиск. Также имеется файл с ключевыми словами, которые нужно прогнать через этот поиск и получить ссылки на результаты, которые нужно впоследствии обработать. Это не парсинг поисковых систем, но типа того получается.

Куда копать?

 

Ок, давайте распишу более подробно.

Смотрите - есть сайт pornhub.com. У меня есть список ключевых слов. У них есть поиск по сайту, через который можно искать ролики.

Файл с ключами - обычный .txt, там десятки тысяч ключей.

Задача: взять ключ из файла, вбить его в поисковую строчку, получить ответ в виде нескольких роликов. Это будут урлы на страницы этих видео. Затем нужно зайти на каждую страницу и спарсить по шаблону из исходного года embed, duration и ссылку на тумбу. Все это есть в коде видео.

И так пройтись по всем имеющимся в .txt ключам.

Вопрос: возможно ли это сделать с КД (у меня ультимейт версия) или же не стоит заморачиваться и использовать для этого другие инструменты? Если возможно, то хотелось бы понять примерный алгоритм действий. Если заморочено именно с КД это делать - то буду искать другие пути решения.

 

Можно через wbapp реализовать. Читать файл с ключами, вводить ключ в форму поиска, далее парсить выдачу.
Можно взять url из браузера, после того как отправите запрос с ключом, и посмотреть как формируется ссылка. Далее генерировать ссылки. Парсить выдачу.
Пошаговая реализация каждого из предложенных вариантов описана - Ссылки недоступны для гостей

P.S. Если, что не понятно. Можно реализовать на платной основе.

 

О какой сумме идет речь? За инфу благодарю, почитаю.

 

Спасибо, я знаю про эти дампы, но там ИХ кеи, а не мои А мне нужно именно парсинг сайта по моим ключам.

Буду пробовать разобраться