Парсинг выдачи поисковых сетей и последующий парсинг имэйлов

Здравствуйте, нужен парсер на базе Content Downloader, который парсит ссылки поисковой выдачи по ключевым словам, а затем парсит имэйлы с этих ссылок.
Например, спарсили 1000 ссылок по запросу "холодильник", после этого вытаскиваем имэйлы с этих ссылок. И так далее. Парсинг планируется регулярный

ПС: Яндекс, Гугл, Мэйл ру, Бинг

На выходе должна получиться таблица со столбцами: Поисковый Запрос — Домен — URL — Почта

Нужен не разовый результат, а файл проекта.

Цена - договорная, оплата - банковская карта, по договоренности и другие способы

 

Здравствуйте. Тут нужен комплекс парсеров. Это серьёзная, амбициозная задача, и стоить её реализация, будет 40 тыс.

 

Тут, скорее, дело не столько в реализации, сколько в хороших проксях.

 

предположу, что у вас нет практики создания подобного рода проектов
прокси - это самое малое...

 

Есть вариант на основе другой программы, но со старта надо будет выложить около 300$, устроит?

 

В чем именно проблема сделать это средствами программы? В поиске имейл адреса на сайтах?

 

Хотя-бы том что, при переходе из поисковой выдачи - не всегда попадаем на страницу с email

 

Не проблема, можно написать проект который ищет по всему сайту email адреса. Например, если не находит на главной, ищет по страницам "о нас", "контакты" и т.д. Что-то типа такого:

 

В идеале надо делать так, что бы искал на страницах сайта по приоритетам. То есть сначала на главной, потом на страницах, где потенциально могут быть контакты, потом на страницах с уровнем вложенности определенным, при этом, на определенном этапе, когда емайл найден, поиск на данном сайте должен останавливаться.

 

То же самое я и отправил, ищет на главной, потом на страницах контактной информации, можете дописать чтобы искал по остальным страницам. Просто на скорую руку проект накидал.

 

А логика остановки поиска по остальным страницам прописана, в случае, если найден емайл на первых страницах, предазначенных для поиска?

 

Если найден email на главной, то остановит, если не найден будет искать на страницах у которых анкор содержит вхождения "контакт","о нас","о компании", можно убрать поиск по вхождениям, но тогда будет дольше искать.

 

Предположение неверное. Есть опыт создания похожих проектов. Хотя, справедливости ради, при работе использую и другой софт. Тут дело привычки и лени, оно и так работает.

 

На практике, будет плохой результат.

 

На платной основе могу сделать приложение для поиска email по сайтам и результат будет какой вам нужен. Этот скрипт писался минут 5, чтобы показать другим пользователям что можно перейти из cd на станицу с email.

 

Не нужно забывать про замечательный макрос GETURLSBYANCHORS!

 

безусловно - но я ими не пользуюсь ))

А какие есть варианты обхода ограничений поисковой выдачи на один ключ ?

 

Зря не пользуетесь GETURLSBYANCHORS! Это прекрасно - выдернуть по анкорам страницы с контактными данными, а потом спарсить, что нужно. Впрочем, каждый делает, как удобно.

Варианты обхода поисковой выдачи могут быть разные. Зависит от ситуации. Нужно использовать логику. Иногда работает добавить к ключу хоть одну букву алфавита, цифру; иногда: название города и т.д. Также советую погуглить сложные запросы google. И не забывайте, не единым гуглом жив человек!

 

Тоже - неверно, касаемо обсуждаемой программы. И, дело, не в программе. Она - отличная!

PS Я не участвую в предложении написания проекта за деньги, а участвую в обсуждении. Просто делюсь опытом. Что-то похожее у меня вполне успешно работает.

 

Несомненно))
Тут главное фантазия. Возможностей у неё хватает слихвой!