Можно ли парсить яндекс гугл и т.д

Тема в разделе "Свободный форум", создана пользователем sekoan, 29 янв 2015.

  1. sekoan

    sekoan New Member Пользователи

    Регистрация:
    29 янв 2015
    Сообщения:
    6
    Ребят всем привет, ничего не понимаю в вашей программе, но такой вопрос, мне нужно спарсить в поисковике, любом, по определенным словам, и если в сайте (в исходном коде есть определенные значения) то этот сайт добавить в список, возможно ли такое? И Если да кто может сделать такой шаблон? Сколько он будет стоить?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Думаю, что возможно.

    Для заказа настроек программы вы можете обращаться к этим ребятам Ссылки недоступны для гостей

    Если начнете выполнять настройку самостоятельно и столкнетесь с затруднительными моментами, можете обращаться сюда за помощью в их преодолении.

    Спасибо!

    С уважением к вам, Сергей...
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Выдачу поисковика по кеям собирать надо со вкладки "ссылки"
    Потом на вкладке "контент" на каждый сайт зайдет программа и проверит наличие тех элементов которые зададите.
    п.с. обращайтесь.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проверить наличие "элементов" можно макросом шаблона вывода [CHECKENTRY] (Ссылки недоступны для гостей).
     
  5. sekoan

    sekoan New Member Пользователи

    Регистрация:
    29 янв 2015
    Сообщения:
    6
    Подскажите пожалуйста, как отфильтровать ссылки по фильтру,если есть в исходном коде "кусок текста DOM" то сохранить, я работаю с фильтрами shift+ctrl+f
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Где применять фильтрацию: весь web-документ (загружаемый)
    Список выражений: "кусок текста DOM"

    С уважением к вам, Сергей...
     
  7. sekoan

    sekoan New Member Пользователи

    Регистрация:
    29 янв 2015
    Сообщения:
    6
    Благодарю за ответы, подскажите еще как и где настроить прокси,
    купил прокси в таком виде
    Cписок HTTP прокси серверов с авторизацией по паролю:TXT CSV
    Cписок SOCKS 4/5 прокси серверов с авторизацией по паролю:TXT CSV
    Cписок HTTP прокси серверов с привязкой к IP адресу:TXT CSV
    Cписок SOCKS 4/5 прокси серверов с привязкой к IP адресу:TXT CSV
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Нажимаете в программе Ctrl+R и там работаете со списком прокси.

    С уважением к вам, Сергей...
     
  9. sekoan

    sekoan New Member Пользователи

    Регистрация:
    29 янв 2015
    Сообщения:
    6
    Подскажите, что я делаю не так, как правильно вставить прокси
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 9 фев 2015
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В логе у вас указано, что прокси используются. Вероятно, что ваши прокси в бане у Гугла.
     
  11. sekoan

    sekoan New Member Пользователи

    Регистрация:
    29 янв 2015
    Сообщения:
    6
    Посоветуйте, где купить прокси для гугла
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Для Google следует искать SOCKS5 прокси. Где именно их лучше купить - я вам сказать не могу, так как прокси не пользуюсь. Надеюсь, что вам кто-то еще подскажет или вы найдете эту информацию в интернет.

    Из рекомендаций:

    - Если вам не так важна скорость парсинга, можете парсить в 1 поток и подобрать паузу между запросами (чтобы не провоцировать бан Google и обходиться без прокси).

    - Если он выдает каптчу, использовать антикаптчу.

    С уважением к вам, Сергей...
     
  13. sekoan

    sekoan New Member Пользователи

    Регистрация:
    29 янв 2015
    Сообщения:
    6
    Пытаюсь парсить в один поток, находит первые 80-100 ссылок и потом такая ошибка
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Где в программе настраиватся антигейт? До конца не понимаю откуда эта ошибка, сам я перехожу на эту ссылку у меня каптчу не показывает, ссылки на странице есть.
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте!

    По поводу антикаптчи - Ссылки недоступны для гостей
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    И нужно разобраться, что именно за ошибку выдает Google. Перед парсингом передайте cookies из Internet Explorer: Вкладка "Ссылки" -> группа "Загрузка WEB-документа" - кнопка "авторизация с помощью cookies...". После появления вышеописанной вами ошибки опять нажимаете эту кнопку ("авторизация с помощью cookies...") и смотрите в появившемся окне ошибку, которую выдал Google).

    С уважением к вам, Сергей...
     

Поделиться этой страницей