ссылка с cookie, прокси и как это совместить

Тема в разделе "Решение различных задач по парсингу", создана пользователем KPOCAB4EG, 6 авг 2014.

  1. KPOCAB4EG

    KPOCAB4EG New Member Пользователи

    Регистрация:
    6 авг 2014
    Сообщения:
    19
    доброго времени суток.

    необходимо спарсить информацию с одного сайта, но есть проблема:
    ссылки, содержат (помимо самой ссылки) &page=&sc=семьдесят_четыре_символа, при их подстановке в ссылки для парсинга - пустая страница (как при бане прокси). в браузере же, переход по ссылке предлагает перейти на главную страницу. как я понял, это связано с cookie. каким образом сделать авторизацию и запись cookie для каждого из прокси и добавление к ссылке этих рандомных значений?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Простите, но с этим вам не могу помочь, так как не знаю решения.
    Возможно это даже не из-за параметра, а, например, из-за куков.
    Попробуйте передать куки из Firefox Ссылки недоступны для гостей
    Также можете попробовать парсить с помощью Internet Explorer (включается в ctrl+h).
     
  3. KPOCAB4EG

    KPOCAB4EG New Member Пользователи

    Регистрация:
    6 авг 2014
    Сообщения:
    19
    спасибо за ответ!
    вообщем, я так понял там md5, что в нем и от чего зависит - непонятно.
    тогда такой вопрос: возможно ли парсить данные из ссылки, которая находится в ссылке?)
    на примере проще:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
    Откройте шаблон вывода (ctrl+2). Нажмите ctrl+f и введите [GETREDIRECT]
    В дереве макросов снизу подсветится этот макрос, пробуйте его...
     

Поделиться этой страницей