GETMORECONTENT и Internet Explorer

Тема в разделе "Решение различных задач по парсингу", создана пользователем Gnom1k, 11 янв 2014.

  1. Gnom1k

    Gnom1k New Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    4
    К сожалению получается так, что могу залогиниться на сайт только с помощью DOM Internet Explorer, хотя авторизация и явно проходит через POST-запрос (но в итоге это не работает, как ни колдуй). В общем главное, что залогиниться я могу, соответственно могу добавить товар в корзину пользователя.

    Дальше мне нужно через GETMORECONTENT спарсить результат отработки скрипта, который оценивает стоимость пересылки. Скрипт оценивает стоимость пересылки текущей корзины пользователя. Я передаю GETMORECONTENT ссылку вида

    http://www.nippon-yasan.com/cart.php?token=4253f171277096ed9a5b26d95b6f8f4c&id_product=<SOMEGRAN>&add=1

    чтобы добавить товар в корзину (где SOMEGRAN- id товара из цифр, например 6274), а потом парсю

    Ссылки недоступны для гостей

    чтобы запустить этот скрипт. В обычном браузере вся описанная процедура простым ctrl+c - ctrl+v работает.

    Но проблема в том, что GETMORECONTENT явно использует внутренний браузер для парсинга, и в итоге я получаю страницу, где скрипт отрабатывает для пустой корзины (а пользователь незалогинен).

    Вопрос: нельзя ли научить GETMORECONTENT тоже использовать IE? Ну или кто что может подсказать, буду бесконечно благодарен :)
     
    Последнее редактирование: 11 янв 2014
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    По некоторым причинам решили оставить для GETMORECONTENT только традиционные GET-запросы.

    Ссылки недоступны для гостей - второй способ авторизации (передачей cookies) 100% должен работать!
    Если у вас не получится, то напишите, где именно затрудняетесь, попробуем помочь!

    Спасибо за обращение!
     
  3. Gnom1k

    Gnom1k New Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    4
    Ну, давайте я опишу, что именно я перепробовал :)

    На всякий случай ещё раз посмотрел видеоинструкцию способа №2, и повторил. Безрезультатно. Куки я передавал, и из встроенного бразуера, и из HTTP-заголовков, POST-запросы тоже пробовал. Я выискиввал и другие параметры, заголовки, в общем много мусора перелопатил, но результата не получил. Сработал только DOM IE.

    INDY и Clever Suite переключал, хотя смысла по идее нет, т.к. Clever Suite не поддерживает POST. Авторизация происходит на странице
    Ссылки недоступны для гостей. На этой картинке видно, что она проходит POST-запросом:
    Ссылки недоступны для гостей

    (Я могу прислать вам свои логин и пароль для теста в личные сообщения или на мыло)

    Я даже извращался, первой спарсив ссылку вида Ссылки недоступны для гостей

    Тем не менее, встроенный браузер никаким образом не хотел логиниться.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Доброе утро!

    Будет здорово, если вы вышлите мне логин и пароль на почту :yes:

    Спасибо! Хорошего дня!
     
  5. Gnom1k

    Gnom1k New Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    4
    Выслал письмо. Спасибо :)
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Эдуард, здравствуйте еще раз!

    Только что проверил, логинится! :yes::sun:

    Возможно вы после проб залогиниться методом ПОСТ программу не перезапускали и пытались подставлять cookies. Приоритет стоит на ПОСТ-авторизацию и пока программу не перезапустите, кукиес будут неактивны! ;)

    Что вам нужно сделать:

    1) Перезапустить программу;
    2) Открыть Firefox, залогиниться на сайте в Firefox, запустить плагин LiveHTTPHeaders, если там что-то будет - очистить содержимое;
    3) В адресную строку браузера вставить ссылку на товар и нажать Enter;
    4) Перейти в окно плагина, прокрутить список вверх и скопировать кукиес из первого запроса (на страницу товара) через правый клик;
    5) Перейти в Content Downloader версии не ниже 9, нажать ctrl+h и вставить cookies в соответствующее окно, затем закрыть окно нажав esc;

    Теперь должно быть все авторизовано! Нажимаем ctrl+f1 и видим ваше имя в коде страницы. На окно браузера можно внимания не обращать (там может быть не авторизовано).

    Надеюсь, у вас получится. Если будете затрудняться - пишите в Скайп.

    С уважением к вам, Сергей :bow:.
     

    Вложения:

    • 121212.png
      121212.png
      Размер файла:
      40,2 КБ
      Просмотров:
      0
    • 141414.png
      141414.png
      Размер файла:
      10,6 КБ
      Просмотров:
      21
  7. Gnom1k

    Gnom1k New Member Пользователи

    Регистрация:
    16 дек 2013
    Сообщения:
    4
    Спасибо, заработало :)
    Нда, даже не знаю что сказать X) При приоритеты был не в курсе, вот и натупил.
    Спасибо за развернутый ответ!
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста. Рад помочь, обращайтесь.
     

Поделиться этой страницей