Слетает авторизация

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем weresa, 15 окт 2014.

  1. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Подскажите, плиз, как сделать чтоб авторизация не отключалась при начале парсинга.
    У меня сайт, где цена товара видна только авторизованны пользователям.
    Захожу в "ключик" - авторизуюсь через Веб-браузер, передаю кукис - при настройке отображается правильная цена. Как только запускаю парсинг - в cvs-файле цены нет :( :headbang:
    Что я неправильно делаю?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Для парсинга того сайта нужно использовать другой метод авторизации.

    Ссылки недоступны для гостей (Авторизация методом передачи Cookies из плагина Firefox — LiveHTTPHeaders в настройку HTTP-запросов программы (ctrl+h) — САМЫЙ ВЕРНЫЙ МЕТОД)

    С уважением к вам, Сергей.
     
  3. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    А на Хром этот плагин поставится ?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нет, так как он для Firefox. Возможно на Хром есть что-то подобное, но не советую искать - долго. Проще поставить Firefox + указанный плагин, минут 10 займет...
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    WBapp вам поможет всегда быть актуально авторизированным на сайте, в условии IFCLICKED поместить макросы ввода логина и пароля.
    п.с. актуально для лицензии Ultimate
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если разово парсить, не нужно подключать WBApp, зачем... Замедлит процесс... Нужно просто передать Cookies из плагина Firefox.
     
  7. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Благодарю, авторизация вроде бы держится :)
    Но теперь другая проблема - на месте цены вылезает совершенно посторонняя цифра (ее нет на сайте). Откуда она берется и где в коде нужная, не понимаю...
    Сайт -
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Предлагаете нам там заводить логин и искать цену )

    Думаю, лучше вам предоставить нам логин с паролем + файл проекта. Либо показать тут весь код WEB-страницы с указанием реальной цены и того загадочного числа в коде.

    С уважением к вам, Сергей.
     
  9. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Прикрепила файл проекта.
    Я извиняюсь, но теперь снова авторизация отключилась ((((((
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Светлана Владимировна, можете пользоваться...
     
  11. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    СУПЕР! СПАСИБО!!! Все работает :) А в чем загвоздка была-то?
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Подправил передаваемые POST-параметры авторизации (посмотрите, какие стоят новые). Удалил лишние ссылки из списка (оставил только ссылки товаров).
    Проект из предыдущего сообщения удалю через пол часа, так что сделайте себе его копию.

    Обращайтесь...

    С уважением к вам, Сергей.
     
  13. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Добрый день.
    Теперь та же проблема на другом сайте. Авторизация через веб-браузер держится пока задаю границы, но при начале сбора ссылок авторизация сразу отключается. На сайте 240 товаров, а ссылок собирает 32 штуки, да и те левые...
    Все способы перепробовала - не получается (((
    Вот проект мой:
     

    Вложения:

  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Можете ли выслать мне на почту (sbfroot@gmail.com) данные для входа на сайт, посмотрю, в чем дело.

    С уважением к вам, Сергей.
     
  15. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Root, отправила пароль/логин
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо.

    Смотрите ответ по почте.
     
  17. Юлия

    Юлия New Member Пользователи

    Регистрация:
    9 июн 2015
    Сообщения:
    4
    Здравствуйте! Та же проблема. установила авторизацию как вы рекомендовали (Авторизация методом передачи Cookies из плагина Firefox — LiveHTTPHeaders в настройку HTTP-запросов программы (ctrl+h) — САМЫЙ ВЕРНЫЙ МЕТОД), ничего не выходит, что-то парсит, но в папке вывода ничего нет...
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Можете выслать файл проекта (в программе: меню - файл - сохранить проект) и логин с паролем для входа на сайт мне на почту sbfroot@gmail.com и я постараюсь посмотреть в чем дело.

    Спасибо!

    С уважением к вам, Сергей...
     
  19. Юлия

    Юлия New Member Пользователи

    Регистрация:
    9 июн 2015
    Сообщения:
    4
    Здравствуйте! Отправила все вам на почту
     
  20. weresa

    weresa Active Member Пользователи

    Регистрация:
    14 сен 2014
    Сообщения:
    237
    Это снова я, добрый день. Теперь мучаюсь с сайтом
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    - тоже при начале сбора ссылок и затем парсинга слетает авторизация, а без нее вообще нет смысла парсить, т.к. не показываются цены (((
    Запускаю в 1 поток с паузой в 1000 мс - не работает, POST-авторизация тоже не получается, а в плагине Файрфокс инфы немерено (он вообще своей жизнью живет, добавляет что-то постоянно с посторонних сайтов) - что оттуда копировать не соображаю. Может, опять нужно WBApp использовать, в последний раз помогло (но что это за зверь вообще?)
    Проект прикрепляю, данные для авторизации: моя почта/3z4b59
     

    Вложения:

Поделиться этой страницей