Парсинг с нескольких кук

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем adultbot, 25 янв 2017.

  1. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    Как парить сайт с нескольких кук? На примере ВК, пробывал добавлять в "Настройка HTTP-запросов" несколько строчек куков (куки разных аккаунтов), но парсит с одного!
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2017-01-25_11-10-38.png
     
    kagorec нравится это.
  3. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    Всё равно одни куки. Что не правильное делаю? Втавляю так..

    Cookie: remixlang=0; remixflash=20.0.0; remixscreen_depth=24; remixdt=0; remixseenads=0; _ym_uid=1485301885835017272; remixtst=21c68c36; remixsid=520049260c8b8fe4655098ee4da9e702943ca0a9b608f9e6fd822; remixsslsid=1
    User-Agent: MSIE 10.0
    ...
    [ROTATION]
    Cookie: remixlang=0; remixflash=20.0.0; remixscreen_depth=24; remixdt=0; remixseenads=0; _ym_uid=1485301885835017272; remixtst=21c68c36; remixsid=001c5a08501333d2bfa25d14d612d521db9bf6d5757e003262967; remixsslsid=1
    User-Agent: MSIE 11.0
    ...
    [ROTATION]
    Cookie: remixlang=0; remixflash=20.0.0; remixscreen_depth=24; remixdt=0; remixseenads=0; _ym_uid=1485301885835017272; remixtst=21c68c36; remixsid=9d0cb2134d4c5fbe81698c00e3e310186570018805a0a2baffad5; remixsslsid=1
    User-Agent: MSIE 10.0
    ...
    [ROTATION]
    Cookie: remixlang=0; remixflash=20.0.0; remixscreen_depth=24; remixdt=0; remixseenads=0; _ym_uid=1485301885835017272; remixsid=e6492d43e786cb2882b17b89129f7d1f3d572409ba0fa648c6186; remixsslsid=1
    User-Agent: MSIE 11.0
    ...
    [ROTATION]
    Cookie: remixlang=0; remixflash=20.0.0; remixscreen_depth=24; remixdt=0; remixseenads=0; _ym_uid=1485301885835017272; remixsid=fb3a972fe50cf01a32e0a0680f5e0566ab3d4454e3085035f3219; remixsslsid=1
    User-Agent: MSIE 11.0
    ...
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Только что проверил работу функции с вашим набором данных, все ok!

    При выполнении предпросмотра результатов парсинга или при задании границ парсинга документ кешируется (ссылка становится зеленого цвета). Соответственно, загрузка нового кода документа с сайта не происходит.

    Отключите кеширование в окне ctrl+8 или очищайте кеш выбранной ссылки с помощью сочетания клавиш ctrl+пробел

    С уважением к вам, Сергей.
     
  5. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    Жирным выделил куки не находит, а custom headers: меняется и берёт из списка и в проекте не авторизовыван по кукам! Кеширование отключено.
    Лог выполнения функции...

    user-agent:
    Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0

    cookie:
    N/A


    proxy:
    N/A

    custom headers:
    Cookie: remixlang=0; remixflash=20.0.0; remixscreen_depth=24; remixdt=0; remixseenads=0; _ym_uid=1485301885835017272; remixtst=0b87f946; remixsid=d3722e155c27483ef1a798dbb702b345fa7982f467aa142d8dfdb; remixsslsid=1
    User-Agent: MSIE 10.0
    ...

    post-data:
    N/A
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Cookies у вас передается из Custom Headers. Они отправляются и могут от туда передаваться. Просто в логе выводится N/A из-за не заполненности соответствующего поля в окне ctrl+h.
     
  7. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    Так что мне делать? с одними куками работает проект, а с несколькими нет!
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я подозреваю, что сайт "понимает" какие cookies он выдает и кому, там же есть что-то вроде ID сессии и прочее. Думаю, что просто-напросто работают только последние полученные cookies, а старые приходят в негодность.

    Если вам надо менять аккаунты при парсинге ЭТОГО САЙТА, я вижу только 1 вариант - постоянно производить действия авторизации в приложении WBApp.

    PS: Программа исправно отправляет cookies из поля custom headers с применением операторов [ROTATION]
     
  9. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    это сайт вконтакте, можете проверить? может всё таки в другом проблема!
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я проверял, программа исправно отправляет cookies из поля custom headers с применением операторов [ROTATION]
     
  11. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    Пробывал тоже самое на ok.ru тоже не авторизуется через custom headers с применением операторов [ROTATION] ротация происходит по логу, а по факту нет авторизации!
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вы меня не слышите. Перечитайте, пожалуйста:
     
  13. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    Тестировал через zennoposter работает по аналогии с cookies, там всё работает, поэтому...
    "Думаю, что просто-напросто работают только последние полученные cookies, а старые приходят в негодность."
    Не в этом дело...
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Покажите скриншот окна Ctrl+H
     
  15. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    scrin http.jpg
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Теперь понятно в чем дело. HTTP-заголовки при парсинге через Internet Explorer не подставляются. Либо парсить через стандартную библиотеку запросов с использованием cookies и [ROTATION], либо производить действия авторизации в WBApp.
     
  17. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    А как парсить через стандартную библиотеку?
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Убрать галочку "Контент" в окне ctrl+h
     
  19. adultbot

    adultbot New Member Пользователи

    Регистрация:
    23 янв 2017
    Сообщения:
    14
    Убрал, но по прежнему не работает! Может быть проект скинуть, что необходимо для этого?
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Изучением и доработкой проектов я не занимаюсь. Этими делами занимаются специалисты по настройке. Можете с этим вопросом обратиться к ним.
     
    Kreol нравится это.

Поделиться этой страницей