Не вижу данные после авторизации - помогите спарсить?

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем drpellot, 17 ноя 2014.

  1. drpellot

    drpellot New Member Пользователи

    Регистрация:
    23 сен 2014
    Сообщения:
    15
    Здравствуйте уважаемые гуру. Помогите советом вот в каком вопросе. На сайте данные подгружаются скриптами. Для сбора ссылок использовал IE - собрались нормально (без него ничего не собиралось, но оно стало понятно после прочтения форума). После этого нужно собрать контент: Артикул, Цену и Доступные размеры (последние 2 параметра доступны только после авторизации). Прохожу авторизацию, опять же использую IE. Открываю задание выбранных границ. В браузере предпросмотра видно, что авторизация прошла, т.е. цену и доступные размеры видно, но в коде их нет. Использовал метод передачи куки в программе при авторизации, потом пробовал авторизацию методом пост, потом передавал куки из плагина фаирфокса - результат один и тот же. В браузере предпросмотра данные есть, в коде их нет. И когда происходит загрузка страницы в WBApp тоже не видно, чтобы прошла авторизация.
    Помогите советом, что делаю не так?
    Файл с проектом и авторизацию (прошу сразу удалить) прилагаю.
     
    Последнее редактирование: 18 ноя 2014
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Простите, но у меня ничего не вышло с этим сайтом. Он почему-то сбрасывает авторизацию.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нашел хитрое решение - при парсинге каждого товара автоматически вводить логин и пароль в WBApp (требуется тип лицензии ULTIMATE).
    Файлы проектов прилагаю. После загрузки проекта .cdp нажать ctrl+w, затем нажать ctrl+d и в открывшуюся папку поместить прикрепленный тут проект .wbapp

    Результат получаем желаемый:
     

    Вложения:

  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот побыстрее теперь парсит
     

    Вложения:

  5. drpellot

    drpellot New Member Пользователи

    Регистрация:
    23 сен 2014
    Сообщения:
    15
    Спасибо.
    Скажите, если сейчас тип лицензии Стандарт, то я не могу использовать WBApp даже для предпросмотра и задания границ парсинга?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Не можете, пока не произведете апдейт до ULTIMATE...
     
  7. drpellot

    drpellot New Member Пользователи

    Регистрация:
    23 сен 2014
    Сообщения:
    15
    Прошу прощение за тупой вопрос, сначала написал, потом разобрался. Обновил лицензию до ULTIMATE, список событий замечательно работает, можно парсить. Хоть и медленно, но огромное спасибо за совет.

    Ещё появился вот такой вопрос: как спарсить картинки вот такого вида:
    /upload/resize_cache/iblock/b27/386_2000_1/15╨▒╨╗╤Г╨╖╨║╨░.jpg
    /upload/resize_cache/iblock/f16/713_9999_1/17╨▒╨╗╤Г╨╖╨║╨░.jpg

    Я так понимаю, тут проблема с кодировкой? CD находит границы парсинга изображения и вроде говорит, что загружает изображения, но в окне предпросмотра результатов в csv написано, что изображения не загружены. Если я поменяю кодировку с auto на любую другую, то перестает парситься остальная информация, да и в имени картинки все без изменения. "брать имена файлов из границы парсинга 1" не помогает, конструкция [IMAGESNAMES] + [CSVIMAGES] тоже не работает.
     
    Последнее редактирование: 19 ноя 2014
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Выложите, пожалуйста, сюда файлы проекта (*.cdp + *.wbapp), постараюсь помочь.

    Спасибо!
     
  9. drpellot

    drpellot New Member Пользователи

    Регистрация:
    23 сен 2014
    Сообщения:
    15
    Собственно изменился только файл проекта. Проблема возникает в самых первых ссылках и кое-где в остальных.
     
    Последнее редактирование: 19 ноя 2014
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Самое интересное - на этом сайте такие изображения и есть (в таком странном виде и предоставлены в коде)!

    Для преобразования этих символов в URL-кодировку добавил макрос [URLENCODE] (смотрите прикрепленный проект). Теперь эти картинки прекрасно загружаются!

    С уважением к вам, Сергей...
     
  11. drpellot

    drpellot New Member Пользователи

    Регистрация:
    23 сен 2014
    Сообщения:
    15
    Я когда увидел вид изображений в коде, очень удивился, впервые такое вижу.

    Огромнейшее спасибо!!! Действительно все заработало :clap:.
    P.S. Удалите пожалуйста файл проекта.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Удалил.

    Пожалуйста, обращайтесь...
     

Поделиться этой страницей