Парсинг товаров с сайта поставщика, слетает авторизация

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем SylarMG, 16 янв 2017.

  1. SylarMG

    SylarMG New Member Пользователи

    Регистрация:
    16 янв 2017
    Сообщения:
    11
    Добрый день, у меня в принципе получилось настроить парсинг данных с сайта поставщика, единственный ньюанс, постоянни во время парсинга слетает авторизация. нашел 1 костыль, если в браузере(в лисе) постоянно щелкать по сайту, то авторизация не слетает и в программе парсинг проходит успешно. Может кто то помочь решить задачку?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Настройте функцию автоматической авторизации при парсинге (когда это потребуется).

    Делайте аналогично этому материалу Ссылки недоступны для гостей только вместо распознавания каптчи в проекте WBApp будет функция авторизации и передачи cookies в Content Downloader (событие [GETCOOKIES_EX]).

    Если будут вопросы или останутся непонятные моменты, пишите, постараемся помочь.

    PS: Если первый способ не подойдет, имейте ввиду, что с помощью макроса шаблона вывода [RUN] можно открывать любое приложение в Windows с передачей ему параметров запуска (например, для открытия указанного WEB-адреса)

    2017-01-16_12-37-13.png

    2017-01-16_12-41-21.png
     
  3. SylarMG

    SylarMG New Member Пользователи

    Регистрация:
    16 янв 2017
    Сообщения:
    11
    к сожалению я не справился, это уже слишком сложно.
    возможно ли чуть более пошагово расписать порядок действий? могу предоставить файл пректа, и доступ на сайт поставщика
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Да, лучше предоставить данные на почту(информация есть в профилях), И желательно детально расписать, при каких условиях,( например прошло 19 ссылок, слетела авторизация или что-то подобное) все это происходит.
     
    Root нравится это.
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ничего сложного нет.

    Вот, допустим ответ на ваш изначальный вопрос + файл проекта (открывать страницу в Firefox через указанное количество спарсенных документов):
    2017-01-17_13-02-09.png
     

    Вложения:

  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Посмотрел ваш файл, был крайне удивлен.
    Вы просто сгенерировали тысячи несуществующих товаров, + парсите в 20 потоков, конечно у вас будет слетать авторизация. Это нормальное поведение в такой ситуации.
    Соберите нормально ссылки с категорий
    Проверил, в 1 поток, 113 ссылок, быстро и весело.
    ПРИ ЭТОМ НЕЛЬЗЯ ПРИ ПАРСИНГЕ ЛАЗИТЬ ПО САЙТУ, АВТОРИЗАЦИЯ БУДЕТ СДЕЛАТЬ
     
  7. SylarMG

    SylarMG New Member Пользователи

    Регистрация:
    16 янв 2017
    Сообщения:
    11
    Вообще я не генерирую ссылки, а использую сканер сайтов.
    сколько потоков использовать?
    Вот видеоо как я делаю
     
    Последнее редактирование: 18 янв 2017
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попробуйте парсить в 1 поток, если авторизация не "слетит" увеличивайте количество потоков до максимально допустимого для данного сайта (определяется опытным путем).
     
  9. SylarMG

    SylarMG New Member Пользователи

    Регистрация:
    16 янв 2017
    Сообщения:
    11
    Добавил видео в сообщение выше, как я делаю
     
  10. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    попробуйте поставить паузу между запросами, например 500, должно собирать больше
     
  11. SylarMG

    SylarMG New Member Пользователи

    Регистрация:
    16 янв 2017
    Сообщения:
    11
    Так же выкинуло на 19 отобранных ссылках

    Даже после того как добавил 5000 мс
     
  12. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    просто вставил категорию во вкладку ссылки
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    нормально забрал ссылки и спарсил данные. Я бы на вашем месте не использовал сканер.
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Тема куда-то не туда зашла. SylarMG я не понимаю, в чем проблема! Вам назвал способ автоматической авторизации, он вам из-за сложности не подошел. Я ответил на ваш изначальный вопрос (как периодически открывать сайт в Firefox) и, как понял, вы его не пробовали (тогда зачем я тут отвечаю вам?). Может быть вы все-таки вернетесь к использованию одного из этих способов...
     
  14. SylarMG

    SylarMG New Member Пользователи

    Регистрация:
    16 янв 2017
    Сообщения:
    11
    Сделал по вашему способу, однако при сборе ссылок слетела авторизация на 79 ссылке
     
    Root нравится это.
  15. SylarMG

    SylarMG New Member Пользователи

    Регистрация:
    16 янв 2017
    Сообщения:
    11
    Получается сделать 3 проекта. 1 спарсить ссылки на категории(думал использовать num. однако у них категории дюже круто пронумерованы, есть коды боллее 3000). вторым парсить ссылки на товары со страниц категорий. а третьим уже парсить требуемые данные?
     
  16. SylarMG

    SylarMG New Member Пользователи

    Регистрация:
    16 янв 2017
    Сообщения:
    11
    Сделал по вашему способу, все работает, ни одного слета от начала и до конца. Огромное Вам человеческое спасибо.
     
    napserious, Kreol и Root нравится это.
  17. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Пожалуйста, будут вопросы обращайтесь.
     
    napserious и Root нравится это.

Поделиться этой страницей