Парсинг WEB Archive (парсинг Веб Архива)

Discussion in 'Решения по парсингу популярных сайтов' started by zyzy, Sep 5, 2019.

Page 1 of 2
  1. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    Утро доброе. Хочу спарсить сайт из веб архива.
    Спарсил ссылки. Задал границы для страниц .html - все гуд.
    Но тут беда страницы с ?р попросту отдает код самого веб архива
    Ссылки недоступны для гостей
    А сама страница открывается в браузере.
    Пробовал ставить разные библиотеки, не помогло.
    Только грузится дольше. Подскажите как быть?
    Сам проект прикрепил.
     

    Attached Files:

    zyzy, Sep 5, 2019
    #1
  2. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Скорее всего редиректы вебархива слишком суровые долгие.
    Через wbapp как вариант парсить и при наличии редиректа дожидаться загрузки страницы.

    [​IMG]
     
    kagorec, Sep 5, 2019
    #2
    Root likes this.
  3. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    [​IMG]
    Дальше не видит.
    Вот так настроил
    [​IMG]

    Может я что то не так сделал?
     
    zyzy, Sep 5, 2019
    #3
  4. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Страница недогрузилась, нужно дождаться.
     
    kagorec, Sep 5, 2019
    #4
  5. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    Ждал.
    Загрузилась и сама страничка , а вот код полностью нет.
    Ссылки недоступны для гостей
    Где еще можно покопать?
     
    zyzy, Sep 5, 2019
    #5
  6. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Wbapp настройте макросики - ожидание появление элемента, паузу побольше. Например вам важно дождаться полной загрузки страницы из архива и там обязательно есть что-то внизу сайта, наподобие стилей footer, bottom, sidebar и т.д.
     
    kagorec, Sep 6, 2019
    #6
    zyzy likes this.
  7. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    Сделал следующим образом
    [​IMG]
    Но ни чего не поменялось. Или я не там копаю?
     
    zyzy, Sep 7, 2019
    #7
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Вам нужно использовать новый WBAppCEF

    Ссылки недоступны для гостей

    Сейчас проверил, на Internet Explorer этот сайт корректно не работает, хотя прямые ссылки на заархивированные страницы показывает и проблем с их парсингом я не выявил.
     
    Root, Sep 7, 2019
    #8
    kagorec likes this.
  9. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Пример приложен к посту
     

    Attached Files:

    kagorec, Sep 7, 2019
    #9
    Root likes this.
  10. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    Спасибо.Скачал.
    Теперь возник вопрос насчет макросов.

    Имеем ссылку Ссылки недоступны для гостей
    но как я понял этот макрос не подходит. Просто происходит тоже о чем писалось выше.
    CLICK][id][N]0[/N][FULL][ET_WAITFOR]:footer
    Из моего понимания footer - это метка в коде
    Я открываю нашу страницу и там тоже есть эта метка. ТОгда почему этот макрос не подходит ?
    Где можно более подробно прочесть про макросы?
     
    zyzy, Sep 7, 2019
    #10
  11. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    В WBAppCEF лучше реализовано.

    Ссылки недоступны для гостей
     
    Root, Sep 8, 2019
    #11
    zyzy and kagorec like this.
  12. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    УвыПосмотрел видео про установку. У меня
    [​IMG]
    Это мне надо обновиться до актуальной версии, или перейти на ультима?
     
    zyzy, Sep 8, 2019
    #12
  13. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Если у вас не ULTIMATE, то желательно обновиться для использования списка событий. При переходе на ULTIMATE у вас добавится также подписка на обновления, она у вас закончилась.
     
    Root, Sep 8, 2019
    #13
    zyzy likes this.
  14. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    С обновлением понятно. 500 рублей на год,
    а сколько будет стоить переход на ультиму ?
     
    zyzy, Sep 8, 2019
    #14
  15. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Start -> Standard 1000
    Start -> ULTIMATE 2000

    Ссылки недоступны для гостей

    При апгрейде подписка на обновления включена.
     
    Root, Sep 8, 2019
    #15
  16. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    Ну для меня пока ультима лишняя.
    А вот насчет подписки хотел уточнить.
    Если я сейчас ее обновлю, то программа обновится до актуальной версии и подписка у меня будет то следующего сентября?
     
    zyzy, Sep 9, 2019
    #16
  17. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Да.
     
    Root, Sep 9, 2019
    #17
  18. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    И еще вопрос насчет обновления.
    Как узнать какая у меня версия? Стандарт, старт?
    И сколько я буду должен за обновления. А то я совсем запутался.
     
    zyzy, Sep 9, 2019
    #18
  19. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Ваш тип лицензии указан в главное меню - справка - о программе.

    Подписка на обновления на 1 год стоит 500 рублей.

    Ссылки недоступны для гостей
     
    Root, Sep 9, 2019
    #19
    zyzy likes this.
  20. zyzy

    zyzy New Member Пользователи

    Joined:
    Apr 14, 2011
    Messages:
    46
    Оплатил, продублировал на емаил. Спасибо.
     
    zyzy, Sep 9, 2019
    #20
Page 1 of 2
Similar Threads
  1. knyazkovstudios

    Парсинг данных на 1 проект с 10 разных сайтов

    knyazkovstudios, Jun 2, 2020, in forum: Решение различных задач по парсингу
    Replies:
    1
    Views:
    870
    kagorec
    Jun 3, 2020
  2. Vestmar

    Парсинг регультатов гуггл

    Vestmar, Aug 12, 2021, in forum: Решение различных задач по парсингу
    Replies:
    5
    Views:
    795
    Trenikola
    Aug 17, 2021
  3. vadimsoloviev

    Как добавить города через запятую после заголовков вакансий и зарплат?

    vadimsoloviev, Mar 10, 2022, in forum: Решение различных задач по парсингу
    Replies:
    1
    Views:
    734
    vadimsoloviev
    Mar 10, 2022
  4. vadimsoloviev

    Как спарсить контент со всех страниц работного сайта ludi.by по конкретному городу?

    vadimsoloviev, Mar 15, 2022, in forum: Решение различных задач по парсингу
    Replies:
    3
    Views:
    561
    Root
    Mar 15, 2022
  5. vadimsoloviev

    Как спарсить все вакансии из linkedin?

    vadimsoloviev, Feb 9, 2023, in forum: Решение различных задач по парсингу
    Replies:
    0
    Views:
    520
    vadimsoloviev
    Feb 9, 2023
Loading...

Share This Page