WBAPP зависает при использовании SCROLLDOWN (большой объем контета)

Тема в разделе "Подгрузка данных, которых нет в коде WEB-документа", создана пользователем Octavian, 4 май 2019.

  1. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Здравствуйте
    Есть группа фейсбука, в которой состоит почти 50 тыс юзеров. Задача собрать все профили, которые подгружаются при скроллинге страницы вниз. Использую SCROLLDOWN, [GETHTML]: ,
    [SAVEHTMLTOFILE] , [RESETSTOREDCODE] в цикле. Через некоторое время скорость процесса падает в десять раз, а потом зависает, для ИЕ это слишком большой объем кода.
    Можно взять более мощное железо, но боюсь что для всего списка не поможет, есть ли решение средствами СД?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей
     
    Octavian нравится это.
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Как вариант через броузер Mozilla с аддоном iMacros - заходите на фейсбук в нужную группу (участники).
    Настраиваете iMacros на прокрутку страницы вниз, это задание в цикл на 999999999 раз, включаете и при открытом F12 вкладка "Сеть"
    Пока прокручивает вниз, отлавливаете ссылки содержащие
    Код:
    https://www.facebook.com/ajax/browser/list/group_confirmed_members/
    Потом уже для удобства по этим ссылкам в CD (авторизовавшись в fb) собираете ид участников.
     
    Octavian и Root нравится это.
  4. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Спасибо за полезную информацию.

    С браузером Mozilla такая же беда, зависает после нескольких сот итераций цикла прокрутки, недостаточно ресурсов для такой задачи (для сбора всех запросов надо скроллить около 2,5 тыс раз).
    Нашел, что новые профили при скроллинге подгружаются по ссылкам вида:
    Код:
    https://www.facebook.com/ajax/browser/list/group_confirmed_members/?gid=1152753264863728&order=date&view=list&limit=15&sectiontype=recently_joined&cursor=AQHRZyjagS0m6fVOqupzWQYdxOLQxpvqYmIMdFMAF__uPXsD_lyNuNq2eCiiEDJpKISj_a8n9cVtiB34O-9lKaWjJg&start=15&av=100035930503922&fb_dtsg_ag=AQxZEIZZSamKYZ5T6obOZjXJv0mPC7Cv77DzWdsQQ2PnNg:AQxq_WPK5plYhY8ZX63Bo6CkrLi2VxOx_Mw2b9XUeb08dQ&__user=100035930503922&__a=1&__dyn=7AgNe-4amaAxd2u6aJGeFxqeCwDKEKEW6qrWo8ovxGdwIhE98nwgUaoeo9qUC3eEbbyEjKewXwgUOdwJKdwVxCu58O5U7S4E9ohwoU8-1rG0HFU20wADx6q7ooxu6U6O5oaUvwHwrEsxeEgy9E6aEyh7xa4obeU99u4-2y48OEO2e2bw8m486abxaquV8y1kyE4G4UO68pwAwhVKcxp2Utwwx-2y8w9m6EdU&__req=1b&__be=1&__pc=PHASED:ufi_home_page_pkg&dpr=1&__rev=1000675143&__comet_ 
    
    https://www.facebook.com/ajax/browser/list/group_confirmed_members/?gid=1152753264863728&order=date&view=list&limit=15&sectiontype=recently_joined&cursor=AQHRbYEGJ5WRBwkVTUvlhyF2gCHCvlgZrp_NBdm2a4OyaLdpuq6G3VFzozyjEnOnVPTM7Cf0IK__h6mHkzqwqvhyCQ&start=15&av=100035930503922&fb_dtsg_ag=AQxZEIZZSamKYZ5T6obOZjXJv0mPC7Cv77DzWdsQQ2PnNg:AQxq_WPK5plYhY8ZX63Bo6CkrLi2VxOx_Mw2b9XUeb08dQ&__user=100035930503922&__a=1&__dyn=7AgNe-4amaAxd2u6aJGeFxqeCwDKEKEW6qrWo8ovxGdwIhE98nwgUaoeo9qUC3eEbbyEjKewXwgUOdwJKdwVxCu58O5U7S4E9ohwoU8-1rG0HFU20wADx6q7ooxu6U6O5oaUvwHwrEsxeEgy9E6aEyh7xa4obeU99u4-2y48OEO2e2bw8m486abxaquV8y1kyE4G4UO68pwAwhVKcxp2Utwwx-2y8w9m6EdU&__req=1z&__be=1&__pc=PHASED:ufi_home_page_pkg&dpr=1&__rev=1000675143&__comet_r 
    
    https://www.facebook.com/ajax/browser/list/group_confirmed_members/?gid=1152753264863728&order=date&view=list&limit=15&sectiontype=recently_joined&cursor=AQHRbe2Xx2yn1hGozE9jLD7NtNEC0h_kIrw4TnmI7N9RwL_s6dUGlVyVUvSNtO3OyU4nAEUeRGa9dNp8OzuNXiO0AA&start=15&av=100035930503922&fb_dtsg_ag=AQxZEIZZSamKYZ5T6obOZjXJv0mPC7Cv77DzWdsQQ2PnNg:AQxq_WPK5plYhY8ZX63Bo6CkrLi2VxOx_Mw2b9XUeb08dQ&__user=100035930503922&__a=1&__dyn=7AgNe-4amaAxd2u6aJGeFxqeCwDKEKEW6qrWo8ovxGdwIhE98nwgUaoeo9qUC3eEbbyEjKewXwgUOdwJKdwVxCu58O5U7S4E9ohwoU8-1rG0HFU20wADx6q7ooxu6U6O5oaUvwHwrEsxeEgy9E6aEyh7xa4obeU99u4-2y48OEO2e2bw8m486abxaquV8y1kyE4G4UO68pwAwhVKcxp2Utwwx-2y8w9m6EdU&__req=2f&__be=1&__pc=PHASED:ufi_home_page_pkg&dpr=1&__rev=1000675143&__comet_req 
    Они идентичны, отличаются только значением параметра cursor=, остается каким то образом их сгенерировать или при прокрутке запретить загрузку кода страницы, чтобы можно было собрать линки запросов, не знаю существует ли такая технология?
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если разберетесь, каким именно образом они генерируются, то можно и генерировать. Только потратите на это много времени и сил, думаю, не стоит.
     
  6. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Уважаемый kagorec, подскажите какие Вы методы используете чтобы снифить ссылки запросов?
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Когда требовалось собрать ссылки с fb, хватало в Chrome F12 вкладка интернет + фиксация скролла мышки.
     
    Octavian нравится это.
  8. q457

    q457 New Member Пользователи

    Регистрация:
    25 июл 2015
    Сообщения:
    35
    вы решили вопрос как спарсить в группе FB пользователей?
     

Поделиться этой страницей