работа с WBApp подскажите как правильно сделать?

Тема в разделе "Решение различных задач по парсингу", создана пользователем burgerBPOT, 14 июл 2017.

  1. burgerBPOT

    burgerBPOT Member Пользователи

    Регистрация:
    27 июн 2017
    Сообщения:
    13
    В общем настроил парс, в проекте модуль WBApp будет листать страницы, чтобы набрать нужную информацию для дальнейшего парса из собранного html. Вопрос! Очень боюсь я что CD посыпится если модуль WBApp будет 1500000 страниц перелистывать. Как WBApp сохраняет собраные данные пока листает (подгружает) страницы? Я боюсь что он складывает все в оперативку и через 1500000 страниц он просто всю оперативку заберет и ПК мне выключит.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    правильно боитесь, а уверены что wbapp нужен 100%?
    Если да - разбивайте ссылки по 10-20-30к
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Будет будет))
    Полтора ляма это не шутки. Что там насчет запросов если отснифать через livehttpheaders?
     
  4. burgerBPOT

    burgerBPOT Member Пользователи

    Регистрация:
    27 июн 2017
    Сообщения:
    13
    не снифал, лень ) там страница подгружается при прокрутке, закинул в WBApp все работает, но вот и думаю если ему нужно быдет так много раз перелистывать как с памятью дело обстоит? А если разбивать то он не все данные догрузит, вот и думаю как делать.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Так делайте Ссылки недоступны для гостей
     

Поделиться этой страницей