Экономия трафика. Советы по оптимизации.

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем napserious, 30 ноя 2016.

  1. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Добрый день,
    В целях безопасности всегда работаю с мобильного интернета + прокси не нужен, так как всегда разные адреса.
    Встал следующий вопрос: Как оптимизировать загрузку страниц?
    Например:
    Мне нужно было отпарсить 27к страниц(не используя WbApp),
    с каждой страницы просто по одному слову,
    а в результате на это у меня ушло 5ГБ трафика.

    1) Возможно ли отключить загрузку картинок при парсинге? - или они и так не подгружаются при парсинге?
    2) Возможно ли отключить загрузку сторонних подключаемых файлов (CSS/JS)? - - или они и так не подгружаются при парсинге?
    3) Как оптимизировать загрузку страниц самому?
    4) Поделитесь советами пожалуйста. :)


    P.S. Оффтопик:
    Сергей, заполняю поле CD_user, и всё равно через некоторое время оно пустое.
    Все время поевляется окно и просит его заполнить, сейчас хотел снова его заполнить но теперь поле CD_user отсутствует в моём профиле.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Трафик без wbapp вообще по мизеру качает, по сути от запроса по ссылке на страницу в ответ получает текстовый вид кода и никаких подгрузок картинок/css/js
    Спасибо за сообщение, исправлено. Поле так и должно не показываться после заполнения.
     
Similar Threads
  1. officialmusicua
    Ответов:
    0
    Просмотров:
    1.603
Загрузка...

Поделиться этой страницей