Список UserAgents для успешного парсинга

Тема в разделе "Решение проблем с использованием программы", создана пользователем kagorec, 11 июл 2012.

  1. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.273
    Как дополнение к Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! , представляю вам список из 2370 отборных юзер агентов, которые добавляют больше шансов быть НЕ забаненным при парсинге сайтов.
    Как добавить user-agent в Content Downloader?
    Кнопка "Дополнительно" -> вставить в соответсвующее окно скопированный список

    UPD:
    Дополню, прикрепил списки useragents в виде текстовых файлов.
     

    Вложения:

    Последнее редактирование: 30 апр 2017
    Ogenrix, nail, Mitchell и 3 другим нравится это.
  2. Prometheus

    Prometheus New Member Пользователи

    Регистрация:
    28 апр 2013
    Сообщения:
    1
    Может стоило бы подгружать этот список автоматически из какого-нибудь тхт-файла при создании нового проекта ?
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.273
    Нет, это не всегда полезно большой список юзерагентов. Потому что некоторые сайты выдают верстку адаптированную вашему юзерагенту, а для парсера это значит что прибавляется вариации указания границ, что нежелательно.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.273
    Добавляю актуальные юзерагенты Chrome на 2017-2019 год.
     

    Вложения:

    Ogenrix, nail, Romanc и 4 другим нравится это.
  5. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    314
    Как раз обновлял список, спасибо! :)
     
    kagorec и Root нравится это.
  6. Blolk

    Blolk New Member Пользователи

    Регистрация:
    26 авг 2018
    Сообщения:
    14
    Город:
    Могилев
    1. Будет достаточным, если этот список просто загрузить или еще нужно, чтобы были скачаны данные браузеры на комп?
    2. Это как то поможет, для обхода банов? (соседние ветки читал, делаю, вывод, что не всегда спасает, но все равно интересно)
    3.
    Как понять, что их использование целесообразно?
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.377
    На самом деле, для конкретного сайта достаточно вставить 1 юа , тот который он показывает в хедере в разделе user agent
     
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    3.273
    Предпологаю, вам пока рано беспокоиться насчет этого вопроса. Со временем поймете для каких целей используются разные useragents. Просто сейчас вам добавит проблем этот список, если допустим использовать будете для youtube\google парсинга - некоторые источники адаптируют верстку под ваш броузер.
     

Поделиться этой страницей