Список UserAgents для успешного парсинга

Тема в разделе "Решение проблем с использованием программы", создана пользователем kagorec, 11 июл 2012.

  1. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Как дополнение к Ссылки недоступны для гостей , представляю вам список из 2370 отборных юзер агентов, которые добавляют больше шансов быть НЕ забаненным при парсинге сайтов.
    Как добавить user-agent в Content Downloader?
    Кнопка "Дополнительно" -> вставить в соответсвующее окно скопированный список.

    Обновление списков:
    Июль 2019

    п.с. Добавлен список мобильных useragents (14000 шт.)
     

    Вложения:

    Последнее редактирование: 29 дек 2019
    dimochkaorg, Avem, Denorion и 7 другим нравится это.
  2. Prometheus

    Prometheus New Member Пользователи

    Регистрация:
    28 апр 2013
    Сообщения:
    1
    Может стоило бы подгружать этот список автоматически из какого-нибудь тхт-файла при создании нового проекта ?
     
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Нет, это не всегда полезно большой список юзерагентов. Потому что некоторые сайты выдают верстку адаптированную вашему юзерагенту, а для парсера это значит что прибавляется вариации указания границ, что нежелательно.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Добавляю актуальные юзерагенты Chrome на 2017-2018 год.
     

    Вложения:

    Последнее редактирование: 5 фев 2019
    asketus, Manfred7, Ogenrix и 6 другим нравится это.
  5. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Как раз обновлял список, спасибо! :)
     
    kagorec и Root нравится это.
  6. Blolk

    Blolk New Member Пользователи

    Регистрация:
    26 авг 2018
    Сообщения:
    18
    Город:
    Могилев
    1. Будет достаточным, если этот список просто загрузить или еще нужно, чтобы были скачаны данные браузеры на комп?
    2. Это как то поможет, для обхода банов? (соседние ветки читал, делаю, вывод, что не всегда спасает, но все равно интересно)
    3.
    Как понять, что их использование целесообразно?
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    На самом деле, для конкретного сайта достаточно вставить 1 юа , тот который он показывает в хедере в разделе user agent
     
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Предпологаю, вам пока рано беспокоиться насчет этого вопроса. Со временем поймете для каких целей используются разные useragents. Просто сейчас вам добавит проблем этот список, если допустим использовать будете для youtube\google парсинга - некоторые источники адаптируют верстку под ваш броузер.
     
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Добавляю актуальные юзерагенты Chrome на 2018-2019 год.
     

    Вложения:

    Djahat и Root нравится это.
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Обновление списка Useragent, отсортированы по соответствующим Windows версиям.
    Актуально будет на 2019-2020
     

    Вложения:

    nail, Dron25 и Root нравится это.
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    UserAgents - актуальный список на лето 2020.
     

    Вложения:

    ShiFT, Felix_b и kadishev1997 нравится это.
  12. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    309
    Добрый день! Я обычно тут смотрю Ссылки недоступны для гостей
     
    Felix_b, Avem, kadishev1997 и 2 другим нравится это.
  13. wcw2007

    wcw2007 Member Пользователи

    Регистрация:
    15 мар 2017
    Сообщения:
    126
    А где кнопка дополнительно для вставки агентов?

    Сам ответил

    Нажать на библиотека запросов справа
     
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Useragents список актуальный на лето 2022

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    п.с. На форуме почемуто невозможно приложить файл к посту
     
    kadishev1997 нравится это.
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    UserAgents список актуальный на лето 2023
    В Content Downloader добавить можно через сочетание клавишь Ctrl+h
    Списки UserAgents популярных платформ Chrome, Microsoft Edge, Android Chrome
     

    Вложения:

    Vic913 нравится это.

Поделиться этой страницей