Смена прокси при парсинге

Тема в разделе "Решение различных задач по парсингу", создана пользователем Atlas, 3 сен 2018.

Метки:
  1. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Добрый день.
    Есть список из 700 прокси, 100000 ссылок, парсинг в 10 потоков.
    Можно ли сделать так, чтобы софт рандомно брал прокси из списка для каждой ссылки?
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.257
    он берет по очереди 700 ссылок, потом следующие 700 и т.д.
    От рандома ничего не изменится
     
    Atlas нравится это.
  3. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    а прокси каким-образом берет?
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.257
    1) вставьте 3 прокси
    2) добавьте 9 ссылок
    3) поставьте в 1 поток
    4) запустите парсинг
    5) нажмите ctrl+l (лог парсинга) там есть графа прокси, вот и посмотрите.
     
    kagorec и Atlas нравится это.
  5. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Другая проблема, вставил прокси с авторизацией, при парсинге ошибка:
    [​IMG]
    Настройки (прокси 100% валид):
    [​IMG]
    Т.е программа не должна сама проходить авторизацию?
     
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.257
    а на этом же прокси просто в браузере открывает? Привязки к айпи нет проксей с авторизацией?
     
  7. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Открывает, привязки нет.
    Я руками ввожу логин и пароль, все ок, загружается граница парсинга.
     
  8. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Попробовал прокси из другого источника, то же самое: Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  9. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    @inotoxic , может знаете, в чем дело?
     
  10. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    272
    Судя по скринам, вы пытаитесь авторизоваться в прокси через не защищенное соединение - передаете данные через HTTP, а надо через HTTPS
     
  11. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Добавил в проверке прокси урл с https, в итоге из 3 прокси 2 авторизовались (я до этого ручками вводил логин и пасс, когда открывал границу парсинг), а 3 свежедобавленный нет:
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
  12. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    272
    У вас точно proxy , а не socks?
     
  13. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    http прокси ipv4, 100%
     
  14. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    272
    С проксями процесс пошел?
    Данные собираются?
     
  15. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Когда я открыл границу парсинга и руками ввел логин и пасс, то парсинг пошел.
    Но дело в том, что я ввел руками данные от 2х прокси, а если их 1000 штук, то это уже проблема.
     
  16. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    @Root, вы не знаете, в чем может быть проблема?
    Прокси при парсинге выдают ошибку авторизации.
    Перед запуском открываю границу парсинга, руками ввожу логин и пасс, и далее всё ок, парсинг работает (выше есть скрины).
    Но если прокси много, то руками каждый раз авторизовываться не дело....
     
  17. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.257
    Странно ведут себя ваши прокси. Например от файнпрокси нормально все работало, Но сейчас проверить не могу ибо давно ими не пользовался.
     
  18. Atlas

    Atlas New Member Пользователи

    Регистрация:
    10 мар 2018
    Сообщения:
    59
    Я пробовал прокси и с другого сервиса, тоже с авторизацией, ситуация аналогичная.
     
  19. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.257
    тогда не знаю
     

Поделиться этой страницей