парсинг гугл картинок через прокси

Тема в разделе "Скачивание картинок и файлов", создана пользователем Focus, 30 янв 2014.

  1. Focus

    Focus New Member Пользователи

    Регистрация:
    4 апр 2011
    Сообщения:
    38
    Адрес:
    Советский Союз
    Не совсем понял по поводу Добавлен макрос шаблона вывода [GETGOOGLEIMAGE]запрос[/GETGOOGLEIMAGE] (сделан на основе старого Гугл API, пауза 5 секунд (для избежания бана)
    Прокси теперь не работают при парсинге картинок гугл?
     
    Focus, 30 янв 2014
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Не изучал вопрос, да и зачем, так как постоянно придется следить за актуальными прокси.
     
    Root, 30 янв 2014
    #2
  3. Focus

    Focus New Member Пользователи

    Регистрация:
    4 апр 2011
    Сообщения:
    38
    Адрес:
    Советский Союз
    Просто процесс слишком затяжной. Через прокси было б шустрее, 1к элитных и вперед :)
     
    Focus, 30 янв 2014
    #3
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Что мешает попробовать прежде чем спрашивать. Скорее всего с элитными проксями можно на 50 потоков без паузы (с учетом что проксей от 1к)
     
    kagorec, 30 янв 2014
    #4
  5. Focus

    Focus New Member Пользователи

    Регистрация:
    4 апр 2011
    Сообщения:
    38
    Адрес:
    Советский Союз
    Ставил 10 потоков с паузой 1000, через 3 часа бан. В логе вижу что парсинг идет через прокси, но картинки не грузятся пока свой ip не сменил. Поэтому и вопрос такой возник.
     
    Focus, 30 янв 2014
    #5
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    так может у Вас прокси к ip привязаны?
    пауза в 1сек = 1000 и в 5сек =5000 это разные вещи.
    Вы хотите парсить совсем без бана? добавляйте левые ссылки, ставьте больше паузу.
     
    Kreol, 28 фев 2014
    #6
  7. Focus

    Focus New Member Пользователи

    Регистрация:
    4 апр 2011
    Сообщения:
    38
    Адрес:
    Советский Союз
    Зачем левые сссылки? Речь идет о парсинге каритинок гугл. В старых версиях картинки парсились через прокси и проблем не возникало, сейчас на 1к страниц сутки уходят
     
    Focus, 28 фев 2014
    #7
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    гугл не спит.
     
    Kreol, 28 фев 2014
    #8
  9. Focus

    Focus New Member Пользователи

    Регистрация:
    4 апр 2011
    Сообщения:
    38
    Адрес:
    Советский Союз
    Спит или нет не имеет значения, парсинг то идет... правда максимум 2 потока с таймаутом 5-8 сек. Быстрее уже бан.
     
    Focus, 28 фев 2014
    #9
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Смысла нет использовать несколько потоков с паузой. Лучше 1 поток и паузу 3000-5000 =)
     
    Root, 28 фев 2014
    #10
  11. Focus

    Focus New Member Пользователи

    Регистрация:
    4 апр 2011
    Сообщения:
    38
    Адрес:
    Советский Союз
    3000-5000 1 поток забанил через несколько часов :( 5000-8000 2 потока работает, странно как то
     
    Focus, 1 мар 2014
    #11
  12. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Если я правильно понимаю работу программы, то как раз из-за асинхронности выполнения потоков у них минимальный предел 5 секунд немного удлиняется. И соответственно реальная пауза не 5 а чуть больше. Хотя могу вкорне ошибаться
     
    Kreol, 1 мар 2014
    #12
  13. Focus

    Focus New Member Пользователи

    Регистрация:
    4 апр 2011
    Сообщения:
    38
    Адрес:
    Советский Союз
    Было б неплохо если парсинг картинок с гугла тоже шел через прокси + выбор таймаута ожидания загрузки изображения, которые иногда просто не успевают подгрузиться
     
    Focus, 2 мар 2014
    #13
Similar Threads
  1. Пух

    Парсинг картинок гугл

    Пух, 25 фев 2013, в разделе: Скачивание картинок и файлов
    Ответов:
    16
    Просмотров:
    4.784
    kagorec
    21 дек 2013
  2. TeslaCo

    Парсинг и заполнение через прокси

    TeslaCo, 8 май 2014, в разделе: WBAppIE
    Ответов:
    5
    Просмотров:
    1.564
    Kreol
    9 май 2014
  3. altf4_by

    Парсинг через прокси. нужна помощь.

    altf4_by, 27 фев 2015, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    1.144
    efes2002
    12 мар 2015
  4. Алексей_

    Парсинг картинок через прокси

    Алексей_, 19 окт 2015, в разделе: Скачивание картинок и файлов
    Ответов:
    1
    Просмотров:
    850
    Root
    19 окт 2015
  5. Atms

    Парсинг через прокси (с периодической перепроверкой списка прокси)

    Atms, 8 янв 2016, в разделе: Прокси для парсинга
    Ответов:
    10
    Просмотров:
    46.171
    Kreol
    7 фев 2018
Загрузка...

Поделиться этой страницей