Проект парсинга телефонов с Авито

Тема в разделе "Раздел поддержки готовых проектов", создана пользователем Root, 27 июл 2020.

Статус темы:
Закрыта.
  1. WebSlesar

    WebSlesar New Member Пользователи

    Регистрация:
    11 ноя 2020
    Сообщения:
    26
    Город:
    Москва
    Включаю ВПН, через 10-15 ссылок - Доступ с Вашего ip временно ограничен.
    Только у меня такая байда?
    Собираю с услуг.

    2020-12-19_01-08-26.png
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Возможно, алгоритмы на сайте немного изменили. Либо вы убрали паузу между запросами и выставили более 1 потока.

    В WBAppCEF работают SOCKS4 Ipv4 прокси. В данном случае нужно использовать список прокси.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  4. WebSlesar

    WebSlesar New Member Пользователи

    Регистрация:
    11 ноя 2020
    Сообщения:
    26
    Город:
    Москва
    Стоит 1 поток 3000-5000 пауза.
    Вся прелесть и была что без проксей можно было работать.
     
    ivermali нравится это.
  5. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev

    А есть возможность в CD сделать после каждых 10 страниц отправку запроса на серв ? В таком случае можно парсить через 4G свисток и просто каждые 10 страниц запускать ребут модема что влечет за собой смену IP
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Обратите внимание на макросы COUNT, IF2, RUN
     
  7. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Если заморочиться - можно через свой свисток 4G организовать. Пару дней убить на настройку, и в целом все готово.
    Но проще мобильные прокси купить со сменой каждые N минут, если нужно не на один раз, а предположим собирать новые объявления и данные каждый день
     
  8. ivermali

    ivermali New Member Пользователи

    Регистрация:
    3 окт 2019
    Сообщения:
    16
    Здравствуйте.
    То есть, теперь за открытие файла, мне надо заплатить 2000 рублей. Или достаточно купить подписку 365 дней (1 год) -> 500 рублей?
     

    Вложения:

  9. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    Уже давно готовые проекты доступны только по премиум подписке.
    До этого проекты продавали (если не ошибаюсь)
     
    Achronis нравится это.
  10. WebSlesar

    WebSlesar New Member Пользователи

    Регистрация:
    11 ноя 2020
    Сообщения:
    26
    Город:
    Москва
    Теперь даже ссылки перестал собирать
     
  11. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    прокси по 10 рублей в день за штуку + UserAgent побольше завалить и норм
     
  12. WebSlesar

    WebSlesar New Member Пользователи

    Регистрация:
    11 ноя 2020
    Сообщения:
    26
    Город:
    Москва
    И сколько прокси в день нужно. И что в остатке? Шорох орехов?
     
  13. webstep

    webstep Member Пользователи

    Регистрация:
    6 дек 2020
    Сообщения:
    129
    Город:
    Kiev
    вручную дешевле))))
     
    moskal_alexandr нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей