Не парсятся цены с сайта в usd

Тема в разделе "Решение различных задач по парсингу", создана пользователем Maxxx, 21 авг 2020.

  1. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Здравствуйте. Помогите, пожалуйста, разобраться, что еще нужно, чтобы он парсил цены в долларах? Уже и автоматическую передачу заголовков, и кукис, все настроил. Или надпись, что цена недоступна, или вообще не загружает сайт.
    Наверное этот заголовок ответственный за цену, но при вставке его данных все то же самое.
    ...../catalog/PricingAvailability.do?productNumber=....
    Пробовал и с прокси и без, и чрез WBapp и CIS

    В авторизации через webbrowser пишет "Не удается открыть эту страницу".
     

    Вложения:

  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    VPN или прокси страны USA чтоб страну на сайте не меняло.
    WbappCEF корректно настроить на ожидание ссылки от блока с ценами.
     
    Последнее редактирование: 22 авг 2020
  3. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    324
    Попробуйте передать заголовок Accept-Language с параметром en-US,en
     
  4. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    И такое пробовал - не идет все равно. Хотя в браузере меняешь страну на US и все цены норм показываются
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
    Файл проекта для парсинга цен приложил.
     

    Вложения:

    Maxxx нравится это.
  6. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Спасибо большое, Сергей!
    Жаль что парсится очень и очень долго, и только через US proxy, и то собирает не все. (скрин). Надеялся ,что как-то это проще решается, более быстрый сбор, без такой автоматизации и двух кликов по странице :)
     

    Вложения:

  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    Зачем прокси используете?
     
  8. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Без прокси вообще цены не берет, пустые строки. С Федором пробовали запускать
     

    Вложения:

    • Res__.jpg
      Res__.jpg
      Размер файла:
      46,2 КБ
      Просмотров:
      7
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проект у вас на руках. Донастройте тайминги ожидания с учетом использования прокси.
     
    Maxxx нравится это.
  10. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Ок, спасибо
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Все инструменты для контроля есть. Можно включить отображение WBApp при парсинге, чтобы видеть, что происходит.

    Если дошли до использования прокси, можно юзать US прокси и убрать события смены страны.

    Также можно делать проверку, получена ли цена, если нет, то перезагружать URL (с помощью соответствующих макросов шаблона вывода).

    Если не хватает скорости, можно увеличить количество потоков.

    Все это должно настраиваться без проблем.
     
    Maxxx нравится это.
  12. Maxxx

    Maxxx Member Пользователи

    Регистрация:
    30 май 2020
    Сообщения:
    113
    Понял, спасибо большое!)
     
    Root нравится это.

Поделиться этой страницей