Парсинг сайта сантехники (santehnika-online ru)

Тема в разделе "Раздел поддержки готовых проектов", создана пользователем Root, 19 авг 2020.

Статус темы:
Закрыта.
  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Требования:
    Версия Content Downloader -> ULTIMATE (UNLIMITED)
    Windows 10 (обязательно)

    Скорость парсинга: 0,5 - 0,9 товаров в секунду

    Скриншот с примером результата

    2020-08-19_07-27-41.png

    Как парсить

    2020-08-19_07-29-26.png
     

    Вложения:

    Последнее редактирование: 19 авг 2020
    kadishev1997 нравится это.
  2. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    Добрый вечер!
    Хотел посмотреть этот проект, но у у меня ничего не отображаеться из примера скриншетов выше.
    Подскажите, пожалуйста, что нужно настороить?
     
  3. Smodey

    Smodey Active Member Пользователи

    Регистрация:
    27 ноя 2013
    Сообщения:
    59
    У Вас куплена лицензия Ultimate и оплачен тариф на безлимитные обновления софта?
    upload_2020-11-16_17-45-45.png
     
    Root нравится это.
  4. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
    У меня ULTIMATE версия.
    Про безлимитные обновления софта не написано здесь.

    Знімок екрана 2020-11-16 165237.jpg
    Windows 10 конечно же -да.
     
  5. Smodey

    Smodey Active Member Пользователи

    Регистрация:
    27 ноя 2013
    Сообщения:
    59
    upload_2020-11-16_18-9-1.png
     
    Achronis нравится это.
  6. Smodey

    Smodey Active Member Пользователи

    Регистрация:
    27 ноя 2013
    Сообщения:
    59
    Сергей, а чисто ради интереса, требования к Windows 10 исключительно из-за использования библиотеки win?
     
  7. kolo555

    kolo555 Member Пользователи

    Регистрация:
    20 мар 2017
    Сообщения:
    87
  8. Smodey

    Smodey Active Member Пользователи

    Регистрация:
    27 ноя 2013
    Сообщения:
    59
    Ссылки недоступны для гостей
    upload_2020-11-16_18-58-22.png
     
    Achronis нравится это.
  9. Achronis

    Achronis Well-Known Member Пользователи

    Регистрация:
    30 июл 2020
    Сообщения:
    64
    Город:
    Барнаул
    На win 10 и на win 7 используются разные версии Chronium.
     
  10. Smodey

    Smodey Active Member Пользователи

    Регистрация:
    27 ноя 2013
    Сообщения:
    59
    Понятно... А я всё по старинке :)
    upload_2020-11-16_20-49-19.png
     
  11. Achronis

    Achronis Well-Known Member Пользователи

    Регистрация:
    30 июл 2020
    Сообщения:
    64
    Город:
    Барнаул
    Здравствуйте!

    Для использования данного проекта вам необходима версия программы ULTIMATE UNLIMITED (Полная версия программы, с безлимитными обновлениями).

    Приобрести полную версию программы вы можете по ссылке Ссылки недоступны для гостей


    Проверил проект, он действительно собирал не все данные корректно(изменилась вёрстка сайта), на данный момент прилагаю полностью функциональную версию,
    скорость парсинга так же была снижена до пяти потоков (иначе могут не собираться характеристики некоторых товаров).

    Вот пример работы: 1111111111111.png
     

    Вложения:

    kadishev1997, kolo555 и Root нравится это.
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Переделал проект под WBAppIE (если у кого-то есть проблемы).
     

    Вложения:

    Achronis нравится это.
  13. str

    str New Member Пользователи

    Регистрация:
    14 апр 2020
    Сообщения:
    7
    Перешел на подписку ULTIMATE ради этого проекта, скачал проект но он не работает, страницы не загружаются в чем может быть проблема? Выдает: Программе не удалось загрузить WEB-страницу (ERR_ABORTED)
     
    Последнее редактирование: 19 дек 2020
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  15. str

    str New Member Пользователи

    Регистрация:
    14 апр 2020
    Сообщения:
    7
    Пробовал оба варианта. Должны быть какие-то особые настройки HTTP запросов? В других ветках форума от других пользвателей встречается информация о том что этот сайт что-то блокирует?
     
  16. Achronis

    Achronis Well-Known Member Пользователи

    Регистрация:
    30 июл 2020
    Сообщения:
    64
    Город:
    Барнаул
    Здравствуйте!

    Проверил проект под WBAppIE, всё функционирует, проблем не возникает.
    Дополнительные настройки не требуются.

    Проект проверялся из под систем: Windows 10 ver. 1909 - взломанная
    Windows 10 ver. 20H2 - лицензия
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Сайт банить стал. Попробую подобрать варианты его парсинга.
     
    Achronis нравится это.
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проверил.

    После 25 товаров банит.

    Как вариант, найти хорошие HTTP прокси (без авторизации по логин-паролю).
     
  19. str

    str New Member Пользователи

    Регистрация:
    14 апр 2020
    Сообщения:
    7
    Почему без авторизации? Какие настройки должны быть на вкладке с прокси? Нужно ли передавать COOKIE?
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Потому, что WBAppIE поддерживает только прокси без логин пароля. А этот сайт парсится только через WBAppIE.

    Прокси нужно вводить в окно ctrl+r, Cookie передавать не нужно.
     
    Achronis нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей