Парсинг сайта сантехники (santehnika-online ru)

Discussion in 'Раздел поддержки готовых проектов' started by Root, Aug 19, 2020.

Thread Status:
Not open for further replies.
  1. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Требования:
    Версия Content Downloader -> ULTIMATE (UNLIMITED)
    Windows 10 (обязательно)

    Скорость парсинга: 0,5 - 0,9 товаров в секунду

    Скриншот с примером результата

    2020-08-19_07-27-41.png

    Как парсить

    2020-08-19_07-29-26.png
     

    Attached Files:

    Last edited: Aug 19, 2020
    kadishev1997 likes this.
  2. kolo555

    kolo555 Member Пользователи

    Joined:
    Mar 20, 2017
    Messages:
    89
    Добрый вечер!
    Хотел посмотреть этот проект, но у у меня ничего не отображаеться из примера скриншетов выше.
    Подскажите, пожалуйста, что нужно настороить?
     
  3. Smodey

    Smodey Active Member Пользователи

    Joined:
    Nov 27, 2013
    Messages:
    59
    У Вас куплена лицензия Ultimate и оплачен тариф на безлимитные обновления софта?
    upload_2020-11-16_17-45-45.png
     
    Root likes this.
  4. kolo555

    kolo555 Member Пользователи

    Joined:
    Mar 20, 2017
    Messages:
    89
    У меня ULTIMATE версия.
    Про безлимитные обновления софта не написано здесь.

    Знімок екрана 2020-11-16 165237.jpg
    Windows 10 конечно же -да.
     
  5. Smodey

    Smodey Active Member Пользователи

    Joined:
    Nov 27, 2013
    Messages:
    59
    upload_2020-11-16_18-9-1.png
     
    Achronis likes this.
  6. Smodey

    Smodey Active Member Пользователи

    Joined:
    Nov 27, 2013
    Messages:
    59
    Сергей, а чисто ради интереса, требования к Windows 10 исключительно из-за использования библиотеки win?
     
  7. kolo555

    kolo555 Member Пользователи

    Joined:
    Mar 20, 2017
    Messages:
    89
    правильно я понял, что UNLIMITED стоит 750 руб?
     
  8. Smodey

    Smodey Active Member Пользователи

    Joined:
    Nov 27, 2013
    Messages:
    59
    Ссылки недоступны для гостей
    upload_2020-11-16_18-58-22.png
     
    Achronis likes this.
  9. Achronis

    Achronis Well-Known Member Пользователи

    Joined:
    Jul 30, 2020
    Messages:
    64
    Город:
    Барнаул
    На win 10 и на win 7 используются разные версии Chronium.
     
  10. Smodey

    Smodey Active Member Пользователи

    Joined:
    Nov 27, 2013
    Messages:
    59
    Понятно... А я всё по старинке :)
    upload_2020-11-16_20-49-19.png
     
  11. Achronis

    Achronis Well-Known Member Пользователи

    Joined:
    Jul 30, 2020
    Messages:
    64
    Город:
    Барнаул
    Здравствуйте!

    Для использования данного проекта вам необходима версия программы ULTIMATE UNLIMITED (Полная версия программы, с безлимитными обновлениями).

    Приобрести полную версию программы вы можете по ссылке Ссылки недоступны для гостей


    Проверил проект, он действительно собирал не все данные корректно(изменилась вёрстка сайта), на данный момент прилагаю полностью функциональную версию,
    скорость парсинга так же была снижена до пяти потоков (иначе могут не собираться характеристики некоторых товаров).

    Вот пример работы: 1111111111111.png
     

    Attached Files:

    kadishev1997, kolo555 and Root like this.
  12. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Переделал проект под WBAppIE (если у кого-то есть проблемы).
     

    Attached Files:

    Achronis likes this.
  13. str

    str New Member Пользователи

    Joined:
    Apr 14, 2020
    Messages:
    7
    Перешел на подписку ULTIMATE ради этого проекта, скачал проект но он не работает, страницы не загружаются в чем может быть проблема? Выдает: Программе не удалось загрузить WEB-страницу (ERR_ABORTED)
     
    Last edited: Dec 19, 2020
  14. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
  15. str

    str New Member Пользователи

    Joined:
    Apr 14, 2020
    Messages:
    7
    Пробовал оба варианта. Должны быть какие-то особые настройки HTTP запросов? В других ветках форума от других пользвателей встречается информация о том что этот сайт что-то блокирует?
     
  16. Achronis

    Achronis Well-Known Member Пользователи

    Joined:
    Jul 30, 2020
    Messages:
    64
    Город:
    Барнаул
    Здравствуйте!

    Проверил проект под WBAppIE, всё функционирует, проблем не возникает.
    Дополнительные настройки не требуются.

    Проект проверялся из под систем: Windows 10 ver. 1909 - взломанная
    Windows 10 ver. 20H2 - лицензия
     
  17. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Сайт банить стал. Попробую подобрать варианты его парсинга.
     
    Achronis likes this.
  18. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Проверил.

    После 25 товаров банит.

    Как вариант, найти хорошие HTTP прокси (без авторизации по логин-паролю).
     
  19. str

    str New Member Пользователи

    Joined:
    Apr 14, 2020
    Messages:
    7
    Почему без авторизации? Какие настройки должны быть на вкладке с прокси? Нужно ли передавать COOKIE?
     
  20. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Потому, что WBAppIE поддерживает только прокси без логин пароля. А этот сайт парсится только через WBAppIE.

    Прокси нужно вводить в окно ctrl+r, Cookie передавать не нужно.
     
    Achronis likes this.
Thread Status:
Not open for further replies.

Share This Page