проблема с парсингом сайта

Тема в разделе "Решение проблем с использованием программы", создана пользователем mettled, 2 апр 2017.

  1. mettled

    mettled New Member Пользователи

    Регистрация:
    13 апр 2014
    Сообщения:
    7
    Давно пользуюсь программой. очень полезная и хорошая.
    Не так давно появилась необходимость спарсить сайт, настроил проект и запустил парсинг, однако возникает проблема:
    когда запускай предпросмотр - загружаются все давнные и все отлично работает,
    как только запускаю парсинг в автоматическом режиме, данные не загружаются(атрибут: цвет) ..
    временные интервалы увеличивал до 5 секунд и ставил парсинг 1 потоком, все равно не помогает.
    понять не могу в чем проблема.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 6000 постов.**
     
  2. Hostage

    Hostage Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    9
    :eek::eek::eek:
    хайд на 6к постов)
     
  3. mettled

    mettled New Member Пользователи

    Регистрация:
    13 апр 2014
    Сообщения:
    7
    ну это для root сообщение - там пароль и т.д. ))) уже обращался к людям а помощью из рекомендуемого списка по настройке... не помогли, потому остается только Разработчик.. может он поможет...
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Попробуйте поставить галочку "показывать WBApp при парсинге" (в окне ctrl+h)
     
  5. mettled

    mettled New Member Пользователи

    Регистрация:
    13 апр 2014
    Сообщения:
    7
    Ставил галочку. но тогда окна WBApp выскакивают постоянно и просто не дать ничего делать на компе. Что не есть хорошо, особенно когда парсинг в 1 поток в с временными задержками занимает часов 6-8.
    Да и зачем его ставить если процесс WBApp и так постоянно в фоне присутствует (проверял через диспетчер задач) ????
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
     
  8. mettled

    mettled New Member Пользователи

    Регистрация:
    13 апр 2014
    Сообщения:
    7
    Спасибо за ссылку - давно думал ее прочитать :)

    Сергей, проблема не в скорости загрузки а в то что не загружается такой атрибут товара как ЦВЕТ.
    Еще интересно вот что, захожу на сайт с любого браузера, логинюсь, захожу на страницу товара, он прекрасно загрузился и вся информация видима отлично. Правой кнопкой нажимаю - Просмотреть исходный текст, и не могу найти никакого цвета, т.е. на странице он написан и отражается, а в исходном тексте его нет.
    Поэтому даже когда я запускаю парсинг и там прописываю все три пункта описанных на странице - "Значительное ускорение ... " это никак не помогает.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 6000 постов.**
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Там авторизация не срабатывает даже если залогиниваться постоянно через wbapp
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Простите, каким образом, по вашему, я должен понять, что там есть цвет:
    2017-04-06_07-25-04.png
     
  11. mettled

    mettled New Member Пользователи

    Регистрация:
    13 апр 2014
    Сообщения:
    7
    Здесь нету атрибута товара цвет.
    Вы смотрели тот csv что я выложил ?? Там есть столбец куда копируется данный атрибут, там видно что его практически нету ни в одного товара (из 3200 товаров .. скопировалось только для 10-15). В этом и есть проблема.
    Так же в проекте, который я выложил указаны границы откуда берется ЦВЕТ.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нет, мне не нужно смотреть CSV, зачем...

    Это вам нужно сразу указывать ссылки и показывать где в них расположен цвет и прочее. Странно, что вы этого не делаете... Никто копаться в этих сайтах просто так за вас не будет.
     

Поделиться этой страницей