Выборочный парсинг! Почему?

Тема в разделе "Разное", создана пользователем kompok, 17 июн 2015.

  1. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    Почему происходит выборочный парсинг, не могу понять!
    Некоторые позиции идеально, а в других только название, С чем может быть связано? Прошу помощи!
     
    Последнее редактирование: 17 июн 2015
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    1) Не видно картинки;
    2) Не понятно, о чем речь, прошу приложить к сообщению файл проекта (в программе: Меню - файл - сохранить проект)

    С уважением к вам, Сергей.
     
  3. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Посмотреть вложение goldoptom.cdp
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Видимо, у вас IE в системе старее, чем Internet Explorer 11. Старый IE поднимает регистр кода HTML-тегов и поэтому я не могу проверить ваш проект у себя на ПК (заданные границы парсинга не находит, так как код web-документа другой).

    Если выполнить предпросмотр элементов (которые с пустыми данными), то у них так же данные теряются? Или только при парсинге?

    Спасибо!
     
  5. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    IE версия 8, это согласен грешен. Сейчас поставлю 11 и проверю.

    Проблемма в том что он вразнобой парсит, некоторые товары выдает идеально а в других выдает только название товара и ссылку на него, больше ничего нет! может так вам будет видно, ато я с облака кидал фотографию.
    Безымянный.png
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если выполнить предпросмотр элементов (которые с пустыми данными), то у них так же данные теряются? Или только при запуске процедуры парсинга?
     
  7. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    В том и дело что при предпросмотре все идеально, я каждую категорию товара проверил на предпросмотре перед запуском и все показывало отлично.

    хотя сначала были потери но потом я еще подстроил, подобавлял кода к началу парсинга и начал проверять, потерь не было.
     
    Последнее редактирование: 17 июн 2015
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пробовали ли парсить в 1 поток? Судя по всему, в 2 параллельных потока IE у вас не успевает загружать WEB-страницы полностью.
     
  9. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    нет не пробовал, сейчас установлю IE 11 и попробую.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Хорошо. Жду ваш ответ.
     
  11. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    Скажите пожалуйста собирать ссылки нужно тоже на одном потоке?
    Я установил IE 11, собрал сотню ссылок на 5 потоках, настроил выдачу и запарсил на 1 потоке и та же беда, но немного лучше стало, при предпросмотре сначала теряется, после очистки кэша и открытии заново становится нормально.

    Посмотреть вложение лаг.cdp


    Безымянный2.png
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Значительно ускоряем процесс парсинга и исключаем возможный пропуск данных (ожидание появления определенных элементов на WEB-страницах) - Ссылки недоступны для гостей

    Настроил вам это. Проект WBApp прописывается в ctrl+w (проекты прикрепил). По такой схеме, думаю, можно и в 5 потоков.

    Надеюсь, теперь у вас будет все хорошо! =)

    С уважением к вам, Сергей.
     

    Вложения:

  13. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    Наверно я проклят)))код кривой, все пустое(((
    Безымянный3.png
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Никто не проклят, не дай Бог!

    Просто вы не подключили проект 555.wbapp =)
     
  15. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    Беда моей головушке боярин))) все как сказали сделал и проэкт акаянный прилепил как указано было, да не сдаетса нечисть бусурманская)))
     
  16. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    :drunk:Истерика))):drunk:
     
  17. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    Может тим вивер попробуем?))
     
  18. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр
    Проверка клика загорается красным при предпросмотре
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Видимо, у вас до сих пор старый IE и там нет такого элемента (© Optom.od.ua 2012-2015 г.). Наведите в WBApp курсор на этот копирайт в самом низу страницы, нажмите F2, чтобы зафиксировать атрибуты этого элемента и сделайте скриншот экрана (и покажите его тут). Если создать событие клика по этому элементу на вашем ПК и заменить им предложенный мной:
    То программа должна ждать, пока не прогрузится элемент, по которому создали событие клика.

    По TeamViewer работаю не я, а специалисты по настройке Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
  20. kompok

    kompok New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    18
    Адрес:
    Украина
    Город:
    г. Днепр

    Спасибо огромное за помощь, сделал все сначала начиная со сбора ссылок, и сделал как на видео ускорения парсинга которое вы дали, и протэстил, таким способом из 79 ссылок все нормально отпарсились, сейчас зарядил полный сбор ссылок, это на всю ночь, завтра отпарсю их и сообщу о результате.
     

Поделиться этой страницей