После нажатия паузы, парсинг начинается заново

Тема в разделе "Решение проблем с использованием программы", создана пользователем Leksey_G, 14 апр 2014.

  1. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    После нажатия паузы, и затем включения, парсинг начинается заново. Это нормально?
     
  2. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    Создал проект, в последней версии программы просто все зависает и висит, ничего не парсит. А открыл тот же проект в 8 версии, все работает нормально.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ни у кого больше не висит.
    Не знаю, в чем у вас проблема, так как данных вы никаких не предоставили.
    Пожалуйста, цените свое время и время других людей.
     
  4. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    Какие данные нужны?
     
  5. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    Сейчас парсит сайт 8 версия, когда закончит, попробую еще раз новой версией и дам данные, какие надо.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Файл проекта программы (меню - файл - сохранить проект) и ПОДРОБНОЕ ОПИСАНИЕ ВСЕХ ВАШИХ ДЕЙСТВИЙ, проделая которые, можно будет увидеть ошибку или проблему.
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Проект можно в личное сообщение отправить если секретно)
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Мой ящик на форуме заполнен. Либо на почту, либо в Скайп тогда уж. Спасибо!
     
  9. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    А как быть, если на одном и том же сайте встречаются документы код одних написан в нижнем регистре <div class="row"> и других в верхнем <DIV class="row"> ?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Создать соответствующую тему на форуме и спросить в ней.
    Ваш вопрос не соответствует заголовку темы.
     
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте, смею предположить
    1) например у вас падает инет и тогда возможен такой исход.
    2) сайт Вас скорее всего блокирует, его хватает на 1-3 ссылки а потом бан (чтоб это точно понять смотрите скрин).
    3) Вы используете прокси которые привязаны к IP (при этом Ваш IP динамический и программа зависает так как пытается долго (около минуты подключиться к прокси который вам не отвечает.)
    4) Вы забыли переобновить куки.
    5) Сайт требует авторизации.
    6) Сайт может грузиться только через DOM
    7) У Вас неправильно построен проект
    8) Вы грузите слишком большой файл а инет у Вас слабый, например вы сделали так, что в предпросмотре у Вас загружается порядка 100-200 картинок и пока программа не обработает их все, она как-бы будет висеть. Что делает программа можно увидеть внизу программы слева.

    Выбирайте на выбор.
    А на будущее, учитесь правильно формулировать запросы.
    1) С какого сайта грузите. Если не хотите его показывать есть тег HIDE
    2) Что именно Вы пытаетесь спарсить, хотя бы словами.
    3) Что показывает Ваш Лог программы?
    4) Какие действия были предприняты и что не получилось.

    А то получается давайте я Вас спрошу так: При включении компьютера в сеть 200 он сразу заводится и работает 4 секунды а потом выключается. При нажатии на кнопку power все работает нормально (уверен ответ Вы не знаете)
    А теперь перефразирую как спросили Вы.
    Я жму на кнопку power и компьютер работает, а иногда не работает. Почему?
     

    Вложения:

  12. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    Сайт
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Думаю проблемы с парсингом из-за слабого интернета. На работе инет побыстрее и парсит лучше. Но всё равно медленно, 8 версия работает быстрее.
    А про паузу, после включения, парсит в новый документ, а не сначала, как мне показалось.
     

    Вложения:

  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Какие именно у вас проблемы?
     
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Вы используете повторяющиеся границы, зачем?
    Я парсил этот сайт, обычно это делается в том случае если в 1 товаре есть разделение на группы, например товар 200г, 500г, 800г, 1 кг, 5кг.
    Просмотрел 20 ссылок не нашел подобных.
    Вам нужно тогда предусмотреть 2 варианта, просто обработку товара, либо если есть повторяющийся товар то тогда использовать повтор границу.
    А так Вы получаете что результирующий документ пустой.
     
    Последнее редактирование: 19 апр 2014
  15. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    Там довольно много товаров с повторяющимися границами. Я его парсил раньше более старой версией программы, но потом они переделали сайт. Пробую заново. Даже если там нет группы, а только один вес, например, то это все равно должно нормально работать.
     
  16. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    Там выдает пустой документ, когда код страницы попадается в верхнем регистре, вида <DIV> вместо <div>. Не знаю почему так.
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Потому, что границы парсинга чувствительны к регистру. Задавайте оба варианта регистра...
     
  18. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Кстати на петшопе недавно сменили дизайн, ранее категории были попрятаны тоесть отображались только в категориных ссылках. А сейчас это один из самых легких сайтов которые настраиваются в считанные минуты.

    Leksey, вы почти правильно настроили и как я понял попытка была на каждый артикул назначить как отдельный товар. Вот на скриншоте отметил где надобы назначить границу которая обнимает тот участок кода где фтигурируют все артикулы товара 1 и более.

    [​IMG]

    п.с. возникнут непонятки, пишите и поможем.
     
  19. Leksey_G

    Leksey_G New Member Пользователи

    Регистрация:
    21 дек 2012
    Сообщения:
    21
    Да у меня не парсила вообще. Несколько страниц и зависал парсинг. Сейчас вроде бы работает, но медленно. Жду пока всё спарсит, потом буду смотреть результат. Но как по мне работает медленнее, чем более ранние версии программы. Или может я что-то не правильно настроил. Пока не понял.
     
  20. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Насчет старых версий и новых это заблуждение - новые намного лучше и не припомню такого случая когда после обновления были проблемы - обычно ошибочно на форуме новички писали. Хотя проблема зачастую в настройке.
     

Поделиться этой страницей