WBApp не передает код страницы парсеру

Тема в разделе "WBAppIE", создана пользователем lavr2004, 24 ноя 2016.

Метки:
Статус темы:
Закрыта.
  1. lavr2004

    lavr2004 Member Пользователи

    Регистрация:
    31 май 2013
    Сообщения:
    35
    Приветствую, ребята.

    Столкнулся с непонятной мне проблемой, когда WBApp отработав с вебсайтом не сохраняет файл для парсера и как результат парсер ничего не имеет для работы.

    Это один из примеров (таких вебсайтов я имею много).Ссылки недоступны для гостей
    На сайте работает jQuery, который дотягивает контент GET-запросами при смещении окна браузера вниз страницы и поэтому WBApp весьма простой:
    upload_2016-11-24_21-49-25.png
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**

    Сервер реагирует быстро (как и положено для jQuery) и выдает при каждом GET очередные 10 строк. Затем, когда весь контент загружен в DOM, WBApp должен сделать свой [GETHTML] и сохранить все, как я понимаю, в файл MemoryStream_Х.txt, где Х == порядковый номер чего-то. И он этого просто не делает.

    Как следствие парсер выдает пустой результат. И такое я имею не только с этой страницей.

    Думаю - это баг. Если ошибаюсь, прошу помощи. Если не ошибаюсь - рад помочь сделать программу лучше.

    Всем добра.
     

    Вложения:

  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Ctrl+h, в "максимальное число символов загружаемого документа" поставьте ноль.
     
  3. lavr2004

    lavr2004 Member Пользователи

    Регистрация:
    31 май 2013
    Сообщения:
    35
    Это не помогает. Ноль у меня стоит по умолчанию во всех проектах... И я объяснил: файл с кэшем не создается самой программой WBApp.exe

    Причем здесь настройки парсера?

    Попробуйте сами сделать проект для этого веб-сайта. Вы кажется не пробовали

    upload_2016-11-24_23-52-10.png
     
    Последнее редактирование: 25 ноя 2016
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Проверил работает, 354 примерно объявлений.:)
    Притом что вам хотел вам помочь.
    Хорошо что обновили программу, буквально на днях там по стандарту теперь ноль тоесть безлимитное. Ранее там указано было количество символов и если этот лимит превысить то как раз такие же симптомы могли быть как вы описали.
     
    Последнее редактирование: 25 ноя 2016
  5. lavr2004

    lavr2004 Member Пользователи

    Регистрация:
    31 май 2013
    Сообщения:
    35
    Спасибо. До свидания.
     
    Последнее редактирование: 25 ноя 2016
  6. lavr2004

    lavr2004 Member Пользователи

    Регистрация:
    31 май 2013
    Сообщения:
    35
    .
     

    Вложения:

    Последнее редактирование: 25 ноя 2016
  7. lavr2004

    lavr2004 Member Пользователи

    Регистрация:
    31 май 2013
    Сообщения:
    35
    .
     
    Последнее редактирование: 25 ноя 2016
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2016-11-25_05-20-44.png
     
    lavr2004 нравится это.
Статус темы:
Закрыта.

Поделиться этой страницей