Параметр [CDPARAM], правильное использование

Тема в разделе "WBAppIE", создана пользователем Upi, 22 июн 2014.

  1. Upi

    Upi Member Пользователи

    Регистрация:
    8 май 2014
    Сообщения:
    31
    Чтобы парсить не весь сайт, а только то что меня интересует, хочу использовать [CDPARAM]
    Для генерации ссылок использую
    Для вывода шаблона
    В WBapp:
    На сайте реализовано так, что кнопка подтверждения поиска не работает...всплывает динамически окошко сразу с результатами поиска. А вот если Enter жмешь то переходит сразу на то что надо. Возможно ли эмулировать кнопку Enter?
    Вывод шаблона как хотел, не работает. Где и что я делаю не верно?
     
    Последнее редактирование: 22 июн 2014
  2. Upi

    Upi Member Пользователи

    Регистрация:
    8 май 2014
    Сообщения:
    31
    Для вывода в CSV проблему решил этим:
    Осталось эмуляцию кнопки энтер решить...
     
  3. Upi

    Upi Member Пользователи

    Регистрация:
    8 май 2014
    Сообщения:
    31
    Опытным путем пришел к тому, что имитация энтера не нужна, по поиску он переходит, но открывает результат поиска как бы в новом окне, и происходят заново все манипуляции в WBAPP в итоге, на парсинг уходит пустая страница
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Простите за долгий ответ, так и не понял, все проблемы решили?)
     
  5. Upi

    Upi Member Пользователи

    Регистрация:
    8 май 2014
    Сообщения:
    31
    Проблему не решил. Проблема заключается в том, что WBapp вводит в поле поиска текст, жмет поиск(а он как бы не нажимается), WBapp закрывается и открывается снова, пытается сделать туже самую манипуляцию... Как бы я не получаю итоговую страничку с которой нужно парсить свойства.

    Через гугл по сайту искать удобнее, но что бы я не делал даже 20000мс задержку, гугл банит через 50 запросов.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    На каком именно сайте и какая именно кнопка не нажимается?
     
  7. Upi

    Upi Member Пользователи

    Регистрация:
    8 май 2014
    Сообщения:
    31
    Кнопка поиска: Search
    ЛС отправить не смог Вам, поэтому пишу тут под хайд:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 2000 постов.**
     
    Последнее редактирование: 23 июн 2014
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Да, что-то не кликается...
    Почему бы просто не спарсить по ссылкам типа
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Где
    ZAPROS - поисковый запрос
    NOMER - номер страницы поисковой выдачи
    PS: Форум вставляет пробел, &SortBy = - учтите, что пробела перед знаком равно быть не должно!
     
  9. Upi

    Upi Member Пользователи

    Регистрация:
    8 май 2014
    Сообщения:
    31

    Хорошая идея, но не могу понять, при указании любых данных вместо "ZAPROS " результат поиска одинаков
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот жесть =) первый раз такое вижу.
    Они требуют, чтобы был referer нужный.
    Например, парсим
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Требуется, чтобы в параметрах http-запросов программы (ctrl+h) в поле "custom headers" было:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    PS: И то, при задании границ парсинга, "адекватный" результат парсинга будет отображаться только в коде, а не в браузере внизу... Учтите это.
    PSS: Форум опять упорно каверкает ссылки и добалвяет гиперлинк...
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если это очень и очень нужно, можно подумать над функцией передачи соответствующих referer в каждую ссылку...
     
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Добавьте пожалста передачу header значений динамических во время парсинга, поскольку такое встречается не только на этом сайте обычно искать приходилось сторонние решения очень неудобные (на данный момент целевых примеров привести не могу поскольку не запомнились).
     
  13. Upi

    Upi Member Пользователи

    Регистрация:
    8 май 2014
    Сообщения:
    31
    Я бы не сказал что прямо огромная в этом необходимость, но пригодится. Был еще 1 сайт аналогичный, с такой же проблемой, думал что у меня просто кривые руки.... Просто гуглом парсить не получается в больших объемах...
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Хорошо, постараюсь в ближайшие три дня реализовать это. Спасибо!
    Извините за ожидание...
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте!

    Выпустил обновление:
    Нажимаем ctrl+h и вставляем в поле custom headers примерно следующее:
    referer: [SELF]
    Более подробный хелп по этой теме я постараюсь написать позже.

    Извините за ожидание.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот, как и обещал, пожалуйста, пользуйтесь Ссылки недоступны для гостей
     
  17. Upi

    Upi Member Пользователи

    Регистрация:
    8 май 2014
    Сообщения:
    31
    Еще раз благодарю создателя программы, и динамическом усовершенствовании данного софта. Крепко пожимаю руку, и еще раз не жалею что купил Максимальную версию. Не бросил в моей проблеме, что значительно упростит парсинг инфы для интернет-магазина.:happy:
    Может кому пригодиться:
    PHP:
    http://VASH_SITE.com/search.html?FilterSearch={key}&SiteSize=30&SortBy=Search&SortAs=1&Site={num} [PARAM]:{key}
    Добавил поиск в html тегах, и получил:
    PHP:
    <meta property="og:url" content="{get}"
     

Поделиться этой страницей