Параметр [CDPARAM], правильное использование

Discussion in 'WBAppIE' started by Upi, Jun 22, 2014.

  1. Upi

    Upi Member Пользователи

    Joined:
    May 8, 2014
    Messages:
    31
    Чтобы парсить не весь сайт, а только то что меня интересует, хочу использовать [CDPARAM]
    Для генерации ссылок использую
    Для вывода шаблона
    В WBapp:
    На сайте реализовано так, что кнопка подтверждения поиска не работает...всплывает динамически окошко сразу с результатами поиска. А вот если Enter жмешь то переходит сразу на то что надо. Возможно ли эмулировать кнопку Enter?
    Вывод шаблона как хотел, не работает. Где и что я делаю не верно?
     
    Last edited: Jun 22, 2014
  2. Upi

    Upi Member Пользователи

    Joined:
    May 8, 2014
    Messages:
    31
    Для вывода в CSV проблему решил этим:
    Осталось эмуляцию кнопки энтер решить...
     
  3. Upi

    Upi Member Пользователи

    Joined:
    May 8, 2014
    Messages:
    31
    Опытным путем пришел к тому, что имитация энтера не нужна, по поиску он переходит, но открывает результат поиска как бы в новом окне, и происходят заново все манипуляции в WBAPP в итоге, на парсинг уходит пустая страница
     
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.
    Простите за долгий ответ, так и не понял, все проблемы решили?)
     
  5. Upi

    Upi Member Пользователи

    Joined:
    May 8, 2014
    Messages:
    31
    Проблему не решил. Проблема заключается в том, что WBapp вводит в поле поиска текст, жмет поиск(а он как бы не нажимается), WBapp закрывается и открывается снова, пытается сделать туже самую манипуляцию... Как бы я не получаю итоговую страничку с которой нужно парсить свойства.

    Через гугл по сайту искать удобнее, но что бы я не делал даже 20000мс задержку, гугл банит через 50 запросов.
     
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    На каком именно сайте и какая именно кнопка не нажимается?
     
  7. Upi

    Upi Member Пользователи

    Joined:
    May 8, 2014
    Messages:
    31
    Кнопка поиска: Search
    ЛС отправить не смог Вам, поэтому пишу тут под хайд:
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 2000 or greater.**
     
    Last edited: Jun 23, 2014
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Да, что-то не кликается...
    Почему бы просто не спарсить по ссылкам типа
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    Где
    ZAPROS - поисковый запрос
    NOMER - номер страницы поисковой выдачи
    PS: Форум вставляет пробел, &SortBy = - учтите, что пробела перед знаком равно быть не должно!
     
  9. Upi

    Upi Member Пользователи

    Joined:
    May 8, 2014
    Messages:
    31

    Хорошая идея, но не могу понять, при указании любых данных вместо "ZAPROS " результат поиска одинаков
     
  10. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Вот жесть =) первый раз такое вижу.
    Они требуют, чтобы был referer нужный.
    Например, парсим
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    Требуется, чтобы в параметрах http-запросов программы (ctrl+h) в поле "custom headers" было:
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    PS: И то, при задании границ парсинга, "адекватный" результат парсинга будет отображаться только в коде, а не в браузере внизу... Учтите это.
    PSS: Форум опять упорно каверкает ссылки и добалвяет гиперлинк...
     
  11. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Если это очень и очень нужно, можно подумать над функцией передачи соответствующих referer в каждую ссылку...
     
  12. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Добавьте пожалста передачу header значений динамических во время парсинга, поскольку такое встречается не только на этом сайте обычно искать приходилось сторонние решения очень неудобные (на данный момент целевых примеров привести не могу поскольку не запомнились).
     
  13. Upi

    Upi Member Пользователи

    Joined:
    May 8, 2014
    Messages:
    31
    Я бы не сказал что прямо огромная в этом необходимость, но пригодится. Был еще 1 сайт аналогичный, с такой же проблемой, думал что у меня просто кривые руки.... Просто гуглом парсить не получается в больших объемах...
     
  14. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Хорошо, постараюсь в ближайшие три дня реализовать это. Спасибо!
    Извините за ожидание...
     
  15. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте!

    Выпустил обновление:
    Нажимаем ctrl+h и вставляем в поле custom headers примерно следующее:
    referer: [SELF]
    Более подробный хелп по этой теме я постараюсь написать позже.

    Извините за ожидание.
     
  16. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Вот, как и обещал, пожалуйста, пользуйтесь Ссылки недоступны для гостей
     
  17. Upi

    Upi Member Пользователи

    Joined:
    May 8, 2014
    Messages:
    31
    Еще раз благодарю создателя программы, и динамическом усовершенствовании данного софта. Крепко пожимаю руку, и еще раз не жалею что купил Максимальную версию. Не бросил в моей проблеме, что значительно упростит парсинг инфы для интернет-магазина.:happy:
    Может кому пригодиться:
    PHP:
    http://VASH_SITE.com/search.html?FilterSearch={key}&SiteSize=30&SortBy=Search&SortAs=1&Site={num} [PARAM]:{key}
    Добавил поиск в html тегах, и получил:
    PHP:
    <meta property="og:url" content="{get}"
     

Share This Page