помощь в парсинге определенного сайта

Тема в разделе "Решение различных задач по парсингу", создана пользователем Root, 10 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нажать F8 и вставить их из буфера обмена системы (ctrl+w). Либо парсить ссылки с интересующих вас сайтов Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
  2. Margo

    Margo New Member Пользователи

    Регистрация:
    17 май 2015
    Сообщения:
    29
    Добрый день!
    Помогите спарсить размеры в одну ячейку и разделить их ;
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Не могу убрать привязку цены к размеру

    Спасибо
     
  3. Margo

    Margo New Member Пользователи

    Регистрация:
    17 май 2015
    Сообщения:
    29
    Разобралась, все оказалось проще чем думала)
     
  4. petroveech

    petroveech New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    5
    Добрый день. Собралось несколько вопросов. Хочу спарсить рецепты например с eda.ru, но мне нужно что бы количество ингредиента и мера измерения (граммы, ложки, литры и т.д.) ложились в разные столбцы таблицы. Возможно ли это?

    Второй вопрос. На множестве кулинарных сайтов используется микроразметка, может ли она помочь в упрощении настройки парсинга?
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Увы, сейчас не смог найти решения для распределения данных согласно мерам измерения.

    Вопрос про микроразметку, простите, не понял.

    С уважением к вам, Сергей.
     
  6. Dr_Rene

    Dr_Rene New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    3
    Город:
    Vbycr
    Здравствуйте. Есть задача - спарсить с сайта
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    с закладки "Закупки" и подзакладки "Архив закупок" ссылки содержащие в поле "Краткое описание предмета закупки" слово "трансформатор". А после этого, спарсить информацию о каждой заупке из отфильтрованных ссылок предмета закупки.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Помогите пожалуйста советом как подойти к решению данной задачи.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Сбор ссылок на закупки организован в прикрепленном проекте (в программе: меню - файл - загрузить проект) по принципу, описанному на этой странице системы помощи Ссылки недоступны для гостей

    Сбор контента по полученным ссылкам осуществляется во вкладке "Контент" (Ссылки недоступны для гостей -> раздел "Парсинг контента (текст, картинки)").

    Если будут еще вопросы, пожалуйста, обращайтесь.

    С уважением к вам, Сергей.
     

    Вложения:

    • icetrade_by.cdp
      Размер файла:
      37 КБ
      Просмотров:
      38
  8. Dr_Rene

    Dr_Rene New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    3
    Город:
    Vbycr
    Большое спасибо за оказанную помощь.
     
  9. Dr_Rene

    Dr_Rene New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    3
    Город:
    Vbycr
    Подскажите еще ответ на один вопрос. Ссылки я то соберу - это отдельные страницы тендеров, но как мне из них выделить все ссылки с определенным фильтром, например, по полю "Краткое описание предмета закупки" которое содержит ключевое слово "трансформаторн" и не содержит сразу же слово "масло" ? Буду очень благодарен за ответ.
     
  10. Lana

    Lana New Member Пользователи

    Регистрация:
    11 июл 2015
    Сообщения:
    22
    Добрый день, вопрос, думаю, для многих будет актуален:

    2gis.ru сделали обновление - вместо подгружающегося списка теперь плитка с картинками с перелистыванием страниц НО!
    Ссылки недоступны для гостей
    или 2gis.ru ---> Пермь ---> Кафе , по поиску или по рубрике можно найти

    В рубрике 661 организация, при клике на 2ю страницу ОП! 1068, парсит первые 50 страниц дальше не идет. Как только не пыталась получить эти страницы, и генерацией и сканером и WBApp настраивала клики, не выходит ( в веб кстати показывает списком с перелистыванием страниц) К примеру брала генерацию с общей страницы http://2gis.ru/perm/search/%D0%9A%D0%B0%D1%84%D0%B5/page/{num}/zoom/11

    Предполагаю, что гис не грузит эти страницы дальше 49й или у меня в настройках что то не то, может блокирует, помогите не могу разобраться...
     
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Для этого нужно видеть картинку с заданием. С конкретными примерами.
    А вообще, скорее всего, решается с помощью дополнительного проекта.
     
  12. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    странно, настроил простенький кликер - кликает все нормально.
    Загружаете wbapp на
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    настраиваете количество повторений макроса REPEAT в настройка wbappa
    И запускаете.

    Код:
    [REPEAT]
    [GETHTML]
    [CLICK][outerhtml][N]0[/N][FULL]:<div class="pagination__arrow _right"></div>
    [WAIT]:3000
    [/REPEAT]
    
     
    Последнее редактирование: 12 июл 2015
  13. Lana

    Lana New Member Пользователи

    Регистрация:
    11 июл 2015
    Сообщения:
    22
    Спасибо! не брала в учет стрелки для перелистывания, все кликает , но все равно не парсится дальше 49й , именно эта рубрика , все остальные по 60 ++ страниц проходят нормально, буду демать что еще можно сделать, пока склоняюсь что чтото с сайтом.
     
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Что означает не парсится, на нее переходит, и собирать ссылки надо именно wbapp проектом. Не просто генерируя кучу ссылок, а именно кликая по ним.
     
  15. Lana

    Lana New Member Пользователи

    Регистрация:
    11 июл 2015
    Сообщения:
    22
    Все я поняла что не то делала - я ссылки генерировала и ваш код оч помог, только с {br} пошло, пока максимальней синхронизировать с вордпрессом ,чем парсить сразу в mysql нету возможности?
     
  16. petroveech

    petroveech New Member Пользователи

    Регистрация:
    16 июн 2015
    Сообщения:
    5
    Под микроразметкой я имел ввиду это Schema. org
     
  17. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Кто мешает вам создать столько уникальных границ, сколько вам необходимо?
     
  18. esif22

    esif22 New Member Пользователи

    Регистрация:
    22 июл 2014
    Сообщения:
    26
    Привет, не подскажите как спарсить
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
  20. esif22

    esif22 New Member Пользователи

    Регистрация:
    22 июл 2014
    Сообщения:
    26
    Спасибо
     

Поделиться этой страницей