Не погружает web содержимое страницы

Тема в разделе "Решение проблем с загрузкой WEB-страниц", создана пользователем sotex2, 15 авг 2020.

  1. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    Подскажите, как отсюда - Ссылки недоступны для гостей
    спарсить "Сайт" и "Почту"
    • Сборка виндовс: Windows 10
    • Версия программы: 11.1.1111123
    • Тип лицензии: ULTIMATE
    [​IMG]
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.433
    Адрес:
    Latvia
    Нету там почты. А сайт можно от редирект ссылки выбрать макросом GETREDIRECT
     
  3. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    там почта похоже под скриптом, ведь по факту в ручную информацию можно отправить или программа в данном случаи не сможет вытащить?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Там сообщение не через почту, отправляется, а через форму сайта. Почты там нет, как сказали выше.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Адрес сайта можно получить с помощью макроса [GETREDIRECT].
     

    Вложения:

    • houzz_ru.cdp
      Размер файла:
      39,9 КБ
      Просмотров:
      2
    sotex2 нравится это.
  6. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    смотрел видео урок и там, когда задаются границы парсинга и при этом кликнуть в нижней части окна, то в верхнем окне сразу находится код в html. подскажите как настроить, чтобы у меня так же было.

    [​IMG]
     
    Последнее редактирование: 15 авг 2020
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    Читайте красный текст.
     
    sotex2 нравится это.
  8. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    По умолчанию стоял хром и операционка windows 10, при наведении и при клике не срабатывало, только после нажатия F4, но это не удобно было. только когда поставил на эксплорер, только тогда срабатывать начало. хотя написано, что на хроме и на windows 10 работает лучше всего.
     
  9. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    спасибо
     
  10. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    у меня есть первый проект, где парсятся данные с сайта - Ссылки недоступны для гостей
    В проекте так же парсятся адреса сайтов и выводятся в CSV, но не получается из этих адресов сайтов, вытянуть Емайл адреса. Последнии 3 часа перепробовал много вариантов, но без результатно. Подскажите как быть. проект приложил.
     

    Вложения:

    Последнее редактирование: 15 авг 2020
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Прочитайте хотя бы названия записей системы помощи (на главной странице).

    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     
  12. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    я последний месяц только и читаю, и смотрю. в уроках показано, что если загрузить список, вот тогда он будет собирать. а как из моего проекта сделать, у меня не получается. у меня с начало парсятся сайты с другими данными, а потом я пытался выводить колонку с парсенными сайтами и заключать в Ссылки недоступны для гостей или [EXTRACTEMAILS][/EXTRACTEMAILS]

    у меня в проекте в колонке с кодом [GETREDIRECT][WINLIB]<CD_GRAN_6!>[/GETREDIRECT] - сохраняются адреса сайтов. я пробовал вложить этот код в [EXTRACTEMAILS][GETREDIRECT][WINLIB]<CD_GRAN_6!>[/GETREDIRECT][/EXTRACTEMAILS] и тоже неполучается и пробовал с CRAWLER.
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы пробуете в [EXTRACTEMAILS] вложить ссылку. В этот макрос нужно вкладывать HTML код (для извлечения из него имейл).

    В [CRAWLER], по большому счету, достаточно только лишь вложить ссылку на сайт, что сделать просто.
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 8 постов.**
    Проект приложил.
     

    Вложения:

  15. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    в html мне нельзя было вложить, так как вы сказали, что там нет email адресов. спасибо сейчас изучу.
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вот доработанная версия проекта.
     

    Вложения:

    sotex2 нравится это.
  17. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    спасибо сейчас посмотрю
     
  18. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    Спасибо, проверил первые 10 ссылок из них только у двух ссылок емайл не цепляет. проверил в сылках сайт есть, перешел на сайте, там на главной и в контактах емайлы есть и не заскриптованые, но почему то не цепляет.
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 11 постов.**
     
  20. sotex2

    sotex2 Member Пользователи

    Регистрация:
    12 авг 2020
    Сообщения:
    130
    Город:
    нижний новгород
    небольшая проблемка есть. если при сборе нет адреса сайта, то в csv записывается параетр M_ERR. пытался при помощи поиска и замена в коде, но не срабатывает. есть ли какое то условие, что когда нет адреса сайта, то поле в колонке было пусто без M_ERR или можно было бы перезаписать на свой текст. для наглядности приложил скрин с проектом.
    [​IMG]
     

    Вложения:

Поделиться этой страницей