Почему парсер не обходит ссылки по порядку

Тема в разделе "Функции и интерфейс программы", создана пользователем Sallador, 15 сен 2018.

  1. Sallador

    Sallador New Member Пользователи

    Регистрация:
    23 июл 2018
    Сообщения:
    15
    Здравствуйте всем. Скажите плиз почему парсер не обходит сссылки по порядку? Про выставление в один поток я в курсе..не помогает. И еще как парсить так чтобы сохранялась и ссылка на страницу откуда взяты данные. Похожую тему видел здесь но так и не нашел как это сделать. Спасибо.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Встречный вопрос, не обходит по порядку где? В сканере? Он их и так по порядку прогоняет, а если во вкладках, то непонятно. В 1 поток он все по порядку идёт. Пр ведите более подробный пример с реальными данными. По поводу вида, есть макрос CD_docurl по щите в дереве макросов
     
  3. Sallador

    Sallador New Member Пользователи

    Регистрация:
    23 июл 2018
    Сообщения:
    15
    Добрый день. Про макрос знаю но мне нужно чтобы при выводе результата были видны и собранные данные и ссылка на то место откуда они взяты. При использовании макроса у меня на выходе остается толь только ссылка
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    приведите пример
    что на входе, и что в итоге надо получить в csv
     
  5. Sallador

    Sallador New Member Пользователи

    Регистрация:
    23 июл 2018
    Сообщения:
    15
    Пациент: Ссылки недоступны для гостей Собираю телефоны к примеру. На выходе вот что. Но мне нужны и ссылки и телефоны. Если макрос не использую телефоны собираются вразнобой. То есть вместо первой вторая,вместо второй 10 и т.д tps://tbankrot.ru/reestr_card?ot_id=5642
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     

    Вложения:

  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    значит стоит 10 потоков а не 1
    не может он в 1 поток собирать неправильно (скорее всего речь идет об сканере сайтов)
    с другой стороны, а какая разница как он собирает главное чтоб собирал
    Теперь вопрос 2
    А вы где собираете эти ссылки?
    Вы настроили на вкладке контент сбор данных?
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Настраиваете проэкт, чтоб парсило ссылки на вкладке ССЫЛКИ
    и потом чтоб в КОНТЕНТ собирало телефоны
    можно конечно прикрутить гетмор, но я думаю тут это нецелесобразно
     
  8. Sallador

    Sallador New Member Пользователи

    Регистрация:
    23 июл 2018
    Сообщения:
    15
    Стоит один поток! Причем пробовал и с другими проектами. Результат один...Сбор настроен. Разница есть...Зачем мне не по порядку? Мне необходимо что бы шло именно по порядку. Что бы соответствовало ссылкам а не собирало как бог на душу положит..
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    тогда надо настроить чтоб собирало все данные которые вам нужны, а не соединять их потом, тогда и порядок будет неважен.
     
  10. Sallador

    Sallador New Member Пользователи

    Регистрация:
    23 июл 2018
    Сообщения:
    15
    Хорошо. Понятно что ничего не понятно. Ладно буду сам разбираться. Но по итогу так и не понятно как получить в исходном документе еще и ссылку на то место откуда взяты данные?
     
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Что именно вам непонятно?
    1) у вас должен быть тариф профи, чтоб видеть телефоны, он есть?
    2) настраивать надо проэкт вот так, файл приложил.
    3) границу с телефоном сами добавите, в шаблоне это граница №1
    4) после настройки границы обратно перейдите на вкладку ссылки и сохраните проэкт.
    5) запускать проэкт с вкладки ссылки.
     

    Вложения:

    • tbankrot_ru.cdp
      Размер файла:
      50,1 КБ
      Просмотров:
      1
  12. Sallador

    Sallador New Member Пользователи

    Регистрация:
    23 июл 2018
    Сообщения:
    15
    Конечно тариф есть иначе зачем бы я парсил этот ресурс...Хорошо попробую. Спасибо. И всеже как мне самостоятельно получать на выходе и ссылку и данные?
     
  13. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    1) откройте проэкт и посмотрите что там есть.
    2) использовать [PARAM] для передачи в данном случае ссылки с какой страницы мы получили данные
    3) <CD_DOCURL!> для вставки ссылки страницы с которой идет парсинг.
    4) почитать основы парсинга Ссылки недоступны для гостей
    5) не хотите заморачиваться, закажите настройку у специалистов Ссылки недоступны для гостей)
     
  14. Sallador

    Sallador New Member Пользователи

    Регистрация:
    23 июл 2018
    Сообщения:
    15
    Спасибо Понятно. А если я ссылки на профили добавляю сразу f8...они у меня уже собраны. Что это меняет?
     
  15. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    ничего не меняет, кроме того что надо на вкладку контент сразу делать тогда.
    но тогда возникает вопрос. каким образом стоит 1 поток и ссылки идут не по порядку. Покажите на скрине гду поставили в 1 поток?
     

Поделиться этой страницей