Динамически пополнять список ссылок

Тема в разделе "Обработка данных при парсинге во вкладке "Контент"", создана пользователем Ambassador, 12 ноя 2015.

  1. Ambassador

    Ambassador New Member Пользователи

    Регистрация:
    30 дек 2013
    Сообщения:
    10
    Здравствуйте!
    Подскажите, возможно ли в CD при парсинге добавлять ссылки в список ссылок для парсинга.
    Поясню. Сперва для парсинга в список ссылок добавляем только одну ссылку - на главную страницу.
    На главной странице есть ссылка "Next Page". Вот ее и нужно добавлять в список ссылок, пока она будет присутствовать.
    Заранее нагенерировать ссылки нет возможности. GETMORECONTENT неподходит.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Уточните, при парсинге во вкладке "Контент"?
     
  3. Ambassador

    Ambassador New Member Пользователи

    Регистрация:
    30 дек 2013
    Сообщения:
    10
    Да, контент. У меня в шаблоне настроены границы для извлечения требуемой информации. После того, как работа с текущей ссылкой (страницей) будет закончена, мне нужно добавить в список ссылок следующую, получить ее и распарсить по этому же шаблону. т.е. пройтись по всем страницам сайта.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз.

    Решил подобную функцию в программу не вводить (не нашел ей практического применения).

    Давайте найдем альтернативное и, уверен, более корректное решение вашей задачи. Прошу указать: что и откуда спарсить!

    С уважением к вам, Сергей.
     
  5. Ambassador

    Ambassador New Member Пользователи

    Регистрация:
    30 дек 2013
    Сообщения:
    10
    Давайте найдем другое решение.

    Задача. Владельцу сайта необходимо знать какие страницы его сайта находятся в выдаче яши и гоши. По запросу site:domain.com показывается примерное кол-во страниц в индексе, и как правило эта цифра сильно отличается от реального значения. Поэтому нагенерировать ссылки не получится, да и не хотелось бы делать это лишнее телодвижение.
    Самым простым решением показалось переходить по ссылке "Next Page" пока она присутствует на странице. Может Вы можете посоветовать другой алгоритм?
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Хорошо, сделаю подобную функцию в ближайшие 7 дней. Следите за обновлениями.
     
  7. Ambassador

    Ambassador New Member Пользователи

    Регистрация:
    30 дек 2013
    Сообщения:
    10
    Спасибо!

    Заранее благодарен!
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    С уважением к вам, Сергей...
     
  9. t@lev@n

    t@lev@n Member Пользователи

    Регистрация:
    16 июн 2014
    Сообщения:
    88
    Извиняюсь, что не в тему.
    А когда нам ждать (или уже не ждать) всплывающего окна при закрытии проекта (или открытии другого) с предложением сохранить проект если в нем были произведены изменения?
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Подобных доработок совершать не планируем.
     
  11. pavelbe

    pavelbe New Member Пользователи

    Регистрация:
    9 сен 2015
    Сообщения:
    41
    Сергей, как пользоваться ADDURL???
    Тоже нужно очень.
    Ранее спрашивал подобное. (только просил, вместо Getmorecontent полноценный парсинг другой страниц по найденной ссылке).
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте. Пожалуйста, читайте описание макроса. Думаю, пояснения тут ни к чему, и так все предельно просто!
     

    Вложения:

Поделиться этой страницей