Генерация ссылок, различные диапазоны {num}

Тема в разделе "Фильтры ссылок", создана пользователем maxnemo, 2 мар 2015.

  1. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    Привет пипл !
    Нужно спарсить ссылки вида:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    И таких допустим 15 ссылок с изменчивыми XX и датой DD.MM.YYYY в разных диапазонах.

    В идеале привязать конечно такой динамичный вид ссылки к Планировщику ежедневному или ежемесячному.

    И хотелось бы узнать какое ограничение на парсинг ссылок в стартовой и ультимэйт версиях!? (В демо = 1 сслыка)

    В примерах есть диапазоны {num} с одним параметром. А хотелось бы {num1}, {num2}, ... чтобы диапазоны задавать для разных параметров свои, со смещением.

    Возможно ли это?:) Спасибо.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Заранее сгенерируйте список одного вида диапазонов и вставьте их в {key} (соответствующая кнопка).

    И для генерации списка ссылок используйте примерно такой шаблон:
    Где {num} - заданный в генераторе диапазон чисел, а {key} - заранее сгенерированный диапазон дат.

    Вот хелп по инструменту генерации ссылок - Ссылки недоступны для гостей

    Ограничение по парсингу ссылок в полной версии программы - 1 500 000.

    Если вы хотите получать нужный список ссылок в автоматическом режиме (в планировщике). То лучше задействовать PHP-скрипт, который при обращении к нему будет выдавать вам этот список. Прописать путь к скрипту можно в: меню - сервис - автоматизация - поле "загрузка url-адресов...".

    С уважением к вам, Сергей...
     
  3. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    Абалдеть! Спасибо! Программа до ужаса крутейшая!
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо и вам на добром слове!

    Обращайтесь...
     
  5. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    Ещё вопросик, прочитав статью Ссылки недоступны для гостей - возможно ли применение нескольких параметров по ключам [PARAM1] , [PARAM2] и тд тп?
    Например чтобы спарсенные ссылки вида http://citename/block/itemID/{key}?date={key2}
    сохранялись бы по папкам c:\content\block\itemID-{key}\{key2}.txt , т.е. создавались бы папки itemID-1 и файлы внутри неё 02.03.2015.txt и так далее.

    Типа такой конструкции шаблона вывода:
    Код:
    <CD_CYCLE_GRAN_1!>
    [DOCNAME]block\itemID-[PARAM1]\[PARAM2].txt[/DOCNAME]
    
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте еще раз!

    Такой возможности сейчас нет и не предвидится в ближайшее время.

    С уважением к вам, Сергей...
     
  7. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    Я тогда решил в один ключ всё занести, а дальше уже регулярными разделять.
    Код:
    http://citename/block/itemId/16?date=08.03.2015[PARAM]:16?date=08.03.2015
    Параметр (ключ) зеленым цветом я рашил разбить на 2 переменные.

    Код:
    <CD_CYCLE_GRAN_1!>
    [VAR][SET:mt][FIRST_REPLACE(re: *\?date=.*|)][PARAM][/FIRST_REPLACE][/SET][/VAR]
    [VAR][SET:dat][FIRST_REPLACE(re: *[0-9]{2}\?date=*|)][PARAM][/FIRST_REPLACE][/SET][/VAR]
    [VAR:mt]
    [VAR:dat]
    [DOCNAME]KARO\[VAR:mt]\[VAR:dat].txt[/DOCNAME]
    
    Но не совсем получается.
    Если выполнить "предпросмотр элемента" (CTRL+F2), то видно как выводится 16 и 08.03.2015 за счет функций [VAR:mt] и [VAR:dat].
    Если выполнить "начать парсинг" (F5), сохраняется в папку
    \KARO\08.03.2015\08.03.2015.txt , а должно \KARO\16\08.03.2015.txt
    Почему-то переменные обе приравниваются к 08.03.2015.
    В чем моя ошибка?
     
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Все нормально. в логе все работает правильно!
    сохраняется тоже правильно.
     

    Вложения:

  9. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    А всё разобрался, я подгружал из txt ссылку видать корявую!
     
    Последнее редактирование: 8 мар 2015
  10. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    А вы не подскаже, возможна ли передача параметров скрипту, используя "загрузку ссылок перед парсингом"?
    В окошке "Автоматизация" можно ли вставить ссылку вида ?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Или есть макрос типа php_script, которому можно что-то передать и сгенерировать уже список ссылок для парсинга в зависимости от переданного?
     
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    В ctrl+u кнопка "дополнительные функции автоматизации" укажите адрес на скрипт
    допустим http://citename/block/parse_list.php?data=123 при обращении выдается список, впринципе что и надо для программы.
     
    Последнее редактирование: 14 мар 2015
  12. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    Ага заработало.
    1) А можно не через ? не GET-ом получать, а POST-ом отправить? Используя это > не получается. Ну не страшно если гет толлько)
    2) И проблема список генерится (заметно в окне белого поля CD) в одну строку, хотя я добавил в конце каждого echo ссылки <br> и в браузере тоже мультистрочно генерится.
    И получается парсится только одна первая встреченная ссылка. Что мне изменить в сприкте ПХП ?)

    Ссылки недоступны для гостей[PARAM]:16|2015-03-15http://citename/block/16?date=16.03.2015[PARAM]:16|2015-03-16http://citename/block/16?ate=17.03.2015[PARAM]:16|2015-03-17http://citename/block/16?date=18.03.2015[PARAM]:16|2015-03-18http://citename/block/16?date=19.03.2015[PARAM]:16|2015-03-19http://citename/block/16?date=20.03.2015[PARAM]:16|2015-03-20http://citename/block/16?date=21.03.2015[PARAM]:16|2015-03-21
     
  13. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    Наверно надо экран сделать после каждой ссылки , а уже в парсере фильтровать как-то сссылки в фильтре ссылок:)
     
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Еще проще, начинайте со вкладки ССЫЛКИ
    В списке только одна ссылка http://citename/block/parse_list.php?data=123 откуда будет собирать все ссылки где список выдает каждую обрамленную метками например <loc> и </loc>.
    В FIND надо указать что ищем ссылки в метках <loc>{get}</loc>

    [​IMG]
     
  15. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    О, спасибо! Супер способ. Гениальная программа !)
     
    Последнее редактирование: 15 мар 2015
  16. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    ПОпробовал что с <loc> , что с с link:{get}; опять кривоватая только одна ссылка :
    parse1.png
    Может {get} ссылки вида - Ссылки недоступны для гостей[PARAM]:16|2015-03-21 не распознаёт?
    я 16 и 2015-03-21 передаю тоже как параметры вместе со спарсеными данными в скрипт парсинга:

    <PHP_SCRIPT=http://mycite/p/parse.php>
    p_var=something
    p_param=[PARAM]
    p_info=<CD_CYCLE_GRAN_1!>
    </PHP_SCRIPT>
     
    Последнее редактирование: 15 мар 2015
  17. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    где обрамление параметров в макрос?
    product_name=[DATAENCODE]<CD_GRAN_1!>[/DATAENCODE]
     
  18. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
  19. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    И откуда такая ссылка? как проверить ее работоспособность?
     
  20. maxnemo

    maxnemo New Member Пользователи

    Регистрация:
    2 мар 2015
    Сообщения:
    32
    Ага добавлю потом) Просто в демо-версии не работало.
     

Поделиться этой страницей