Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    / Должен работать.

    Напишите, что вы вставляете в макрос?
     
  2. aresa

    aresa Well-Known Member Пользователи

    Регистрация:
    17 окт 2015
    Сообщения:
    180
    Здравствуйте!
    Это можно решить без доработки. Я так делаю:
    <TOPRICE+0.49[R0]><CD_GRAN_3!></TOPRICE>
    Где, <CD_GRAN_3!> - граница с ценой
     
    Root нравится это.
  3. alexdicompany

    alexdicompany New Member Пользователи

    Регистрация:
    25 мар 2019
    Сообщения:
    10
    Спасибо, раз должен работать, значит работает. Сам разберусь.
     
  4. alexdicompany

    alexdicompany New Member Пользователи

    Регистрация:
    25 мар 2019
    Сообщения:
    10
    Спасибо) простое решение.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы напишите, что вы вводите в макрос, когда у вас не получается выполнить деление?
     
  6. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    В <GETMORECONTENT> добавить макрос [DOMEN] ( там, где сейчас подставляется [SELF] ), который будет собирать подгружаемые данные с главное страницы (например, собирать данные не с "сайт.рф/категория/товар.php" , а "сайт.рф").

    Примерно вот в таком формате
    (цели - определять необходмую CMS с разных сайтов по определенной границе в коде вывода, но думаю, найдутся и другие моменты, где его можно применять)

    ___

    UP: сделал костыль с REPLACE + попробовал вставить [DOMEN] вместо [SELF], немного странно (т.е. криво), но он сработал.

    UP2: создал проект с нуля, сработало нормально.
     
    Последнее редактирование: 3 фев 2020
    Root нравится это.
  7. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Хмм... Я не знаю баг это или фича, но почему то не открывается отчет в парсинге ссылок (вкладка Ссылка) жму Ctrl + L и ни шиша, поменяли сочетания клавиш?
    Так же если нажать сверху к примеру "Interface Language" (всм. раскрыть меню выбора языка но язык не выбирать) счетчик оставшегося времени продолжает рости, когда сам парсинг останавливается (в этой же вкладке "Ссылки")

    UPD: После окончания сбора ссылок отчет открывается, почему нельзя открыть во время парсинга самих ссылок?

    UPD 2: Давно хотел спросить, возможно ли добавить сортировку в самом отчете? К примеру жму 'count' и сначала отображается от наивысшей цифры к нулевой (-), иначе приходится листать и ловить глазами где какая цифра, тоже самое с изображениями (если надо узнать правильно ли настроил парсинг иногда спасает количество скачанных изображений)

    UPD 3: И попутно такое предложение, если я собираю ссылки на товары по их артикулам и в поиске может попасться релевантные поиску товары, можно ли как то попробовать отсеять не нужные товары и оставить только нужные? Как вариант, приостановить парсинг, выдать окно с вариантами (в виде ссылок, мол выбери одну из).
    Брать 1 товар со страницы не вариант, могу забрать не те товары, нужный мне будет к примеру 3 или 33, как тогда брать тот который нужный?
    Или как 2 вариант отсеивания, задавать границу с проверкой валидности на вводимые данные в {key} типа если несколько товаров на 1 странице, дополнительно смотрим границу (допустим название) и если там будет такой же среди всех слов артикул то берем именно эту ссылку, иначе пропускаем. Опять же могут быть релевантным запросу товар к примеру: BL-404 M, а искали BL-404, по факту это разные товары

    Вот живой пример: Ссылки недоступны для гостей
     
    Последнее редактирование: 9 фев 2020
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    3. Проверять точное вхождение через CHECKENTRY во время парсинга.
     
  9. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Покажите как это делать во время парсинга ссылок во вкладке "Ссылки"?
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Также, только отдельным проектом.
     
  11. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Ну так это же все костыли, можно конечно и так проверять, а можно и в экселе это делать. Ну а можно уже и руками искать все ссылки по ключам и потом ссылки в cd добавлять :)
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы потом по собранным ссылкам во вкладке "Контент" будете парсить данные?
     
  13. strateg2010

    strateg2010 Active Member Пользователи

    Регистрация:
    12 фев 2018
    Сообщения:
    181
    Город:
    порт
    Ну да, для начала ищу на сайте по артикулам товары и потом паршу эти товары
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Фильтруйте документы с помощью соответствующей функции (shift+ctrl+f) при парсинге во вкладке "Контент".
     
  15. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Собираю характеристики товаров с помощью [VERTTABLE].

    На сайте есть характеристики, которые никак не возьмешь с помощью DYNAMICVALUES (У них теги могут быть как именем [VALUE], так и его значением, поиск/заменой не удается тонко настроить при любом раскладе)

    У некоторых из столбцов зачем-то используются <td colspan="X">, и при использовании макроса [APPLYTABLESPANS] [FIX] , выдает одну и ту же характеристику несколько раз.

    Получается примерно вот так:
    upload_2020-2-11_0-39-34.png

    Делаю костыль в виде поиск-замены для загружаемого кода
    Макрос срабатывает, убирает ненужные дубли, но и тогда убирает значения характеристик

    И по итогу получается вот так:

    upload_2020-2-11_0-42-16.png

    Возможно как то доработать в формате: взять значения характеристик и продублировать их там, где они отсутствуют (дублировать верхную ячейку, пока не найдется непустое значение)

    И еще сюда же: как-то допилить [VERTTABLE], [HORIZTABLE] и [DYNAMICVALUES], чтобы их можно было использовать внутри повторяющихся границ парсинга (когда нужно собрать несколько товаров с одной страницы и присвоить им нужные значения с помощью перечисленных макросов), что-то типа

    Код:
    [GRAN1][CSVCS][GRAN2][CSVCS][DYNAMICVALUES][REPLACE]...[CGRAN1]...[/DYNAMICVALUES]
    А то сейчас, при парсинге нескольких товаров и присвоении для каждой нужной характеристике на одной странице получается "Манная каша"

    Проект прикрепил для примера
     

    Вложения:

    • shtyl_ru(1).cdp
      Размер файла:
      38,4 КБ
      Просмотров:
      1
  16. ippa

    ippa New Member Пользователи

    Регистрация:
    17 апр 2014
    Сообщения:
    10
    добрый день.
    Редактор csv файлов-обработка ячеек php-скриптом.
    не обрабатывается. если запускать скрипт из <PHP_SCRIPT шаблона вывода- работает, из редактора csv-нет.
    также, в теме http://forum.sbfactory.ru/threads/redaktor-csv.2404/ указано, что скрипт тест Ссылки недоступны для гостей должен обрезать более 50 знаков- не обрезает.
    почините пож-та.
    спасибо.
     
    Root нравится это.
  17. Octavian

    Octavian Active Member Пользователи

    Регистрация:
    8 ноя 2016
    Сообщения:
    177
    Здравствуйте
    Есть предложение добавить интерактивности макросу GENERATE который выводит заголовки. Имею в виду привязать параметр b - конечное значение переменной к максимальному количеству циклов одной из ПГ которое встретилось по завершению процедуры парсинга. Например в заголовке должно быть Название1[CSVCS]Адрес1[CSVCS]Контакты1[CSVCS]Название2[CSVCS]Адрес2[CSVCS]Контакты2 и т.д. Значения выводятся в столбцах обычными границами заданными в ПГ. Количество циклов ПГ неизвестно, приходится постобработкой подгонять заголовки под столбцы.
    Такое технически возможно?
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Доработал.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 7 постов.**
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Сгенерируйте заведомо большее количество столбцов в шапке и затем воспользуйтесь функцией автоматического удаления пустых столбцов CSV.

    2020-02-12_08-03-45.png
     
    Octavian нравится это.
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Там на сайте Colspan не правильный, поэтому и дублируются данные лишнее количество раз.

    Парсите с дублями товаров.

    Затем удалите дубли строк в CSV после парсинга.

    2020-02-12_08-16-56.png
     

Поделиться этой страницей