Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Постараюсь сделать послезавтра. Завтра занят целый день.
     
    kadishev1997 нравится это.
  2. atilla8740

    atilla8740 New Member Пользователи

    Регистрация:
    27 авг 2014
    Сообщения:
    6
    Город:
    Харьков
    Здравствуйте, куда-то пропал прогресс-бар в иконке в строке приложений (хотя это может из-за win-10)
    Вот скриншот, Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! при этом там сейчас процесс парсинга идёт, а состояния не видно.
    Раньше такое было
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Раньше такого не было.
     
  4. atilla8740

    atilla8740 New Member Пользователи

    Регистрация:
    27 авг 2014
    Сообщения:
    6
    Город:
    Харьков
    Хм, странно, вроде точно помню что было, ну ладно. Тогда вот вам такая идея)
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Здравствуйте.

    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    Инструкция - Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!
     
    kagorec и kadishev1997 нравится это.
  6. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    172
    Отличная доработка! Большое спасибо! :)
     
  7. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    172
    Макросы кодирования (URLENCODE, BASE64ENCODE и т.д.) выполняются в самом начале, даже перед макросами PHP_SCRIPT_0.
    Хотелось бы увидеть в программе дубликаты макросов (URLENCODE_2 , BASE64ENCODE_2 и т.д.), который будут выполняться после PHP_SCRIPT_0.
    Объясняю почему: в сервисе Antigate нужно разгадывать капчу с картинки и передавать POST-запросом (макрос [CAPCHA] подходит под эту задачу, но почему-то не работает, видимо давно не обновлялось) закодированным в BASE64ENCODE.
    Попытался сделать комбинацию через PHP_SCRIPT_0, но в логе показывает, что сначала срабатывает BASE64ENCODE, а уже после PHP_SCRIPT_0, соответственно она по итогу не отправляется и вадыет ошибку.
     
    Root нравится это.
  8. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    172
    Еще немного к прошлой теме про Antigate:
    Также попытался сделать формат передачи данных с картинки (и её получение) через WBApp(CEF), но стопарюсь на одном моменте и не могу понять, как передать данные (отправить запрос с WBAppCEF с картинкой) и уже после получить ответ.
    Хотел подобным образом реализовать через [CAPCHA] внетри WBAppCEF, но она работает только под WBApp - поэтому отпал вариант.
    Не нашел варианта, как реализовать передачу данных из WBAppCEF. Думал, что то типа запуска событий из CD (PHP_DCRIPT и GETMORECONTENT), которые будут передавать данные и получать ответ, и в дальнейшем скриптом вставлять в поле и отправлять ответ

    По итогу, тут 2 предложения:
    1. Сделать возможность передавать данные через WBappCEF
    2. Допилить работу CAPCHA с AntiGate под все платформы (CD, WBAppCEF) и все варианты реализации, которые они имеют (Картинка, Google капча 2, Гугл капча 3, FunCaptcha и т.д., вот тут полный список есть
    Последнее предлоежение решило бы очень много задач и убрало бы очень костылей, которые сделаны через доп. подгрузку данных и решило бы моменты с 90% популярными капчами.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Напишите в Whatsapp...
     
  10. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    172
    Доброго дня!
    Было бы неплохо добавить в программу макрос [FILTERDOCUMENT2] - который будет выполняться позже других макросов (т.к. при добавлении нового функционала в CD - некоторые макросы срабатывают раньше, чем нужно отфильтровать через [FILTERDOCUMENT] )

    Up: А еще сделать выполнение макроса [MATH] после группы макросов работы с CSV файлами (те которые LOADCSV, GETCSVDATA, GETCSVCOORD и т.д.), но до выполнения макроса [PUTCSVDATA]
     
    Последнее редактирование: 27 авг 2020
    Root нравится это.
  11. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    248
    Здравствуйте, возможно макрос GETVALUE вставить в поиск замену ?

    сейчас мне нужно взять минимальную цену, но не срабатывает в PHP_SCRIPT
    price=[FIELDVALUE][GETVALUE(min|;)]<CD_GRAN_18!>[/GETVALUE][/FIELDVALUE]

    может есть какой то другой вариант, как из несколько цен взять минимальную и вставить в FIELDVALUE
     
    Root нравится это.
  12. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    189
    Город:
    Москва
    Добрый день, Сергей!

    Конструкция {CFILTER}[GRAN12]{ENTRY}<CD_GRAN_2!>{/CFILTER} не срабатывает. Если вместо <CD_GRAN_2!> подставить слово, которое есть в этой границе, то все работает. Можно сделать так, чтобы была проверка по содержимому в <CD_GRAN_2!>?
     
  13. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    172
    Доброго дня!
    Было бы не плохо допилить такой момент: в пункте Автоматизая (Shift+Ctrl+u) - Загрузка элементов списка ссылок перед запуском парсинга во вкладке "Контент" или "Ссылки"
    Сделать возможность получать данные через FTP, что-то в такмо формате:
    У меня очень часто данные сбрасывают/обновляют один и тот же файл на FTP, и автоматизировать работу крайне сложно, приъодится постоянно лезть в FTP, скачивать файл, и уже прописывать путь к нему путь на диске.
    Подобный вариант (FTP и SFTP) решил бы данный вопрос
     
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Здравствуйте.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Serheo нравится это.
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Здравствуйте.

    Нельзя ли обращаться к этому файлу по HTTP (или сделать доступ для этого)? К файлам, расположенным на FTP, как правило, можно обращаться и по HTTP, например:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  16. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    172
    Если бы это был свой файлообменник на каком-нибудь хостинге - проблем бы не было, прописал .htaccess и все.
    Тут FTP-папка и данные идут не от меня. Ну и плюс ко всему, если просить открывать вариант по http, то это сразу открытый доступ (видимость файлов) для всех, а этого бы не хотелось.
    Поэтому и предлагаю вариант сделать доступ к файлом по FTP/FTPS
     
  17. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    248
    Добрый день.
    можно сделать чтоб макросы SORT , GETVALUE выполнялись перед PHP_SCRIPT

    Screenshot_2.png

    спустя 2 мин........
    Поставил PHP_SCRIPT_5 и все отлично заработало :)
     
    Root нравится это.
  18. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    172
    Доброго дня!
    В макросе [SAVETOFILE] сделать возможность отправлять файлы в разные папки.
    Например, у нас создано 3 файла с помощью SAVETOFILE (Наименования сделаны с помощью одной из границ парсинга, где прописаны названия города, формата <CD_GRAN_1!>.csv)
    Во вложенном макросе {toftp} имеется возможность положить все файлы в определенную папку, т.е. изменить его нельзя (по крайней мере я так понимаю)
    Хотелось бы видеть возможность прописывать папки, в которую нужно положить файл, по аналогии

    Что-то типа такой конструкции (повзаимствовано от макроса [FTPUPLOAD]:
    Где в данном случае <CD_GRAN_1!> будет выступать в роли того самого города, куда нужно положить данные, и получается, подобный путь
     
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    13.009
    Город:
    Сочи
    Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме!

    2020-09-17_18-26-26.png
     
  20. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    172
    @Root , немного не дописал в прошлом предложении. Это все относится к FTP. Создание папок на FTP и отправление файлов.
    Про {path} было известно, но это относится к локальному диску. Я имел ввиду про создание папки на FTP. И в виде примера привел формат {FTPPATH}.
    Хотелось бы видеть подобную доработку
     

Поделиться этой страницей