Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. wcw2007

    wcw2007 Member Пользователи

    Регистрация:
    15 мар 2017
    Сообщения:
    126
    Извиняюсь, что не правильно выражаю мысль.

    Возможен ли тег в шаблоне или обработке контента который через ютуб апи ищет первое видео в выдаче и вставляет код ролика в шаблон при парсинге. Пример [yotube=поздравление президента 2018] при парсинге заменяется на

    <iframe width="560" height="315" src="...................

     
  2. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Добрый день, Сергей
    В событиях WBAP есть такой элемент [KEYPRESS]:

    Например срабатывает [KEYPRESS]:1 , [KEYPRESS]:9
    Но не срабатывает с буквами, [KEYPRESS]:z , [KEYPRESS]:Q

    Часто стали попадаться сайты, на которых CD не может авторизоваться за счет КУКИ, и WBAPP и Авторизации POST и Через браузер, так как просит каке-то токены и прочую муть.

    А вот если через событие браузера вводить логин, пароль, за счет нажатия кнопок в поле, на котором фокус, это срабатывало бы.

    Если не сильно сложно, можно в каком-нибудь из будущих обновлений, добавить хотя бы латиницу большую и малую и спецсимволы, а то [PASTE] в таких случаях не срабатывает.
    Чтобы c PHP и курлом не заморачиваться нам. (ОБНОВЛЕНИЕ: КУРЛОМ ТОЖЕ ХРЕН СДЕЛАТЬ, КУЧА ТОКЕНОВ ТУДА СЮДА и ВАЩЕ МУТЬ ПОЛУЧАЕТСЯ)

    Спасибо, что уделили время.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 5500 постов.**
     
    Последнее редактирование: 23 янв 2018
    Kreol нравится это.
  3. bolahg

    bolahg New Member Пользователи

    Регистрация:
    14 янв 2018
    Сообщения:
    13
    Добрый день.
    Есть множество сайтов файлообменники, хранилища документации, хранилища программ, и тд., где нажимаешь кнопочку скачать после чего генерируется ссылка и браузер спрашивает куда сохранить (сохраняешь куда нужно, если хочешь можешь переименовать.)
    в CD же выполнить это можно при помощи paste/get запроса, макроса GETMORECONTENT. Но для рядового пользователя CD это реализовать очень и очень сложно.
    К примеру, на сайте Ссылки недоступны для гостей чтобы скачать файл dwg нужно сформировать запрос типа
    Код:
    <GETMORECONTENT><URL="http://wilo.cadprofi.com/index.php?route=extension/total/coupon/download[POST]file=Product/3D/2259[/POST]"><HEADERS>X-Requested-With:XMLHttpRequest</HEADERS><START="{{"}redirect{"}:{"}"><STARTCOUNT="0"><END="{"}}"><ENDCOUNT="0"><PARAMS=""></GETMORECONTENT>
    Мне это подсказали в этой теме: http://forum.sbfactory.ru/threads/skachivanie-fajlov-po-kliku.5177/#post-34508, модератор Kreol спасибо ему за это.
    Каждый раз к Kreolу обращаться при подобных случаях или брать толмуты php или идти по пути углубленного изучения работы браузер-сервер? С этим сталкивается же не разработчик ПО, а обычный контент-менеджер или владелец ресурса.
    Отсюда возникает и предложение/просьба по улучшению CD.
    Суть:
    в wbapp очень просто реализовать имитацию нажатия кнопки, почему бы не добавить возможность сохранять файл когда браузер это спрашивает (как это сделал бы пользователь)
     
    Root и coolbratan нравится это.
  4. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    Здравствуйте! Хотел бы предложить добавить в CD маленькую, но очень часто - нужную функцию: "Задания условия остановки парсинга или смены шаблона после неудачного парсинга n-го количества ссылок".
    Например: если после n-го количества ссылок(чтобы можно было задать количество) ни одна запись не будет сохранена в CSV - останавливать парсинг с выскакиванием окошка - уведомления (как в функционале "приостановить парсинг в случае бана"), или изменить шаблон вывода.
     
    Root нравится это.
  5. xLime

    xLime Well-Known Member Супер Модератор Модератор

    Регистрация:
    4 сен 2017
    Сообщения:
    401
    Добрый день.
    Этот инструмент не подходит?
    [​IMG]
     
  6. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    Этот инструмент работает по-другому принципу: он позволяет изменить шаблон вывода, повторно спарсить или остановить парсинг при условии страница не загрузилась или обязательная граница не найдена.
    Рассмотрим ситуацию, когда при парсинге 10000 ссылок, страница каждой ссылки загружается, но обязательная граница есть только у 3000 ссылок(в рандомном порядке) из общего количества и нужно остановить парсинг только при условии, что 1000 ссылок подряд окажутся без обязательной границы. Существующий инструмент просто добавит все ссылки с не найденной границей для повторного парсинга либо сменит шаблон, или остановит парсинг.

    Поэтому, мое предложение, в поле "приостановить парсинг при бане" добавить условие "количество ссылок(графа для ввода числа) с "обязательная граница не найдена" или "не удалось загрузить"".

    Заранее прошу прощения, если данный функционал уже есть, но я его просто не нахожу...
     
  7. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    28
    Здравствуйте.Пользуюсь уже около года, инструмент хороший. Добавьте,пожалуйста, в окно лога(отчет) столбик с капчей, например если при заходе на страницу появлялась капча то значение да или + . Плюс было бы удобно если бы были фильтры сортировки каждого столбика хотя бы по алфавиту(отсортировать урл, отсортировать прокси, images, count). Спасибо
     
    coolbratan и Root нравится это.
  8. pijonz

    pijonz Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    28
    Еще было бы хорошо как-нибудь реализовать функционал удаления прокси если попалась капча и добавление этого же урла в очередь парсинга в конец.
     
    kagorec, coolbratan, gans и ещё 1-му нравится это.
  9. d0ublezer0

    d0ublezer0 Member Пользователи

    Регистрация:
    30 ноя 2016
    Сообщения:
    57
    Привет! Такая мысль: если переименовать границу парсинга по смыслу её содержимого, то потом в сложном шаблоне по номеру границы часто приходится догадываться, к чему она относится.
    Можно добавить фиксированные порядковые номера к списку границ около галки?
    Тогда не придётся считать по порядку, с чем сейчас мы имеем дело.
    [​IMG]
     
  10. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Для этого в именах границ достаточно написать (5) *Описание o_O
    Ну и также для этого есть кнопка F9
     
    Root, xLime и d0ublezer0 нравится это.
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Дело не в программе а в вашем отношении к настройке, например у меня любой проект (из 4000) если взять то в любом будет номер и название\назначение границы.
    Вы когда задаете границу то старайтесь последовательно первую часть и вторую часть границы задать и вам уже автоматически предложит оставить номер (1) ... и добавить название.

    [​IMG]
    п.с. на скриншоте проект 2014 года. ;)
     
    Root, xLime, d0ublezer0 и ещё 1-му нравится это.
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    2018-01-26_04-45-39.png
     
    d0ublezer0, elDen и xLime нравится это.
  13. wcw2007

    wcw2007 Member Пользователи

    Регистрация:
    15 мар 2017
    Сообщения:
    126
    Добрый день!

    такое возможно в шаблоне или обработке контента создать меню содержание статьи т.е. (Википедия пример)
    Статья
    <h2>111 </h2>
    <h3> 222</h3>

    Вверху статьи появляется надпись Содержание статьи с якорями для перехода в это место
    Содержание статья
    1111 (ссылка)
    2222(ссылка)
     
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Да вот так и пишите в шаблоне согласно правил html
    якоря прописываете так же согласно правил
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    И сохраняете как html страницу.
     
  15. wcw2007

    wcw2007 Member Пользователи

    Регистрация:
    15 мар 2017
    Сообщения:
    126
    Не так просто это сделать автоматически ведь это же парсер страниц может быть 1000
     
  16. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Вы хотите чтоб он автоматически перелинковывал весь текст и якорил еще? Помоему вы не ту программу используете. Для этого есть Teleport и прочее.
     
    coolbratan и Root нравится это.
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я считаю, что такие функции будут не лишние. Спасибо! Вопрос времени.
     
  18. nikoshot

    nikoshot Member Пользователи

    Регистрация:
    14 янв 2017
    Сообщения:
    115
    Добрый день!
    Прошу сделать самое простое но очень удобное дополнение..
    Я уже сто раз нажимаю закрыть одно окно а закрываю всю программу... )))
    очень часто работаешь в одном окне, например настройка границ парсинга, потом его закрываешь и попадаешь на главный экран.. и по привычке думашь что сейчас так же находишься в окне и нажимаешь закрыть.. а закрывается все программа))
    Может конечно у меня так.. но если не сложно можно сделать закрытие уже самой программы через вы уверенны?)) Ссылки недоступны для гостей
    Автору желаю что бы повезло и что то хорошее случилось))
     
    coolbratan и kagorec нравится это.
  19. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Спасибо.

    Используйте esc для закрытия окон (esc не делает выход из программы).
     
    elDen, nikoshot и xLime нравится это.
  20. Фёдор

    Фёдор Active Member Пользователи

    Регистрация:
    9 фев 2014
    Сообщения:
    167
    И всё же было бы действительно удобнее, если бы номера отображались напротив каждой границы так же, как и при наведении. А ещё лучше было бы, если бы слева от границ они отображались, без наведения.
     
    Root и Kreol нравится это.

Поделиться этой страницей