Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. wcw2007

    wcw2007 Member Пользователи

    Регистрация:
    15 мар 2017
    Сообщения:
    42
    Извиняюсь, что не правильно выражаю мысль.

    Возможен ли тег в шаблоне или обработке контента который через ютуб апи ищет первое видео в выдаче и вставляет код ролика в шаблон при парсинге. Пример [yotube=поздравление президента 2018] при парсинге заменяется на

    <iframe width="560" height="315" src="...................

     
  2. Djahat

    Djahat Active Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    265
    Добрый день, Сергей
    В событиях WBAP есть такой элемент [KEYPRESS]:

    Например срабатывает [KEYPRESS]:1 , [KEYPRESS]:9
    Но не срабатывает с буквами, [KEYPRESS]:z , [KEYPRESS]:Q

    Часто стали попадаться сайты, на которых CD не может авторизоваться за счет КУКИ, и WBAPP и Авторизации POST и Через браузер, так как просит каке-то токены и прочую муть.

    А вот если через событие браузера вводить логин, пароль, за счет нажатия кнопок в поле, на котором фокус, это срабатывало бы.

    Если не сильно сложно, можно в каком-нибудь из будущих обновлений, добавить хотя бы латиницу большую и малую и спецсимволы, а то [PASTE] в таких случаях не срабатывает.
    Чтобы c PHP и курлом не заморачиваться нам. (ОБНОВЛЕНИЕ: КУРЛОМ ТОЖЕ ХРЕН СДЕЛАТЬ, КУЧА ТОКЕНОВ ТУДА СЮДА и ВАЩЕ МУТЬ ПОЛУЧАЕТСЯ)

    Спасибо, что уделили время.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 5500 постов.**
     
    Последнее редактирование: 23 янв 2018 в 00:36
    Kreol нравится это.
  3. bolahg

    bolahg New Member Пользователи

    Регистрация:
    14 янв 2018
    Сообщения:
    5
    Добрый день.
    Есть множество сайтов файлообменники, хранилища документации, хранилища программ, и тд., где нажимаешь кнопочку скачать после чего генерируется ссылка и браузер спрашивает куда сохранить (сохраняешь куда нужно, если хочешь можешь переименовать.)
    в CD же выполнить это можно при помощи paste/get запроса, макроса GETMORECONTENT. Но для рядового пользователя CD это реализовать очень и очень сложно.
    К примеру, на сайте Ссылки недоступны для гостей, зарегистрируйтесь или авторизуйтесь на форуме! чтобы скачать файл dwg нужно сформировать запрос типа
    Код:
    <GETMORECONTENT><URL="http://wilo.cadprofi.com/index.php?route=extension/total/coupon/download[POST]file=Product/3D/2259[/POST]"><HEADERS>X-Requested-With:XMLHttpRequest</HEADERS><START="{{"}redirect{"}:{"}"><STARTCOUNT="0"><END="{"}}"><ENDCOUNT="0"><PARAMS=""></GETMORECONTENT>
    Мне это подсказали в этой теме: http://forum.sbfactory.ru/threads/skachivanie-fajlov-po-kliku.5177/#post-34508, модератор Kreol спасибо ему за это.
    Каждый раз к Kreolу обращаться при подобных случаях или брать толмуты php или идти по пути углубленного изучения работы браузер-сервер? С этим сталкивается же не разработчик ПО, а обычный контент-менеджер или владелец ресурса.
    Отсюда возникает и предложение/просьба по улучшению CD.
    Суть:
    в wbapp очень просто реализовать имитацию нажатия кнопки, почему бы не добавить возможность сохранять файл когда браузер это спрашивает (как это сделал бы пользователь)
     
    Root и coolbratan нравится это.
  4. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    47
    Город:
    Харьков
    Здравствуйте! Хотел бы предложить добавить в CD маленькую, но очень часто - нужную функцию: "Задания условия остановки парсинга или смены шаблона после неудачного парсинга n-го количества ссылок".
    Например: если после n-го количества ссылок(чтобы можно было задать количество) ни одна запись не будет сохранена в CSV - останавливать парсинг с выскакиванием окошка - уведомления (как в функционале "приостановить парсинг в случае бана"), или изменить шаблон вывода.
     
    Root нравится это.
  5. xLime

    xLime Well-Known Member Пользователи

    Регистрация:
    4 сен 2017
    Сообщения:
    146
    Добрый день.
    Этот инструмент не подходит?
    [​IMG]
     
  6. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    47
    Город:
    Харьков
    Этот инструмент работает по-другому принципу: он позволяет изменить шаблон вывода, повторно спарсить или остановить парсинг при условии страница не загрузилась или обязательная граница не найдена.
    Рассмотрим ситуацию, когда при парсинге 10000 ссылок, страница каждой ссылки загружается, но обязательная граница есть только у 3000 ссылок(в рандомном порядке) из общего количества и нужно остановить парсинг только при условии, что 1000 ссылок подряд окажутся без обязательной границы. Существующий инструмент просто добавит все ссылки с не найденной границей для повторного парсинга либо сменит шаблон, или остановит парсинг.

    Поэтому, мое предложение, в поле "приостановить парсинг при бане" добавить условие "количество ссылок(графа для ввода числа) с "обязательная граница не найдена" или "не удалось загрузить"".

    Заранее прошу прощения, если данный функционал уже есть, но я его просто не нахожу...
     
  7. pijonz

    pijonz New Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    5
    Здравствуйте.Пользуюсь уже около года, инструмент хороший. Добавьте,пожалуйста, в окно лога(отчет) столбик с капчей, например если при заходе на страницу появлялась капча то значение да или + . Плюс было бы удобно если бы были фильтры сортировки каждого столбика хотя бы по алфавиту(отсортировать урл, отсортировать прокси, images, count). Спасибо
     
    Root нравится это.
  8. pijonz

    pijonz New Member Пользователи

    Регистрация:
    10 июн 2017
    Сообщения:
    5
    Еще было бы хорошо как-нибудь реализовать функционал удаления прокси если попалась капча и добавление этого же урла в очередь парсинга в конец.
     
    gans и Root нравится это.

Поделиться этой страницей