Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. ajivitca

    ajivitca New Member Пользователи

    Регистрация:
    11 июн 2013
    Сообщения:
    39
    загрузка прокси листов с указанных урлов в автомате планируется?
    даем урл а в нем список из

    hostproxy(двоеточие)port
    hostproxy(двоеточие)port

    и этот список (с указанием типа прокси) загружать, скажем раз в день и проверять так же раз в день с указанием скорости ответа (или как укажешь - лучше 2 раза в день).

    у меня например подписка на сервис который выдает такие списки, но приходится по старинке каждый день copy past & check делать.
    через день. тк прокси умирают очень быстро.

    в битрикс парсерах Я маркета уже давно такое есть.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Поддерживаю, что такое очень небходимо.
    А то на деле сейчас выглядит так:
    Парсю например обьемный сайт, поскольку прокси подыхают через каждые 1-2 часа то необходимо остановить процесс чтоб сменить прокси список. В течении полудня такое проделывать надо постоянно.
    п.с. Такое было ранее с яндекс маркетом тоже.
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо, учел...
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Очень нужен аналог <GETMORECONTENT> который будет обрабатываться в самом конце списка макросов, особенно после CHECKENTRY2.
    И просьба обновить Порядок выполнения функций при парсинге контента Ссылки недоступны для гостей
    а то реально путаешься уже когда и что срабатывает.
    Спасибо.
     
  5. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    1 момент.
    Не всегда удается сформировать txt файл в котором ссылки не буду обрамлены "
    и когда мы используем во втором проекте ссылки (при автозагрузке) ссылки вида "http://site" то они не грузятся.
    Нельзя ли в подобном случае учесть этот момент? Либо чтоб они удалялись, либо игнорились.
    2 момент.
    При применении фильтра ссылок автоматически удалять дубли. Иногда выходят забавные казусы
    3 момент.
    Когда у нас проект с автоматизацией и при работе он вдруг банится, у нас последующий запуск происходит с перезапуском всех ссылок и мы попадаем в замкнутый круг.
    Очень пригодилась бы галочку удалять из списка автоматизации файл при получении бана, чтоб проект нормально завершался.
     
    Последнее редактирование: 21 сен 2014
  6. TeslaCo

    TeslaCo Member Пользователи

    Регистрация:
    4 мар 2014
    Сообщения:
    211
    Здравствуйте, сделайте пожалуйста макрос удаления символов кириллицы.
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    чем вас не устраивает поиск/замена регуляркой?
    Код:
    re:[а-яА-ЯёЁ]|
     
  8. ajivitca

    ajivitca New Member Пользователи

    Регистрация:
    11 июн 2013
    Сообщения:
    39
    Обратите внимание на багрепорт в комментах багрепортах.из за улучшений от 17 сентября стало невозможно работать обновленными списками урлов.приходится брать csv и от туда брать список реально готовых урлов. Иначе, особенно при работе через прокси, куча урлов попадает в якобы завершенные.
    Или сделайте чек бокс "как раньше"
    Пока откатился на старую версию.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Обратите внимание на мой ответ на ваш комментарий.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если вам не сложно, скиньте ваш файл проекта и список прокси мне на почту. Я посмотрю, в чем дело...
    PS: А лучше обратитесь ко мне в Skype.
    Спасибо!
     
  11. nail

    nail Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    60
    Можно как-то отключить Сворачивание программы в трей?
    Если такой возможности нету - сделайте, пожалуйста. Чтобы присутствовала галочка в Настройках.

    Спасибо.

    PS: А то - между зебройдом и контент даунлоудером неудобно переключаться (
     
    Последнее редактирование: 28 сен 2014
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    на вкус и цвет, например считаю для экономия места что лучше в трее свернутым будет чем пару парсеров рядом с другими программами на панеле будут висеть
     
  13. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    лично оно меня тоже убивает, особенно когда случайно взял и закрыл приложение. Лучше б подтверждение там было, хотите/не хотите закрыть. Но опять же Это юзабилити, которое учитывается весьма редко.
     
  14. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Добавьте пожалуйста в сканер сайтов окошечко в которое можно было бы вписать число, по достижении которого (ссылок в очереди) автоматически включалась галочка (не пополнять очередь)
    Парсю форум, пополнение происходит в геометрической прогрессии, оставляю комп на ночь и боюсь, что утром будет просто все висеть, ибо будет Оут мемори)
     
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.431
    Адрес:
    Latvia
    Нужно ограничить сканирование только по разделам с очисткой ненужных параметров, если надо от темы первая страница.
     
  16. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветики.
    Появилась одна веселая идея, думаю довольно легко реализуемая.
    При задании границ парсинга, если граница уже задана полностью (задано начало и конец) то вызвать месагу, что хотите ли вы переназначить границу, либо автоматически перейти на новую.
    Спасибо
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    F3 нажимайте, перейдет на новую (так же есть кнопка для этого на панели инструментов в окне задания границ парсинга).
     
  18. seodamage

    seodamage New Member Пользователи

    Регистрация:
    5 фев 2014
    Сообщения:
    31
    Привет, если есть такая возможность - добавте пожалуйста больше переменных {key},{key2},{key3}...{key10} Для более расширенной генерации во вкладке ссылки. Очень не хватает для парсинга, через api

    del.png
     
    Последнее редактирование: 9 окт 2014
  19. nail

    nail Member Пользователи

    Регистрация:
    15 сен 2014
    Сообщения:
    60
    В личку Root не могу отписать:
    "Root превысил(а) максимальный объём сохранённых личных сообщений и не может получать новые сообщения, пока не удалит часть старых."

    Кто спамит? )

    Root,
    глянь пож-та:
    http://forum.sbfactory.ru/showpost.php?p=13243&postcount=751
    А то заколебался уже в трее искать.. )

    Спасибо за интересные обновления!

    зы: может не заметил просто...
     
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Спасибо на добром слове! Пожалуйста..

    По срокам ничего не скажу, но учел.

    Для связи у меня есть Skype и E-Mail.

    С уважением к вам, Сергей.
     

Поделиться этой страницей