Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    Здравствуйте. Не плохо было бы добавить в "автоматизацию парсинга контента" удаление дублей строк.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Удаления дублей строк чего? CSV/TXT?
     
  3. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Вы не пишите детали, это плохо, приходится уточнять. Дубли определять как? По определенному столбцу?
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.429
    Адрес:
    Latvia
    Почитайте справку, там много интересного о программе описано - Ссылки недоступны для гостей ;)
     
    napserious и Root нравится это.
  6. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    Можно с возможностью выбора, как в редакторе csv например если стоит 0 проверяется вся строка, если 1 тогда первый столбец и т.д.
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Используйте макрос [DUPIGNORE], как указали выше.
     
  8. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    312
    Ок, спасибо
     
    Root нравится это.
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую.
    Добавьте в trackbar данные про количество не загруженных ссылок. 3f01377cb1.jpg
     
    kagorec, Dron25 и xLime нравится это.
  10. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Приветствую.
    Натолкнулся на проблему. Оказывается дубли удаляются учитывая [PARAM]
    Можно ли добавить опцию не учитывать этот параметр?
    Ссылок под 5 млн, отличие только в [PARAM]
    Не считаю, что тут целесообразно использовать DUPIGNORE
    Если мы возьмем на вход
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    и применим удаление ссылок, то в итоге получим
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    А хотелось бы просто чтоб осталось одна, которая идет первая.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    7cfe6dbbeb.jpg
     
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В программе есть много функций, где удаляются дубли ссылок. Вы говорите о какой-то функции, мы не можем знать, о какой функции идет речь.
     
  12. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Функция удаления дубликатов при запуске парсинга, я же вставил картинку.
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    xLime и Kreol нравится это.
  14. BlackCard

    BlackCard Member Пользователи

    Регистрация:
    8 мар 2018
    Сообщения:
    37
    Здравствуйте. Подниму просьбу, мб быть забыли. Спасибо заранее...
     
    Последнее редактирование: 14 май 2018
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Не забыли.

    В очереди.
     
    napserious и BlackCard нравится это.
  16. Vesb

    Vesb Member Пользователи

    Регистрация:
    7 мар 2011
    Сообщения:
    50
    Иногда когда задаешь границы парсинга удобно брать вместе с границей, а конец границы, например может быть удобно брать без границы. Было бы удобнее если ли бы можно было отдельно ставить "парсить вместе с границей парсинга" как для начала так и для конца. Тоже самое для инверсии.
     
  17. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    на самом деле это просто невнимательность. и на данный момент есть 10-ки постов которые в итоге сводятся именно к этому. Просто будеть чуточку внимательнее, и будет вам счастье.
     
    Felix_b нравится это.
  18. Felix_b

    Felix_b Well-Known Member Пользователи

    Регистрация:
    30 мар 2017
    Сообщения:
    116
     

    Вложения:

  19. Vesb

    Vesb Member Пользователи

    Регистрация:
    7 мар 2011
    Сообщения:
    50
    Подождите, эту функцию я знаю, но она распространяется на начало границы парсинга и на конец, то есть в общем. А очень часто нужно только либо для начала границы парсинга либо только для конца границы. Или я туплю и так можно делать?
     
  20. napserious

    napserious Well-Known Member Пользователи Активирован

    Регистрация:
    16 окт 2015
    Сообщения:
    324
    Поиск-замену используйте для таких единичных случаев.

    Оставит только начало границы:

    Код:
    <{skip}>{get}<{skip}>|<{skip(1)}>{get}
    upload_2018-5-21_12-25-30.png


    Оставит только конец границы:

    Код:
    <{skip}>{get}<{skip}>|{get}<{skip(2)}>
    upload_2018-5-21_12-27-27.png
     

Поделиться этой страницей