Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    по IP тоже палят
     
  2. AfeK91

    AfeK91 New Member Пользователи

    Регистрация:
    21 май 2020
    Сообщения:
    8
    Город:
    Украина
    Подскажите нужно выгружать файл .xls в гугл таблицы для дальнейшей обработки, подскажите как правильней это сделать ? что бы таблица была статическая..
     
  3. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Что значит - статическая ?
     
  4. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    Здравствуйте
    было бы отлично в CSV редакторе добавить функцию, чтоб при чистке дублей можно было бы дублям добавить какое то значение

    например нашло дубли артикула
    D36738928
    D36738928
    D36738928

    после, например
    D36738928
    D36738928_2
    D36738928_3


    и еще
    Screenshot_2.png
    В "удалить дубли строк" можно сделать так как и в "обьединить или разбить столбцы"
    1,3 искать дубли в 1 и 3 столбце
    1-3 от первого до 3


    в идеале еще бы подсветку дублей :)
     
  5. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Здравствуйте. Было бы неплохо чтобы для сканера сайтов можно было задавать не только отдельный юзер агент, но и библиотеку. Столкнулся несколько раз с тем, что парсинг ссылок со страниц пагинации работает только с win, но парсить контент удобнее через cis, т.к. поддерживает прокси с авторизацией.
     
    kagorec и kadishev1997 нравится это.
  6. alexdicompany

    alexdicompany New Member Пользователи

    Регистрация:
    25 мар 2019
    Сообщения:
    10
    Добрый день.
    Не нашел в CSV редакторе возможности преобразования ссылок в URL-кодировку. Если есть возможность добавьте пожалуйста.
     
    green нравится это.
  7. green

    green Active Member Пользователи

    Регистрация:
    25 окт 2017
    Сообщения:
    75
    Плюсую.. Тоже бывает нужно
     
  8. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Доброго времени суток, давно отсутствовал. Есть предложение реализовать следующее:

    При использовании DYNAMICVALUES если после данного поля вставить значение, то для каждой следующей ссылки это значение будет скакать по столбцам. То есть если для первой ссылки было 5 характеристик и значение (идущее после DYNAMICVALUES попало в 6 столбец, а для следующей ссылки было 10 характеристик и значение попало 11 столбец. При этом мы никогда не знаем сколько может быть столбцов характеристик по итогам парсинга. Хорошо если бы по итогам парсинга все что указано после DYNAMICVALUES сдвигалось таким образом что бы оказаться после всех столбцов характеристик, иначе DYNAMICVALUES получается можно использовать только в конце таблицы, таким образом что бы все характеристики оказались только в последних столбцах.

    Может быть я что то пропустил и подобное уже как то решается, не судите строго. :)
     
  9. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Если я правильно понял вопрос, то DYNAMICVALUES необходимо всегда ставить в конец обработки, чтобы поля "Не скакали". Тем самым, данные о характеристиках всегда будут на своих местах

    Ну а если давно не пользовались программой, то Ссылки недоступны для гостей вам в путь
     
  10. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Вообще это предложение о доработке, и конкретно в последнем предложении я и написал что DYNAMICVALUES реально использовать только в конце таблицы. Внимательнее нужно быть товарищ.
     
  11. alamina.moon

    alamina.moon Модератор Команда форума Модератор

    Регистрация:
    14 янв 2013
    Сообщения:
    214
    Хочу предложить разработчику сделать сохранение/экспорт из csv редактора в xls, что бы не гонять туда сюда файлы, когда требуется сделать xls файл.
     
  12. igggor

    igggor New Member Пользователи

    Регистрация:
    21 мар 2018
    Сообщения:
    8
    Здравствуйте, сегодня обновил программу и заметил что перестала браться колонка цена в моих проектах (задаю границы внутри повторяющейся). Сейчас получается при задании границ парсинга - все корректно отображает, значения берутся, но при просмотре контента в выбранной границе или в результатах парсинга этих данных нет. Предварительно заметил что проблема возникает тогда, когда в границы парсинга попадает {br}.
    P.S. раньше проект корректно выводил цену с такими настройками.
     
  13. igggor

    igggor New Member Пользователи

    Регистрация:
    21 мар 2018
    Сообщения:
    8
    Да, любые границы , если при задании границ парсинга в них попадает переход на новую строку.
     
  14. kadishev1997

    kadishev1997 Well-Known Member Пользователи

    Регистрация:
    27 мар 2019
    Сообщения:
    310
    Доброго дня! Разработчику спасибо за эту суперскую программу! Есть крутое предложение по доработке

    В окно авторизации (ctrl+k) добавить функционал, который будет менять авторизацию по списку.

    Приведу пример: любой сайт с поиском резюме. На нем авторизованному пользователю (через логин и пароль) можно посмотреть 100 контактов в сутки. После доступ закрывается, пока не пройдет время. Соответственно, нужен другой аккаунт, для того чтобы посмотреть другие 100 ссылок с контактами.

    В моем случае я авторизацию использую через "пердачу Cookie и HTTP заголовков через WBAppCEF".
    Соответственно, я бы в WBAppCEF подготовил аккаунты с авторизацией по логину/паролю, и через каждые 100 элементов программа выбирала следующий сохраненный проект WBApp с другими логином/паролем.

    Подобное хотелось бы увидеть в авторизации методом POST (например, чтобы в одном txt файле были POST-данные для отправки, и они также автоматически подставлялись после каждых n элементов).

    Варианты кроме сайтов поиска резюме вполне хватает, а вот функционала бы в таком виде - хотелось бы видеть в программе!
     
    Root нравится это.
  15. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    867
    Сделайте мне мультилогин, что-бы hh парсить ))
     
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Приложите проект с указанной проблемой.
     
  17. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    313
    Все это решаемо с текущим функционалом. Вот пример шаблона вывода для hh Ссылки недоступны для гостей
    Парсер берет логин и пароль из файла, авторизуется на hh, после прохождения 500 резюме меняет аккаунт менеджера, передает куки из wbapp и продолжает парсить. По аналогии для других сайтов можно сделать то же самое через post запрос макросом PHP_SCRIPT или GETMORECONTENT
     
    Последнее редактирование: 10 июн 2020
    kadishev1997 нравится это.
  18. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    194
    Часто пользуюсь функцией поиск замена, было бы здорово если написанные правила можно было бы выполнять построчно,
    Скажем есть 4 строчки с правилами, и начинаем отрабатывать 1,2,3,4 нажатием например на строчку, смотрим что изменилось если выбрали строку 2, что изменилось если выбрали строку 3. Сейчас для того что бы отработать строки 1-3 приходиться стирать в 4
    строчке правило. Возможно этот функционал реализован, если да, напишите пожалуйста как это сделать.
     
  19. Dron25

    Dron25 Well-Known Member Пользователи

    Регистрация:
    17 июн 2014
    Сообщения:
    263
    закомментируйте строчку , вначале строки поставьте "|"
     
  20. masrub

    masrub Well-Known Member Пользователи

    Регистрация:
    29 июн 2018
    Сообщения:
    194
    Так это нужно вводить с клавиатуры символ, а это не очень удобно, я говорю про пошаговое выполнение поиск замены при нажатии мышкой на чекбокс, или еще как.
     

Поделиться этой страницей