Автоматический парсинг kwork.ru с отправкой уведомлений в Telegram

Привет!

Представляю парсер новых заказов на бирже kwork. (Файл проекта во вложении)
В Ваш канал Telegram будут поступать посты о новых заказах.
Также можете включить Уведомления в Telegram, чтобы видеть уведомления на рабочем столе. Вдруг будет интересный заказ, сразу откликнетесь =)

Парсер можно доработать под другие сайты, где нужно отслеживать данные, и вообще оформить под себя. Здесь представлена лишь основу и идея.
Можете организовать такой канал, раскрутить и зарабатывать на нем =)



Для работы понадобится готовый бот в телеграм и канал телеграм, куда добавлен бот.
*Если есть вопросы как его создать, пишите в личку, потому что тема не о нем..

В сканере сайтов:
1) Устанавливаем стартовый url

Код:

https://kwork.ru/projects?c=all

2) Галочки Не пополнять очередь и Запускать парсинг контента после окончания работы сканера
3) Настройка фильтров, Задать шаблон для ссылок

Код:

/projects/

В окне Контент - Шаблон вывода указываем следующий код

Код:

<PHP_SCRIPT=https://api.telegram.org/bot[TOKEN]/sendMessage[UTF-8]>
<HEADERS></HEADERS>
<REPLACE></REPLACE>
chat_id=@[NAME_GROUP]
disable_web_page_preview=True
text=[FIELDVALUE]<CD_GRAN_1!>

<CD_GRAN_2!>

<CD_DOCURL!>
Цена до: <CD_GRAN_3!>
[/FIELDVALUE]
</PHP_SCRIPT>

Где:
1) [FIELDVALUE] - многострочный POST параметр, переносы строк учитываются в итоговом сообщении, поэтому добавил дополнительные для красоты.
2) Token и Name_Group - токен бота и имя группы, куда отправляются новые задания с кворка.
3) <CD_GRAN_1!>, 2 и 3 - обычные границы парсинга, сделал Название, Текст и Цена и ссылка на проект <CD_DOCURL!>
4) disable_web_page_preview=True отключает превью ссылок, чтобы компактнее сморелись сообщения

Далее в окне Фильтрации документов (Ctrl + t) указываем документ, куда будут сохраняться ссылки, чтобы парсить только новые задания.
В сохранении результата указываем Перезаписывать, потому что будет записываться результат парсинга в файл и чтобы он не раздувался до больших размеров. К слову, сохраняться будут только ответы от api telegram, в них нет надобности.

Перед запуском используем прокси, потому что из РФ нет доступов к серверу telegram.
Например, для теста я использовал программу VPN Unlimited, она меняет IP для всей системы. Бесплатный тест на несколько дней.

В планировщике (Ctrl + p) указываем наш проект, нужный интервал (я ставил 5 сек) и выбираем Запускать сканер сайтов.

В ярлыке ContentDownloader указываем "C:\Program Files (x86)\Content Downloader X1\Content Downloader.exe" "planner" "minimize"
Чтобы парсер запускался в фоне.

 

Телеграм разблокировали на территории РФ.
Поэтому больше не нужен прокси.
Запускаете 1 парсер в скрытом режиме и забываете про него.

 

Хорошая новость

 

Не работает.
пробовал разные варианты cis и win
не удалось загрузить контент по заданному URL (Получено непредвиденное сообщение или оно имеет неправильный формат)

 

Какой именно URL пытались загрузить?

 

Ссылки недоступны для гостей
Попробуйте исполнить его в CD.
Во всех вариантах сыпется ошибка.

Php скрипт то же самое.

<PHP_SCRIPT=Ссылки недоступны для гостей
<HEADERS></HEADERS>
<REPLACE></REPLACE>
chat_id=@fedres_ru
disable_web_page_preview=True
text=ololo
</PHP_SCRIPT>

Любые варианты cis и win не спасают.
Просто телеграмная ссылка не работает в парсере самом.
ответ всегда: Программе не удалось загрузить WEB-страницу (Получено непредвиденное сообщение или оно имеет неправильный формат)

 

На Windows 7 библиотеки системы не могут работать с данным сервисом.

Перенесите программу на Windows 10.

 

К сожалению, не пользуюсь win10.
Других вариантов больше нет?(

 

Нет, просто использовать Windows 10, где эти функции работают.

 

Так в wbapp работает всё.
Ссылки недоступны для гостей

 

WBAppCEF весит около 100 мегабайт и использует свои функции для загрузки данных.

А в Content Downloader используется множество системных функций Windows.

Я не понимаю, к чему эти выяснения, когда конкретно сказано, что на Windows 10 работает, а на Windows 7 - нет.

 

Это был запуск на ноутбуке.
Попробовал на компьютере, на нём тоже win7.
Здесь всё почему-то прекрасно работает.

Разобраться бы теперь в причине

Ссылки недоступны для гостей скриншот доказательства

 

Такого я не знал.

Возможно, на той Windows 7, где у вас этот ресурс работает, установлены какие-то дополнительные пакеты типа NET Framework.

Можно зайти в панель управления -> Программы и компоненты и посмотреть, что дополнительно установлено на том ПК, где обсуждаемый ресурс работает.

Не мешало бы это знать, чтобы на Windows 7 у людей тоже работало.

 

Список программ на компьютере с Win7, где работает телеграм: Ссылки недоступны для гостей

Список программ на ноутбуке, где не работает: Ссылки недоступны для гостей

 

Установил на Windows 7:
NET
Visual
Положительного эффекта нет.

Возможно, дело в обновлениях OS, но моя Windows 7 не обновляется.

 

а как тут реализовано отсеивание новое задание или нет... ника не могу понять это.

 

подумал это для цели отслеживания новых сообщений на ресурсе Ссылки недоступны для гостей т.е. имеется желание что б если появилось новое 118 сообщение (на момент написания этого сообщения) оно с текстом сообщения и ссылкой отправилось в бота ...