Предложения по улучшению программы

Спасибо, Сергей. Ты - лучший. Но...Отправил в ЛС.

 

Просто как воздух необходима функция запуска проектов по очереди.
То есть для каждого из, допустим, десяти сайтов делаю свой проект, ставлю в очередь, запускаю и они все выполняются.
Очень хотелось бы, чтобы проекты можно было создавать от момента парсинга до момента импорта, чтобы после запуска проекта можно было забирать готовый файл импорта.

Выглядеть это может как создание профилей - создаешь профиль, а в нем указываешь какие проекты выполнять. Как то так.

UPD: Сергей, ты хоть намекни - будет, не будет, будет, но не скоро, уже делаю

 

прога радует, но есть одна очень большая просьба по добавлению функционала, а именно:

возможность обработки конечного результата через запрос к серверу, типа такого формата, создать
макрос <CD_SERVER> (ну, или как автору больше нравиться) и добавить к нему две настройки,

текстовое поле URL:
для вписания полного пути к скрипту на сервере, типа

Код:

http://localhost/superpupercode.php 
http://domain.tld/superpupercode.php
(или .pl и иже с ними, кто на чем ваяет)

и чекбокс Сохранять пути к картинкам:

чтобы при обработке пути к картинкам не менялись (или всё таки менялись, на то и чекбокс )
на локальные, дабы с ними можно было работать на стороне сервера

ну, и вставка его по типу <NIMG>, чтобы можно было обрамлять необходимый участок кода,
хоть весь целиком, хоть блок:

Код:

<CD_SERVER>
  bla-bla
  другие теги
  .
  .
  .
  и т.д
</CD_SERVER>

или

Код:

  bla-bla
  .
  .
  .
  .
  теги и усё такое
  
<CD_SERVER>
  участок кода для обработки на стороне сервера, теги и текст
</CD_SERVER>

в конце обработки программой, как это сейчас происходит, передать
обрамленный блок в POST запросе, например в теле переменной (data=...текст...)
и вместо него вставить ответ с сервера, уф, надеюсь, понятно изложил...

для чего всё это надо, а для того чтобы веб программеры могли создавать своего
рода плагины, реализуя свои задумки с помощью всей мощи языка прогаммирования,
с помощью таких действий можно получать готовые решения уже по завершению
парсинга, наполнять сайты на своих cms не прибегая к импорту, да вообще всё,
регулярные выражения, добавления данных со сторонних ресурсов у кого на сколько
воображения хватает, не дергая при этом автора программы по мелочам, так как
чаще всего добавления разовые и индивидуальные для каждого проекта

реализация данной фичи не должна вызвать сложностей, а пользы добавит
не мало, с учетом многопоточности программы, как-то так, очень надеюсь на понимание

 

Классная идея! Учту при разработке программы, по срокам скажу одно: долго). Так как сейчас очень много планов и очень много работы с клиентами и системой помощи.

 

спасибо, то что по срокам долго, это не беда, главное цепануло, значит будем ждать )

 

Смотрю, что задают многие вопросы, на которые есть ответы.

Есть простое, но очень полезное предложение:
Добавить во все окна (разделы программы) ссылку на свой раздел helpa.
Такой принцип используется в Зебройде и это очень удобно.

Например: Открыл я вкладку "Задание границ парсинга", решил прочитать про новые фишки. кликнул на кнопку helpa и попал сразу на страницу Ссылки недоступны для гостей

Да и От новичков будет меньше вопросов, да и самому иногда лень лезть в раздел helpa

 

Спасибо, учту.

 

По поводу переводчика, просили указать где реализовано.

Такая фишка есть в TextKit.

Также присоединяюсь к просьбе. Было бы удобно в одном месте.

 

прогой спарсил уже не один десяток тысяч страниц, при тонкой настройке спарсить можно все что угодно. спасибо автору!
предложение только одно сейчас, возможность использовать регулярные выражения, что сделало бы систему на порядок гибче

 

Готово! Ссылки недоступны для гостей

 

ура, всё супер!

 

Немного не понятно (я далек от программирования ). Нельзя ли привести конкретный пример конкретного скрипта. Что-нибудь самое простое, например, сделать, чтобы из урла страницы остался только домен.
В шаблоне, насколько я понимаю, это будет выглядеть так:

Сам скрипт выглядит так, вроде:

PHP:

<?php
// get host name from URL
preg_match("/^(http:\/\/)?([^\/]+)/i",
    "http://www.php.net/index.html", $matches);
$host = $matches[2];
 
// get last two segments of host name
preg_match("/[^\.\/]+\.[^\.\/]+$/", $host, $matches);
echo "{$matches[0]}\n";
 
/* Output is php.net */
?>

P.S. Попытался в системе помощи оставить комментарий, но там вырезало все коды.

P.P.S. Кстати, а если скрипт будет на локальном сервере будет работать такая конструкция?

 

Доброй ночи. Придумал идею. Для гугля и для других поисковиков будет очень полезным переименование картинок не в постое имя image , а в более понятное и релевантное для поиска - транслит. Я думаю будет не плохо в плане уникальности и повышении посещаемости новых или ваших сайтов

 

Очень нужен парсер поисковика Google, может прикрутите на досуге?

 

Хотелось бы:
- внутреннюю перелинковку,
- постинг в бесплатне сервисы блогов, такие как livejournal, blogspot и тд.

 

Еще раз выскажусь: реально спасибо за такую функциональную программу по парсингу.

Но есть предложение, как выше сказал micher, можно ли добавить в программу поддержку регулярных выражений (или добавить макрос по типу {num}, чтобы при его вызове учитывались любые символы - назовем его {all}).

По факту:
надо спарсить марку авто с сайта auto.ru, она находится в этой строке

PHP:

<li><a href="http://cars.auto.ru/cars/used/aston-martin/">Aston Martin</a>

Так вот, чтобы потом не проганять, через скрипт (как я щас делаю), пишем так.

PHP:

парсим от: <li><a href="http://cars.auto.ru/cars/used/{all}/">
парсим до: </a>

или
<li><a href="http://cars.auto.ru/cars/used/(.*?)/">(.*?)</a>
Нужное нам во втором массиве.


 

Очень хотелось бы увидеть такую функцию, как подсветка новостей в которых присутствует тег img , но отсутствует изображение на диске, так мне не надо будет просматривать каждую новость на наличие изображения.

Знаю есть функция удалить все теги img в которых отсутствует изображение на диске, но мне эта функция не подойдёт, так как необходимо изображение в каждой новости.

Осуществимо ли это?

 

Добавил в TODO

 

В 15 версии появилась возможность переименовывать границы парсинга, но нельзя ли сделать, чтобы можно было задавать названия границ парсинга для каждого отдельного проекта, Т.е. создал новый проект, а там границы парсинга по умолчанию названы "граница парсинга 1", "граница парсинга 2"и т.д.

 

Названия границ парсинга сохраняются в проект.