[РЕШЕНИЕ] Вместо текста символы HTML, как исправить?

Тема в разделе "Решение различных задач по парсингу", создана пользователем kagorec, 30 ноя 2013.

Метки:
  1. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.441
    Адрес:
    Latvia
    Метод преобразования непонятных символов в читаемый вид. В некоторых сайтах применяется для скрытия текста от поисковых систем или против парсеров.
    На данный момент в программе есть специальные макросы:
    Код:
    {htmldecode} - декодирует все html символы в нормальный читаемый вид  (применяется в поиск-замена).
[HTMLDECODE]АБВ[/HTMLDECODE] - макрос декодирует все html символы, применяется в шаблоне вывода
    Подборка спецсимволов который может встретиться в статье, тот самый момент когда вместо русских букв получается набор непонятных символов :)

    Большой список всех символов находиться на сайте:
    Код:
    https://dev.w3.org/html5/html-author/charref
    В очень старых версиях Content Downloader применяли такой список в поиск-замена:
    [​IMG]
    Список основных html символов сохранил на сайте _Ссылки недоступны для гостей (зеркало _Ссылки недоступны для гостей) примерно из 290 символов получилось.

    п.с. тема обновлена 2020-10-17
     
    Последнее редактирование: 17 окт 2020
    kagorec, 30 ноя 2013
    #1
    Max3w, xLime и 3xwww нравится это.
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.441
    Адрес:
    Latvia
    Продолжаю тему с подбором списка для конвертации символов
    На этот раз список из Unicode (русские буквы в основном)

    [​IMG]

    _http://pastebin.com/zzYGxBw8
     
    Последнее редактирование: 18 май 2015
    kagorec, 9 янв 2014
    #2
  3. ipname

    ipname New Member Пользователи

    Регистрация:
    26 окт 2013
    Сообщения:
    27
    На какой адрес бутылку отправлять? Спасибо)
     
    ipname, 9 янв 2014
    #3
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    так как html коды так и не реализованы добавил список с сайта Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     
    Kreol, 21 фев 2014
    #4
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.441
    Адрес:
    Latvia
    Unicode символы (с иксом)
    _http://pastebin.com/rJKq9qU2 2492 замен (самых основных, иероглифы не стал продолжать добавлять)
     
    kagorec, 10 мар 2014
    #5
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Очень часто приходиться смешивать и заменять в ссылках символы на их коды.
    Многие сайты требуют явного указания замен.
    Список замен для преобразования URL кодирования.
    Ссылки недоступны для гостей
     

    Вложения:

    Kreol, 23 апр 2014
    #6
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо!
    Добавил кое-какие в функцию раскодирования URL.
     
    Root, 24 апр 2014
    #7
  8. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Знаковые коды умляутов (для математики и экзот текста "диакритик")
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

    Вложения:

    Последнее редактирование: 22 июл 2014
    Kreol, 25 июн 2014
    #8
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Процентная кодировка для подстановки в поисковые функции сайтов (спасибо Sasha Greenwood):
    Код:
    А|%C0
а|%E0
Б|%C1
б|%E1
В|%C2
в|%E2
Г|%C3
г|%E3
Д|%C4
д|%E4
Е|%C5
е|%E5
Ё|%A8
ё|%B8
Ж|%C6
ж|%E6
З|%C7
з|%E7
И|%C8
и|%E8
Й|%C9
й|%E9
К|%CA
к|%EA
Л|%CB
л|%EB
М|%CC
м|%EC
Н|%CD
н|%ED
О|%CE
о|%EE
П|%CF
п|%EF
Р|%D0
р|%F0
С|%D1
с|%F1
Т|%D2
т|%F2
У|%D3
у|%F3
Ф|%D4
ф|%F4
Х|%D5
х|%F5
Ц|%D6
ц|%F6
Ч|%D7
ч|%F7
Ш|%D8
ш|%F8
Щ|%D9
щ|%F9
Ъ|%DA
ъ|%FA
Ы|%DB
ы|%FB
Ь|%DC
ь|%FC
Э|%DD
э|%FD
Ю|%DE
ю|%FE
Я|%DF
я|%FF
І|%B2
і|%B3
Ї|%AF
ї|%BF
Є|%AA
є|%BA
+|%2B
 |+
Ø|Ø
(|%28
)|%29
     
    Root, 11 июл 2014
    #9
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Код:
    \u0430|а
\u0410|А
\u0431|б
\u0411|Б
\u0432|в
\u0412|В
\u0433|г
\u0413|Г
\u0434|д
\u0414|Д
\u0435|е
\u0415|Е
\u0451|ё
\u0401|Ё
\u0436|ж
\u0416|Ж
\u0437|з
\u0417|З
\u0438|и
\u0418|И
\u0439|й
\u0419|Й
\u043a|к
\u041a|К
\u043b|л
\u041b|Л
\u043c|м
\u041c|М
\u043d|н
\u041d|Н
\u043e|о
\u041e|О
\u043f|п
\u041f|П
\u0440|р
\u0420|Р
\u0441|с
\u0421|С
\u0442|т
\u0422|Т
\u0443|у
\u0423|У
\u0444|ф
\u0424|Ф
\u0445|х
\u0425|Х
\u0446|ц
\u0426|Ц
\u0447|ч
\u0427|Ч
\u0448|ш
\u0428|Ш
\u0449|щ
\u0429|Щ
\u044a|ъ
\u042a|Ъ
\u044b|ы
\u042b|Ы
\u044c|ь
\u042c|Ь
\u044d|э
\u042d|Э
\u044e|ю
\u042e|Ю
\u044f|я
\u042f|Я
     
    Root, 17 июл 2014
    #10
  11. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Расширенная латиница для Санскрита
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     

    Вложения:

    Kreol, 22 июл 2014
    #11
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.441
    Адрес:
    Latvia
    Таблица символов Unicode (которые начинаются с \u...), основные буквы и символы без иероглифов
    Готовый список замен для C.D. - pastebin.com/YxDbuXT4
    Источник: unicode-table.com/ru/
     

    Вложения:

    kagorec, 18 май 2015
    #12
  13. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.441
    Адрес:
    Latvia
    Список emoji

    [​IMG]


    Ссылки недоступны для гостей
     

    Вложения:

    • emoji.txt
      Размер файла:
      16,7 КБ
      Просмотров:
      11
    Последнее редактирование: 5 дек 2018
    kagorec, 19 авг 2017
    #13
    Root нравится это.
  14. Stan

    Stan Active Member Пользователи

    Регистрация:
    15 июн 2011
    Сообщения:
    501
    Здравствуйте.

    Как такое расшифровать
    Код:
    http%3a%2f%2ftaximaxim.com%2f%3fcity%3d%d0%91%d0%b0%d1%80%d0%bd%d0%b0%d1%83%d0%bb
    функции в программе не раскодируют
     
    Stan, 28 мар 2018
    #14
  15. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    HTMLDECODE с LIB2
     
    Kreol, 28 мар 2018
    #15
  16. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.441
    Адрес:
    Latvia
    Корректный перевод польского языка в транслит, чтобы в макросах "TOTRANSLITE" не удалялись умлауты.
    Примените замену до срабатывания "TOTRANSLITE"
    Код:
    re:Ą|A
re:ą|a
re:Ć|C
re:ć|c
re:Ę|E
re:ę|e
re:Ł|L
re:ł|l
re:Ń|N
re:ń|n
re:Ó|O
re:ó|o
re:Ś|S
re:ś|s
re:Ź|Z
re:ź|z
re:Ż|Z
re:ż|z
     
    kagorec, 20 май 2021
    #16
Similar Threads
  1. Djahat

    Крякозябры вместо текста при разметке границ.

    Djahat, 24 июл 2014, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    1
    Просмотров:
    1.019
    Kreol
    24 июл 2014
  2. Xpite

    Левые символы после парсинга (символы каверкаются в "иероглифы" при парсинге)

    Xpite, 13 мар 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    4
    Просмотров:
    1.239
    Root
    14 мар 2017
  3. sten30

    Вместо текста парсится знаки вопроса

    sten30, 22 апр 2017, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    0
    Просмотров:
    1.250
    sten30
    22 апр 2017
  4. kenny872012

    Удалить HTML символы

    kenny872012, 2 апр 2019, в разделе: Функции поиск-замены и регулярные выражения
    Ответов:
    4
    Просмотров:
    853
    kenny872012
    2 апр 2019
  5. Dydaevskiy

    Чем исправить ошибки HTML верстки?

    Dydaevskiy, 4 июн 2020, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    413
    Dydaevskiy
    4 июн 2020
Загрузка...

Поделиться этой страницей