utf-8 vs utf-16 vs win-1251 vs koi-8

Майор Очевидность · 06-07-10 18:29:18

Svart Testare пишет:

Преимущества UTF-16 уже обсуждались. Потрудитесь найти.

а можно их прямо сюда? чисто приличия ради.

petrun · 06-07-10 18:32:53

Svart Testare пишет:

Преимущества UTF-16 уже обсуждались. Потрудитесь найти.

Я видел, спасибо.Не убедило.
Все одно - не все символы кодируются двумя байтами.

Отредактировано petrun (06-07-10 18:37:32)

Svart Testare · 06-07-10 18:38:22

petrun пишет:

Не убедило.

Меня это почему-то не удивляет big_smile

petrun · 06-07-10 18:41:43

Svart Testare пишет:

Меня это почему-то не удивляет

Вы по делу можите говорить?В UTF-16 не все символы кокодируются двумя байтами -есть суррогатные пары.
Вопрос, в чем преимущество?

Svart Testare · 06-07-10 18:52:26

petrun пишет:

Вопрос, в чем преимущество?

Преимущества UTF-16 уже обсуждалось. Потрудитесь найти smile

petrun · 06-07-10 18:54:08

Svart Testare пишет:

Преимущества UTF-16 уже обсуждалось. Потрудитесь найти

Заклинило?
Обсуждалось едиообразие представления - 2 байта на символ в любом случае.Это не так.

Майор Очевидность · 06-07-10 19:03:30

Svart Testare пишет:

Преимущества UTF-16 уже обсуждалось. Потрудитесь найти

а давайте всё же спорить предметно?
а то получается: кто-то что-то не увидел, кто-то что-то пропустил. а кто-то, наоборот, чего-то лишнего додумал...

итак.
список преимуществ — в студию. по пунктам.
можно копипастой, главное чтобы описание каждого преимущества начиналось с новой строки.

Отредактировано Майор Очевидность (06-07-10 19:04:00)

Svart Testare · 06-07-10 19:09:47

Майор Очевидность пишет:

а давайте всё же спорить предметно?

Да запросто! Просто петрун и ко не в состоянии погуглить пару минут:

UTF-8 has an advantage where ASCII are most prevalent characters. In that case most characters only occupy one byte each. It is also advantageous that UTF-8 file containing only ASCII characters has the same encoding as an ASCII file.

UTF-16 is better where ASCII is not predominant, it uses 2 bytes per character primarily. UTF-8 will start to use 3 or more bytes for the higher order characters where UTF-16 remains at just 2 most of the time.

UTF-32 will cover all possible characters in 4 bytes each which makes it pretty bloated, I can't think of any advantage to use it.

К выделенному тексту — учитывая, что ASCII уже давно не является чем-то общепринятым в плане хранения текстов, а на передний план выходит мультиязычность (в т.ч. и азиатские языки), то UTF-16 выглядит перспективнее.

petrun · 06-07-10 21:05:08

Svart Testare пишет:

К выделенному тексту — учитывая, что ASCII уже давно не является чем-то общепринятым в плане хранения текстов, а на передний план выходит мультиязычность (в т.ч. и азиатские языки), то UTF-16 выглядит перспективнее.

То есть вас не устраивает расположение символов внутри UTF-8?
А на счет ASCII - латиница, цифры, знаки припинания это основа большинства всех текстов в мире.

Svart Testare · 06-07-10 21:08:15

petrun пишет:

То есть вас не устраивает расположение символов внутри UTF-8?

Дело не в расположении символов, а в том, что если текст не в ASCII, то UTF-8 проигрывает за счёт размеров. Это, в первую очередь, касается кириллических текстов и текстов на азиатских языках.

petrun · 06-07-10 21:16:33

Svart Testare пишет:

Дело не в расположении символов, а в том, что если текст не в ASCII, то UTF-8 проигрывает за счёт размеров.

В общем виде это не верно.Для хранения не ASCII символов используется от 2 до 4 байт и кириллица влезает в 2.
Проблема именно расположении в диапазоне - нужные вам символы кодируются длинными последовательностями.

Svart Testare · 06-07-10 21:46:36

petrun пишет:

В общем виде это не верно.Для хранения не ASCII символов используется от 2 до 4 байт и кириллица влезает в 2.

В общем как раз и верно. И, очевидно, не вся кириллица влезает в 2.
Простой тест:
набрать в ноутпаде слово «привет» и сохранить в ANSI, UTF-16LE (родное для Windows) и UTF-8.
Получаем 6, 14 и 15 байт соответственно. UTF-8 — самый жирный.

Майор Очевидность · 06-07-10 21:51:50

смею напомнить:

Svart Testare пишет:

А то что UTF-16 занимает много места, так с такими носителями как сейчас это неактуально.

т.е. если так делает UTF-16 — это неактуально.
а если так вдруг поступает UTF-8 — ВНЕЗАПНО актуально?
будьте последовательны!

Svart Testare · 06-07-10 21:56:06

Майор Очевидность пишет:

а если так вдруг поступает UTF-8 — ВНЕЗАПНО актуально?

Да, потому что кроме тянучки-совместимости с ASCII у этого формата юникода больше примуществ нет. А ведь в мире не только латиница.
Кстати, линуксятина наверное очень любит хранить настройки в текстовых конфигах потому что тогда UTF-8 оправдан (из-за использования лишь ASCII в текстах конфигов) smile

Svart Testare · 06-07-10 21:57:55

И что тут вообще обсуждать? Если бы только Microsoft выбрала UTF-16, то нападки со стороны её противников были бы уместны. А так и Джава и Кокоа тоже используют UTF-16 — на них же никто не посмеет открыть рот и осуждать их разрабов за это? smile

Mike22 · 06-07-10 22:06:56

UTF-8 - мерзость, которая должна быть уничтожена, а все ее фанаты - сожжены. Когда я познакомился с KOI-8, я думал, что более ублюдочную и неудобную для разработчика кодировку придумать невозможно, но UTF-8 доказала - возможно.

usr_share · 06-07-10 22:18:25

Mike22 пишет:

UTF-8 - мерзость, которая должна быть уничтожена

И что же вызывает у вас такую ненависть к UTF-8?

SemyonKozakov · 06-07-10 22:34:08

Mike22 пишет:

UTF-8 - мерзость, которая должна быть уничтожена

/выходит на трибуну, зал стихает?
А что же лучше? Cp-1251?
/дикий ржач в зале
KOI-8?
/ржач переходит в истерику
UTF-16?????
/стены зала рухнули вместе с потолком и погребли под собой лектора и зрителей
Занавес.

Mike22 · 06-07-10 22:45:58

d1337r:
Плавающий размер текста, возможность сбоя декодировки из-за которого падает половина стандартных парсеров, а те, что не падают - возвращают пустую строку.

Она должна быть уничтожена уже вот за такие конструкции:

if (Encode::is_utf8($@))
{
$msg = $@;
}
else
{
$msg = decode("utf8", $@); # UTF8 flag is dropped on die
}

Отредактировано Mike22 (06-07-10 22:48:31)

Linups_Troolvalds · 06-07-10 22:52:23

Mike22 пишет:

Плавающий размер текста, возможность сбоя декодировки из-за которого падает половина стандартных парсеров, а те, что не падают - возвращают пустую строку.

Это какие-то очень секретные проблемы. Вы, простите, где и для чего её применяете?

ikkunan salvataja · 06-07-10 22:55:04

Svart Testare пишет:

Получаем 6, 14 и 15 байт соответственно. UTF-8 — самый жирный.

А у меня в UTF-8 почему то 13 байт получилось. Может от того, что я там клавишу Enter не нажимал?

Svart Testare · 06-07-10 23:12:07

ikkunan salvataja пишет:

Может от того, что я там клавишу Enter не нажимал?

Я тоже не нажимал. По файлу ж с ANSI видно, что привет это как раз 6 байт и никаких переносов строк.

Mike22 · 06-07-10 23:12:37

> Это какие-то очень секретные проблемы

Цитирую: "более ублюдочную и неудобную для разработчика кодировку придумать невозможно". Конечному пользователю, конечно же, наплевать какая там кодировка. Он, в идеале, и слова-то такого знать не должен.

Отредактировано Mike22 (06-07-10 23:12:54)

Linups_Troolvalds · 07-07-10 00:42:58

Mike22 пишет:

Цитирую: "более ублюдочную и неудобную для разработчика кодировку придумать невозможно".

Что-то очень экспрессивно и совсем без практических примеров.

Svart Testare · 28-07-10 21:51:00

trololoshka,
Вам с таким ником здесь придётся очень упорно доказывать свою непричастность к чему-либо smile

Форум StopLinux

Объявление

#26 06-07-10 18:29:18

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#27 06-07-10 18:32:53

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#28 06-07-10 18:38:22

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#29 06-07-10 18:41:43

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#30 06-07-10 18:52:26

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#31 06-07-10 18:54:08

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#32 06-07-10 19:03:30

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#33 06-07-10 19:09:47

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#34 06-07-10 21:05:08

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#35 06-07-10 21:08:15

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#36 06-07-10 21:16:33

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#37 06-07-10 21:46:36

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#38 06-07-10 21:51:50

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#39 06-07-10 21:56:06

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#40 06-07-10 21:57:55

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#41 06-07-10 22:06:56

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#42 06-07-10 22:18:25

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#43 06-07-10 22:34:08

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#44 06-07-10 22:45:58

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#45 06-07-10 22:52:23

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#46 06-07-10 22:55:04

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#47 06-07-10 23:12:07

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#48 06-07-10 23:12:37

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#49 07-07-10 00:42:58

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

#50 28-07-10 21:51:00

Re: utf-8 vs utf-16 vs win-1251 vs koi-8

Подвал форума