Re: [心得] Unicode 補完計畫 (UAO)

看板EZsoft (小軟體)作者時間18年前 (2007/11/02 22:44), 編輯推噓4(405)
留言9則, 4人參與, 最新討論串2/5 (看更多)
※ 引述《mstar (Wayne Su)》之銘言: : 在中文模式下,只要發現這兩個字元組合在一起,系統就會將之轉成「特」字 : 就因這原理,故常有一些英文軟體畫面的框線在中文模式下變成亂碼 : (eg. C4C4C4C4「────」 會變成「闡闡」) 當年,因為英文軟體很多 而且很多都會用到框線,所以倚天中文為了避開這個問題 另外搞了一套倚天碼出來 : BIG5 : 當時 BIG5 編碼是非常急就章而推出的,選字根本就是依據教育部的常用字標準, : 所以很多字都沒被選入 (eg.堃、煊、喆) 但之後 BIG5 變成主流,大家只好將就著用 : (政府戶政、圖書管理等系統用不同的編碼,所以字數多很多) BIG5 的收字,主要是收教育部的常用及次常用字標準 圖書管理系統,主要是用 CCCII (這編碼是國際通用的,其實甚至是美國先用的) : Unicode : 後來有一群人/公司開始發展 unicode,也就是將世界上主要的文字統一成一種編碼 : 只要電腦支援這編碼、有相對應的字型,就可以看到所有文字 : http://zh.wikipedia.org/wiki/Unicode 當時本來要推的是 ISO 10646 ISO 10646 是用字面的概念來處理不同語系 所以當一行文字出現多種語言的時候,就會花費大量的訊息在切換字面上 所以最後大家乾脆全部平等 統一用 Unicode (所以有人把 Unicode 翻成統一碼) Unicode 是編一個 16bit 的碼,也就是說可容納 65536 字 再也沒有字面的問題了 (因為它等於只有一個字面) 後遺症就是,Unicode 無法相容於當時的 ASCII 環境 當然還有另一個問題就是,光是漢字的部份粗估就有七萬字以上 所以,16bit Unicode 光是漢字就塞不下 不過,當時的人沒想那麼多,只想求一個勉強可以運用的統一碼 所以,漢字的收字,以有出現在 BIG5、GB、SJIS 為主 : unicode 編碼方式和 BIG、GB、SJIS 等傳統編碼 (稱為 DBCS) 有點不一樣, : 以目前最常用的 UTF8來說,它按照文字的屬性分為用單一 byte 組成的、用 : 兩 byte 組成的...到用四 byte 組成的,普通的中文字多是二、三 byte 組成 : http://zh.wikipedia.org/wiki/UTF-8 因為 Unicode 要 16bit,ASCII 卻只要 8bit 一方面來說,用 ASCII 為主的軟體,一換用 Unicode 就要多一倍的儲存空間 另一方面是,Unicode 無法相容於 ASCII 環境,光程式就要改到死.... 所以就另外搞一個 UTF8 出來,不同範圍的 Unicode 字眼 編成 1 ~ 4 個 bytes,不用說 0-127 就是保留給 ASCII 的 : 有人認為中文、日文、韓文、越南文中很多漢字其實都一樣或是差不多, : 所以推動 CJKV,以將編入 unicode 中的漢字縮減 : http://zh.wikipedia.org/wiki/CJKV 因為編這個標準的是外國人 所以他們會認為都是一樣的,就開始東併西併 不過,也不能說他們很混 據說他們在編碼的時候,還特地來台灣學中文 : 萬惡的淵藪、一切問題的起源:微軟 : 時代繼續發展,萬惡的微軟推出 Windows,將正體中文編為 codepage 950 : 但是,沒把前述造字區中的日文、俄文字母以及某些符號收進去! : 之後一直到 Win2003,除了新增了歐元符號以外,還是沒日文字 香港比我們積極很多,日文假名及一些符號並沒有出現在 BIG5 裡 廣東話中也有很多字沒被收到 BIG5 裡 (廢話,BIG5 是台灣人用的) 所以,香港後來有搞一個香港增補字符集,Windows 也有採用 (可以想像一下,等於是 Microsoft 內建了 UAO) 不過,香港增補字符集,問題也蠻多的...... 忘了補充,因為 Unicode 只有 16bit 漢字又遠多於這個數,所以後來才又搞出 Ext A & Ext B -- 以上,是印象所及的一些補充 十幾年前,我對這塊蠻有興趣的,收集了不少資料 現在這些資料也不知道丟到哪去了...... -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 122.126.79.120 ※ 編輯: reptile 來自: 122.126.79.120 (11/02 22:49)

11/02 23:10, , 1F
unicode只是個"表"實際怎麼編是utf7/8/16le/16be/32等~
11/02 23:10, 1F

11/02 23:11, , 2F
並不是unicode是16bit @.@
11/02 23:11, 2F

11/02 23:21, , 3F
沒人說表不能是碼吧?況且,一開始Unicode這個表的確是16bit
11/02 23:21, 3F

11/03 00:40, , 4F
好像問題都出在中文字太多...還有別的文字也這麼多的嗎?
11/03 00:40, 4F

11/03 00:49, , 5F
unicode的表一開始是2^16沒錯,但改版後一直在增大
11/03 00:49, 5F

11/03 00:51, , 6F
表有多少字不是重點,編碼方式才是造成文中論述的主因
11/03 00:51, 6F

11/03 00:52, , 7F
,所謂不相容ascii是指像utf-16之類的"編碼",utf-8沒
11/03 00:52, 7F

11/03 00:53, , 8F
有問題,而不同編碼各有其目的和優劣,並非utf-8最好
11/03 00:53, 8F

11/03 00:54, , 9F
不過反正都是unicode編碼則彼此轉換是沒有任何障礙的
11/03 00:54, 9F
文章代碼(AID): #17ApVPIU (EZsoft)
文章代碼(AID): #17ApVPIU (EZsoft)