Re: [問題] 請問一下unicode的問題
: 這方法有效,不過太苦。
: Python 提供 codec 架構進行字碼轉換,2.3 以後都支援
: (更早的版本可能也有,抱歉我不確定)。
: 在利用 codec 架構進行字碼轉換之前,
: 我們要對 Python 提供的唯二字串物件 str 和 unicode 其間的關係,
: 具有基本的概念。
: unicode 存的是 Unicode code point,而 str 可以存任意的 byte list。
: 在處理字碼轉換時,概念上要把 unicode 物件當成一種與字碼無關的字串型別,
: 從 unicode 物件「編碼」成代表各種字碼的 str 物件,
: 或從以任意字碼表示的 str 物件「解碼」回 unicode 物件。
: 具體來講,假設我們取得的「所有網站」字串是以 utf-8 編碼,
: 而我們想把它轉成 unicode 物件,那要這樣作:
: uniraw = raw.decode('utf8') # raw contain 所有網站 in UTF-8 encoding.
: 這樣得到的 uniraw 會是一個 unicode 物件。
: 再舉一個在 CP950 Windows 下的例子,用 interactive mode Python:
: Python 2.4.4 (#71, Oct 18 2006, 08:34:43) [MSC v.1310 32 bit (Intel)] on win32
: Type "help", "copyright", "credits" or "license" for more information.
: <type 'unicode'>
: 所有網站
: <type 'str'>
: 所有網站
: 好了,當我們得到一個 unicode 字串之後,想轉成哪種編碼都可以隨心所欲:
: sjisraw = uniraw.encode("sjis")
: 再用 interactive Python 示範一下:
: ?⑫簛?
: 在 CP950 下出亂碼是正常的;不出亂碼表示我們寫錯了。
: 有時候在一些處理字串的程式裡我們還會看到如下的 traceback:
: Traceback (most recent call last):
: File "<stdin>", line 1, in ?
: UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordin
: al not in range(128)
: 很明顯,ascii encoding 不可能包含「所有網站」的碼域。
: 在把 str (in Big5) 的「所有網站」解碼成 unicode 時不會出問題,
: 但如果要把 unicode 的「所有網站」編碼成 ascii,這是件不可能的任務,
: Python 就爆給我們看。
: 這是應當的,也是合理的,Python 如此行,乃是理所當然的。
: 如果能弄懂以上的操作,應該就可以掌握 Python 的 unicode 處理了。
: 當然,實作的時候還有一些要注意的地方。
: 第一是 Python 的 codec 名稱及所支援的 encoding;
: 尤其 Python 在 2.4 之前是「不支援」Big5 的,要另行安裝 cjkcodecs 套件
: (感謝韓國人)。
: 第二是在 interactive mode 中使用 Python 時,要注意終端機的 locale
: (在 Windows 下就是 codepage);
: locale 不正確,即使編解碼正確,出亂碼也是好正常的了。
但是在python需要自動轉換code時 要怎麼處理呢?
像我知道在存寫檔時可以用 codec.open 來取代
但是其他像是在odbc 中的cursor.execute('... 資料..')中
python就會自動將unicode的code轉成 ascii
然後就當場掛掉.. 這種問題要怎麼解決比較好?
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.113.88.93
討論串 (同標題文章)
Python 近期熱門文章
PTT數位生活區 即時熱門文章