Hướng dẫn python string unicode characters - chuỗi ký tự unicode python

Question

10

Nội dung chính Show

Nội dung chính ShowShow

Giới thiệu về Unicode¶
Định nghĩa¶
Người giới thiệu¶
Python sườn Unicode Hỗ trợ Không
Loại chuỗi
Chuyển đổi sang byte¶
Unicode theo nghĩa đen trong mã nguồn Python
Thuộc tính unicode
So sánh chuỗi
Unicode biểu thức chính quy
Người giới thiệu¶
Python sườn Unicode Hỗ trợ Không
Loại chuỗi
Chuyển đổi sang byte¶
Người giới thiệu¶
Python sườn Unicode Hỗ trợ Không
Loại chuỗi
Chuyển đổi sang byte¶
Unicode theo nghĩa đen trong mã nguồn Python
Thuộc tính unicode

So sánh chuỗi
Learn more.

Unicode biểu thức chính quy

s = 'jiā'
s.find(u'\u0101')

Đọc và viết dữ liệu Unicode

Tên tệp Unicode

Mẹo để viết các chương trình nhận biết Unicode

Sự nhìn nhận¶Nov 11, 2011 at 16:39

1

Mẹo để viết các chương trình nhận biết Unicode

Sự nhìn nhận¶

zzz = u"foo"

Làm thế nào để tôi tìm thấy unicode của một nhân vật trong Python?

zzz = unicode(zzz, encoding="latin1")

Làm thế nào để bạn tìm thấy unicode của một nhân vật?

Làm thế nào để bạn tìm thấy mã hóa của một chuỗi trong Python?Nov 11, 2011 at 16:47

Làm thế nào bạn sẽ in tên unicode của từng ký tự của chuỗi trong Python?kindall

Mới! Lưu câu hỏi hoặc câu trả lời và sắp xếp nội dung yêu thích của bạn. Tìm hiểu thêm.Learn more.34 gold badges268 silver badges300 bronze badges

Những công việc này

Làm thế nào để tôi làm một cái gì đó như thế này:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

Vì bây giờ tôi đang sử dụng một biến, làm thế nào để tôi chỉ ra chuỗi được biểu thị bằng biến là unicode?Nov 11, 2011 at 16:43

Hỏi ngày 11 tháng 11 năm 2011 lúc 16:39Nov 11, 2011 at 16:39Sven Marnach

Hỏi ngày 11 tháng 11 năm 2011 lúc 16:39114 gold badges916 silver badges818 bronze badges

2

Bằng cách xác định nó là một chuỗi unicode ở nơi đầu tiên.

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

4

Hoặc, nếu bạn đã có một chuỗi trong một số mã hóa khác, bằng cách chuyển đổi nó thành unicode (mã hóa gốc phải được chỉ định nếu chuỗi không phải là ASCII).Mar 18, 2014 at 8:11

Hoặc bằng cách sử dụng Python 3 trong đó tất cả các chuỗi là Unicode.Nov 11, 2011 at 16:47Cesc

Đã trả lời ngày 11 tháng 11 năm 2011 lúc 16:47kindall1 gold badge13 silver badges22 bronze badges

Kindallkindall34 gold badges268 silver badges300 bronze badges

1.12

173K34 Huy hiệu vàng268 Huy hiệu bạc300 Huy hiệu đồng

Giới thiệu về Unicode¶

Định nghĩa¶

s.find(zzz.decode("utf-8"))

zzz = unicode(zzz, encoding="latin1")

2 Như được định nghĩa trong bài viết của bạn là một đối tượng

zzz = unicode(zzz, encoding="latin1")

3 đơn giản, không phải là đối tượng

zzz = unicode(zzz, encoding="latin1")

4, do đó không có cách nào để chỉ ra rằng đó là điều thực sự không phải. Tuy nhiên, bạn có thể chuyển đổi đối tượng

zzz = unicode(zzz, encoding="latin1")

3 thành đối tượng

zzz = unicode(zzz, encoding="latin1")

4 bằng cách chỉ định mã hóa:

Thay thế

zzz = unicode(zzz, encoding="latin1")

7 bằng bất cứ thứ gì mã hóa chuỗi được mã hóa.Lưu ý rằng trong ví dụ của bạn

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

1

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

2

zzz = unicode(zzz, encoding="latin1")

2 là một chuỗi có độ dài đơn giản 6. Không có cách nào dễ dàng để khắc phục chuỗi sai này theo nghĩa đen sau đó, ngoại trừ các hack dọc theo các dòngNov 11, 2011 at 16:43character is the smallest possible component of a text. ‘A’, ‘B’, ‘C’, etc., are all different characters. So are ‘È’ and ‘Í’. Characters vary depending on the language or context you’re talking about. For example, there’s a character for “Roman Numeral One”, ‘Ⅰ’, that’s separate from the uppercase letter ‘I’. They’ll usually look the same, but these are two different characters that have different meanings.

Tiêu chuẩn Unicode mô tả cách các ký tự được biểu diễn bằng các điểm mã. Giá trị điểm mã là một số nguyên trong phạm vi 0 đến 0x10FFFF (khoảng 1,1 triệu giá trị, số thực được gán ít hơn thế). Trong tiêu chuẩn và trong tài liệu này, một điểm mã được viết bằng ký hiệu

zzz = unicode(zzz, encoding="latin1")

9 có nghĩa là ký tự có giá trị

s.find(zzz.decode("utf-8"))

0 (9,822 trong thập phân).code points. A code point value is an integer in the range 0 to 0x10FFFF (about 1.1 million values, the actual number assigned is less than that). In the standard and in this document, a code point is written using the notation

zzz = unicode(zzz, encoding="latin1")

9 to mean the character with value

s.find(zzz.decode("utf-8"))

0 (9,822 in decimal).code points. A code point value is an integer in the range 0 to 0x10FFFF (about 1.1 million values, the actual number assigned is less than that). In the standard and in this document, a code point is written using the notation

zzz = unicode(zzz, encoding="latin1")

9 to mean the character with value

s.find(zzz.decode("utf-8"))

0 (9,822 in decimal).

Tiêu chuẩn Unicode chứa rất nhiều bảng liệt kê các ký tự và các điểm mã tương ứng của chúng:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

9

Nghiêm túc, những định nghĩa này ngụ ý rằng nó vô nghĩa khi nói ‘Đây là nhân vật

zzz = unicode(zzz, encoding="latin1")

9.

zzz = unicode(zzz, encoding="latin1")

9 là một điểm mã, đại diện cho một số ký tự cụ thể; Trong trường hợp này, nó đại diện cho nhân vật ‘Knight Chess Black,‘ ♞. Trong bối cảnh không chính thức, sự khác biệt giữa các điểm mã và ký tự đôi khi sẽ bị lãng quên.

Một ký tự được thể hiện trên màn hình hoặc trên giấy bởi một tập hợp các yếu tố đồ họa mà Lọ gọi là glyph. Ví dụ, glyph cho chữ A, ví dụ, là hai nét chéo và đột quỵ ngang, mặc dù các chi tiết chính xác sẽ phụ thuộc vào phông chữ được sử dụng. Hầu hết các mã Python không cần phải lo lắng về glyphs; Tìm ra glyph chính xác để hiển thị nói chung là công việc của bộ công cụ GUI hoặc trình kết xuất phông chữ Terminal.glyph. The glyph for an uppercase A, for example, is two diagonal strokes and a horizontal stroke, though the exact details will depend on the font being used. Most Python code doesn’t need to worry about glyphs; figuring out the correct glyph to display is generally the job of a GUI toolkit or a terminal’s font renderer.glyph. The glyph for an uppercase A, for example, is two diagonal strokes and a horizontal stroke, though the exact details will depend on the font being used. Most Python code doesn’t need to worry about glyphs; figuring out the correct glyph to display is generally the job of a GUI toolkit or a terminal’s font renderer.

Mã hóa

Để tóm tắt phần trước: Chuỗi Unicode là chuỗi các điểm mã, là số từ 0 đến

s.find(zzz.decode("utf-8"))

3 (1,114,111 thập phân). Trình tự các điểm mã này cần được biểu diễn trong bộ nhớ dưới dạng một tập hợp các đơn vị mã và các đơn vị mã sau đó được ánh xạ tới 8 bit byte. Các quy tắc để dịch một chuỗi unicode thành một chuỗi byte được gọi là mã hóa ký tự hoặc chỉ là một mã hóa.code units, and code units are then mapped to 8-bit bytes. The rules for translating a Unicode string into a sequence of bytes are called a character encoding, or just an encoding.code units, and code units are then mapped to 8-bit bytes. The rules for translating a Unicode string into a sequence of bytes are called a character encoding, or just an encoding.

Mã hóa đầu tiên mà bạn có thể nghĩ là sử dụng các số nguyên 32 bit làm đơn vị mã, và sau đó sử dụng biểu diễn CPU của các số nguyên 32 bit. Trong đại diện này, chuỗi Py Python có thể trông như thế này:

zzz = u"foo"

3

Đại diện này là đơn giản nhưng sử dụng nó thể hiện một số vấn đề.

Nó không di động; Các bộ xử lý khác nhau đặt hàng byte khác nhau.
Nó rất lãng phí không gian. Trong hầu hết các văn bản, phần lớn các điểm mã nhỏ hơn 127, hoặc dưới 255, do đó, rất nhiều không gian bị chiếm bởi
```
s.find(zzz.decode("utf-8"))
```
4 byte. Chuỗi trên mất 24 byte so với 6 byte cần thiết cho biểu diễn ASCII. Việc sử dụng RAM tăng không quan trọng quá nhiều (máy tính để bàn có gigabyte ram, và chuỗi thường không lớn), nhưng việc mở rộng việc sử dụng băng thông đĩa và mạng của chúng tôi bằng hệ số 4 là không thể chịu đựng được.
Nó không tương thích với các chức năng C hiện có như
```
s.find(zzz.decode("utf-8"))
```
5, vì vậy một gia đình mới gồm các hàm chuỗi rộng sẽ cần được sử dụng.

Do đó, mã hóa này được sử dụng rất nhiều, và thay vào đó mọi người chọn các mã hóa khác hiệu quả và thuận tiện hơn, chẳng hạn như UTF-8.

UTF-8 là một trong những mã hóa được sử dụng phổ biến nhất và Python thường mặc định sử dụng nó. UTF là viết tắt của định dạng chuyển đổi Unicode, và ‘8 8 có nghĩa là các giá trị 8 bit được sử dụng trong mã hóa. (Ngoài ra còn có mã hóa UTF-16 và UTF-32, nhưng chúng ít được sử dụng hơn UTF-8.) UTF-8 sử dụng các quy tắc sau:

Nếu điểm mã là
Nếu điểm mã là> = 128, thì nó đã biến thành một chuỗi gồm hai, ba hoặc bốn byte, trong đó mỗi byte của chuỗi nằm trong khoảng từ 128 đến 255.

UTF-8 có một số thuộc tính thuận tiện:

Nó có thể xử lý bất kỳ điểm mã Unicode.
Một chuỗi unicode được biến thành một chuỗi các byte chỉ chứa các byte không được nhúng khi chúng đại diện cho ký tự null (U+0000). Điều này có nghĩa là các chuỗi UTF-8 có thể được xử lý bởi các hàm C như
```
s.find(zzz.decode("utf-8"))
```
6 và được gửi qua các giao thức có thể xử lý số byte không cho bất kỳ thứ gì khác ngoài các điểm đánh dấu cuối chuỗi.
Một chuỗi văn bản ASCII cũng là văn bản UTF-8 hợp lệ.
UTF-8 khá nhỏ gọn; Phần lớn các ký tự thường được sử dụng có thể được biểu diễn bằng một hoặc hai byte.
Nếu byte bị hỏng hoặc bị mất, thì có thể xác định điểm bắt đầu của điểm mã được mã hóa UTF-8 tiếp theo và đồng bộ hóa. Nó cũng không chắc rằng dữ liệu 8 bit ngẫu nhiên sẽ trông giống như UTF-8 hợp lệ.
UTF-8 là mã hóa theo định hướng byte. Mã hóa chỉ định rằng mỗi ký tự được biểu diễn bằng một chuỗi cụ thể của một hoặc nhiều byte. Điều này tránh các vấn đề đặt hàng byte có thể xảy ra với các mã hóa theo định hướng số nguyên và từ, như UTF-16 và UTF-32, trong đó chuỗi byte thay đổi tùy thuộc vào phần cứng mà chuỗi được mã hóa.

Người giới thiệu¶

Trang web Unicode Consortium có biểu đồ ký tự, bảng thuật ngữ và phiên bản PDF của đặc tả Unicode. Hãy chuẩn bị cho một số đọc khó đọc. Một niên đại về nguồn gốc và sự phát triển của Unicode cũng có sẵn trên trang web.

Trên kênh YouTube máy tính, Tom Scott thảo luận ngắn gọn về lịch sử của Unicode và UTF-8 (9 phút 36 giây).

Để giúp hiểu tiêu chuẩn, Jukka Korpela đã viết một hướng dẫn giới thiệu để đọc các bảng ký tự Unicode.

Một bài viết giới thiệu tốt khác được viết bởi Joel Spolsky. Nếu phần giới thiệu này đã làm cho mọi thứ rõ ràng với bạn, bạn nên thử đọc bài viết thay thế này trước khi tiếp tục.

Các mục Wikipedia thường hữu ích; Ví dụ, xem các mục cho mã hóa ký tự và UTF-8 và UTF-8.

Python sườn Unicode Hỗ trợ Không

Bây giờ bạn đã học được sự thô sơ của Unicode, chúng ta có thể xem xét các tính năng của Python.

Loại chuỗi

Kể từ Python 3.0, loại ngôn ngữ

s.find(zzz.decode("utf-8"))

7 chứa các ký tự Unicode, nghĩa là bất kỳ chuỗi nào được tạo bằng cách sử dụng cú pháp chuỗi được trích xuất ba, hoặc cú pháp chuỗi được trích xuất ba được lưu trữ dưới dạng unicode.

Mã hóa mặc định cho mã nguồn Python là UTF-8, do đó bạn có thể chỉ cần bao gồm một ký tự Unicode trong một chuỗi chữ:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

0

Lưu ý bên: Python 3 cũng hỗ trợ bằng cách sử dụng các ký tự Unicode trong số nhận dạng:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

1

Nếu bạn có thể nhập một ký tự cụ thể vào trình chỉnh sửa của mình hoặc muốn giữ mã nguồn ASCII-chỉ vì một số lý do, bạn cũng có thể sử dụng các chuỗi thoát trong các chữ viết. (Tùy thuộc vào hệ thống của bạn, bạn có thể thấy Glyph vốn thực tế thay vì thoát U.)

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

2

Ngoài ra, người ta có thể tạo một chuỗi bằng phương pháp

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

10 của

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

11. Phương thức này có một đối số mã hóa, chẳng hạn như

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

12 và tùy chọn là một đối số lỗi.

Đối số lỗi chỉ định phản hồi khi chuỗi đầu vào có thể được chuyển đổi theo các quy tắc mã hóa. Các giá trị pháp lý cho đối số này là

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

13 (tăng ngoại lệ

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

14),

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

15 (sử dụng

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

16,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

17),

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

18 (chỉ cần để ký tự ra khỏi kết quả Unicode) hoặc

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

19 (chèn chuỗi thoát

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

20). Các ví dụ sau đây cho thấy sự khác biệt:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

3

Mã hóa được chỉ định là các chuỗi chứa tên mã hóa. Python đi kèm với khoảng 100 mã hóa khác nhau; Xem tham chiếu thư viện Python tại các mã hóa tiêu chuẩn để biết danh sách. Một số mã hóa có nhiều tên; Ví dụ:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

21,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

22 và

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

23, đều là từ đồng nghĩa với cùng một mã hóa.Standard Encodings for a list. Some encodings have multiple names; for example,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

21,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

22 and

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

23’ are all synonyms for the same encoding.Standard Encodings for a list. Some encodings have multiple names; for example,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

21,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

22 and

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

23’ are all synonyms for the same encoding.

Các chuỗi unicode một ký tự cũng có thể được tạo với hàm tích hợp

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

24, lấy số nguyên và trả về một chuỗi unicode có độ dài 1 có chứa điểm mã tương ứng. Hoạt động ngược là hàm

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

25 tích hợp có chuỗi Unicode một ký tự và trả về giá trị điểm mã:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

4

Chuyển đổi sang byte¶

Phương pháp ngược lại của

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

26 là

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

27, trả về biểu diễn

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

11 của chuỗi unicode, được mã hóa trong mã hóa được yêu cầu.

Tham số lỗi giống như tham số của phương thức

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

10 nhưng hỗ trợ một vài trình xử lý có thể hơn. Cũng như

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

13,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

18 và

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

15 (trong trường hợp này chèn một dấu hỏi thay vì ký tự không thể kiểm soát), cũng có

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

43 (chèn tham chiếu ký tự XML),

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

44 (chèn một chuỗi thoát ____75) và

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

47 Trình tự thoát).

Ví dụ sau đây cho thấy các kết quả khác nhau:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

5

Các thói quen cấp thấp để đăng ký và truy cập các mã hóa có sẵn được tìm thấy trong mô-đun

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

48. Việc thực hiện các mã hóa mới cũng đòi hỏi phải hiểu mô -đun

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

48. Tuy nhiên, các chức năng mã hóa và giải mã được trả về bởi mô-đun này thường ở mức thấp hơn so với thoải mái và viết mã hóa mới là một nhiệm vụ chuyên dụng, vì vậy mô-đun giành chiến thắng được đề cập trong howto này.

Unicode theo nghĩa đen trong mã nguồn Python

Trong mã nguồn Python, các điểm mã unicode cụ thể có thể được viết bằng chuỗi thoát

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

90, theo sau là bốn chữ số hex đưa ra điểm mã. Trình tự thoát

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

91 là tương tự nhau, nhưng mong đợi tám chữ số hex, không phải bốn:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

6

Sử dụng trình tự thoát cho các điểm mã lớn hơn 127 là tốt với liều nhỏ, nhưng trở thành một khó khăn nếu bạn sử dụng nhiều ký tự có dấu, như bạn sẽ làm trong một chương trình có tin nhắn bằng tiếng Pháp hoặc một số ngôn ngữ sử dụng giọng nói khác. Bạn cũng có thể lắp ráp các chuỗi bằng hàm tích hợp

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

24, nhưng điều này thậm chí còn tẻ nhạt hơn.

Lý tưởng nhất là bạn muốn có thể viết các chữ bằng ngôn ngữ của bạn. Sau đó, bạn có thể chỉnh sửa mã nguồn Python với trình soạn thảo yêu thích của bạn sẽ hiển thị các ký tự có dấu một cách tự nhiên và có các ký tự phù hợp được sử dụng trong thời gian chạy.

Python hỗ trợ viết mã nguồn trong UTF-8 theo mặc định, nhưng bạn có thể sử dụng hầu hết mọi mã hóa nếu bạn tuyên bố mã hóa được sử dụng. Điều này được thực hiện bằng cách bao gồm một nhận xét đặc biệt là dòng đầu tiên hoặc thứ hai của tệp nguồn:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

7

Cú pháp được lấy cảm hứng từ ký hiệu Emacs, để chỉ định các biến cục bộ vào tệp. Emacs hỗ trợ nhiều biến khác nhau, nhưng Python chỉ hỗ trợ ‘mã hóa. Các biểu tượng

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

93 chỉ ra cho Emac rằng nhận xét là đặc biệt; Họ không có ý nghĩa đối với Python nhưng là một quy ước. Python tìm kiếm

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

94 hoặc

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

95 trong bình luận.

Nếu bạn không bao gồm một nhận xét như vậy, mã hóa mặc định được sử dụng sẽ được UTF-8 như đã đề cập. Xem thêm PEP 263 để biết thêm thông tin.PEP 263 for more information.PEP 263 for more information.

Thuộc tính unicode

Thông số kỹ thuật Unicode bao gồm một cơ sở dữ liệu thông tin về các điểm mã. Đối với mỗi điểm mã được xác định, thông tin bao gồm tên ký tự, danh mục của nó, giá trị số nếu có (đối với các ký tự đại diện cho các khái niệm số như chữ số La Mã, các phân số như một phần ba và bốn phần năm, v.v.). Ngoài ra còn có các thuộc tính liên quan đến hiển thị, chẳng hạn như cách sử dụng điểm mã trong văn bản hai chiều.

Chương trình sau đây hiển thị một số thông tin về một số ký tự và in giá trị số của một ký tự cụ thể:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

8

Khi chạy, bản in này:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

9

Các mã danh mục là chữ viết tắt mô tả bản chất của nhân vật. Chúng được nhóm thành các danh mục như chữ cái, chữ số, số lượng, số lần, dấu chấm câu, hoặc biểu tượng của người Hồi giáo, từ đó được chia thành các tiểu thể loại. Để lấy các mã từ đầu ra ở trên,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

96 có nghĩa là ‘chữ cái, chữ thường,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

97 có nghĩa là số, số khác,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

98 là Mark Mark, không định vị, và

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

99 là biểu tượng, khác. Xem phần Giá trị danh mục chung của tài liệu cơ sở dữ liệu ký tự Unicode để biết danh sách các mã danh mục.

So sánh chuỗi

Unicode thêm một số biến chứng để so sánh các chuỗi, bởi vì cùng một tập hợp các ký tự có thể được biểu diễn bằng các chuỗi điểm mã khác nhau. Ví dụ: một chữ cái như 'Ê' có thể được biểu diễn dưới dạng một điểm mã U+00EA hoặc dưới dạng U+0065 U+0302, là điểm mã cho 'e' theo sau là điểm mã để 'kết hợp âm thanh chu vi' . Chúng sẽ tạo ra cùng một đầu ra khi được in, nhưng một là một chuỗi có độ dài 1 và một chuỗi còn lại có độ dài 2.

Một công cụ để so sánh không nhạy cảm trường hợp là phương thức chuỗi

zzz = u"foo"

30 chuyển đổi chuỗi thành dạng không nhạy cảm trường hợp theo thuật toán được mô tả bởi tiêu chuẩn Unicode. Thuật toán này có xử lý đặc biệt cho các ký tự như chữ cái tiếng Đức ‘ß, (điểm mã U+00DF), trở thành cặp chữ thường‘ ss.

zzz = u"foo"

0

Một công cụ thứ hai là hàm

zzz = u"foo"

31 ____ ____992 chuyển đổi chuỗi thành một trong một số dạng thông thường, trong đó các chữ cái theo sau là một ký tự kết hợp được thay thế bằng các ký tự đơn.

zzz = u"foo"

32 có thể được sử dụng để thực hiện các so sánh chuỗi giành được sự bất bình đẳng báo cáo sai nếu hai chuỗi sử dụng kết hợp các ký tự khác nhau:

zzz = u"foo"

1

Khi chạy, điều này xuất bản:

zzz = u"foo"

2

Đối số đầu tiên cho hàm

zzz = u"foo"

32 là một chuỗi đưa ra biểu mẫu chuẩn hóa mong muốn, có thể là một trong những ‘NFC,‘ NFKC, ‘NFD, và‘ NFKD.

Tiêu chuẩn Unicode cũng chỉ định cách so sánh Casless:

zzz = u"foo"

3

Điều này sẽ in

zzz = u"foo"

35. .

Unicode biểu thức chính quy

Các biểu thức thông thường được hỗ trợ bởi mô -đun

zzz = u"foo"

38 có thể được cung cấp dưới dạng byte hoặc chuỗi. Một số chuỗi ký tự đặc biệt như

zzz = u"foo"

39 và

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

00 có ý nghĩa khác nhau tùy thuộc vào việc mẫu được cung cấp là byte hay chuỗi. Ví dụ:

zzz = u"foo"

39 sẽ khớp với các ký tự

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

02 trong byte nhưng trong các chuỗi sẽ phù hợp với bất kỳ ký tự nào mà trong danh mục

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

03.

Chuỗi trong ví dụ này có số 57 được viết bằng cả chữ số Thái Lan và tiếng Ả Rập:

zzz = u"foo"

4

Khi được thực hiện,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

04 sẽ khớp với các chữ số Thái Lan và in chúng ra. Nếu bạn cung cấp cờ

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

05 cho

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

06, thay vào đó,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

04 sẽ phù hợp với bộ con 57 57.

Tương tự,

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

00 phù hợp với nhiều ký tự Unicode nhưng chỉ

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

09 trong byte hoặc nếu

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

05 được cung cấp và

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

11 sẽ khớp với các ký tự Whitespace Unicode hoặc

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

12.

Người giới thiệu¶

Một số cuộc thảo luận thay thế tốt về hỗ trợ unicode của Python là:

Xử lý các tệp văn bản trong Python 3, bởi Nick Coghlan.
Unicode thực dụng, một bài thuyết trình PYCON 2012 của Ned Batchelder.

Loại

s.find(zzz.decode("utf-8"))

7 được mô tả trong tham chiếu thư viện Python ở loại chuỗi văn bản - str.Text Sequence Type — str.Text Sequence Type — str.

Tài liệu cho mô -đun

zzz = u"foo"

31.

Tài liệu cho mô -đun

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

48.

Marc-André Lemburg đã trình bày một bài thuyết trình có tựa đề là Py Python và Unicode, (slide PDF) tại Europython 2002. Các slide là một tổng quan tuyệt vời về thiết kế của các tính năng Unicode của Python 2 (trong đó loại chuỗi Unicode được gọi .

Đọc và viết dữ liệu Unicode

Khi bạn đã viết một số mã hoạt động với dữ liệu Unicode, vấn đề tiếp theo là đầu vào/đầu ra. Làm thế nào để bạn có được chuỗi Unicode vào chương trình của bạn và làm thế nào để bạn chuyển đổi Unicode thành một hình thức phù hợp để lưu trữ hoặc truyền?

Nó có thể là bạn có thể không cần phải làm bất cứ điều gì tùy thuộc vào nguồn đầu vào và điểm đến đầu ra của bạn; Bạn nên kiểm tra xem các thư viện được sử dụng trong ứng dụng của bạn hỗ trợ Unicode tự nhiên. Trình phân tích cú pháp XML thường trả về dữ liệu Unicode chẳng hạn. Nhiều cơ sở dữ liệu quan hệ cũng hỗ trợ các cột có giá trị Unicode và có thể trả về các giá trị Unicode từ truy vấn SQL.

Dữ liệu Unicode thường được chuyển đổi thành một mã hóa cụ thể trước khi nó được ghi vào đĩa hoặc gửi qua ổ cắm. Nó có thể tự mình thực hiện tất cả các công việc: mở một tệp, đọc một đối tượng byte 8 bit từ nó và chuyển đổi byte bằng

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

18. Tuy nhiên, phương pháp thủ công không được khuyến khích.

Một vấn đề là bản chất đa byte của mã hóa; Một ký tự Unicode có thể được biểu diễn bằng một số byte. Nếu bạn muốn đọc tệp bằng các khối có kích thước tùy ý (giả sử, 1024 hoặc 4096 byte), bạn cần viết mã xử lý lỗi để bắt trường hợp chỉ có một phần của byte mã hóa một ký tự unicode duy nhất được đọc ở cuối một khối. Một giải pháp sẽ là đọc toàn bộ tệp vào bộ nhớ và sau đó thực hiện giải mã, nhưng điều đó ngăn bạn làm việc với các tệp cực kỳ lớn; Nếu bạn cần đọc tệp 2 Gib, bạn cần 2 GIB RAM. (Thêm, thực sự, vì trong ít nhất một khoảnh khắc bạn cần phải có cả chuỗi được mã hóa và phiên bản Unicode của nó trong bộ nhớ.)

Giải pháp sẽ là sử dụng giao diện giải mã cấp thấp để bắt gặp trường hợp của các chuỗi mã hóa một phần. Công việc thực hiện điều này đã được thực hiện cho bạn: hàm

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

19 tích hợp có thể trả về một đối tượng giống như tệp giả định nội dung tệp trong một mã hóa được chỉ định và chấp nhận các tham số Unicode cho các phương thức như

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

20 và

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

21. Điều này hoạt động thông qua các tham số mã hóa và lỗi của ____ 119 được giải thích giống như trong

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

27 và

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

26.

Do đó, đọc Unicode từ một tệp rất đơn giản:

zzz = u"foo"

5

Nó cũng có thể mở các tệp ở chế độ cập nhật, cho phép cả đọc và viết:

zzz = u"foo"

6

Ký tự Unicode

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

25 được sử dụng làm nhãn hiệu thứ tự byte (BOM) và thường được viết là ký tự đầu tiên của một tệp để hỗ trợ tự động phát hiện đơn đặt hàng byte. Một số mã hóa, chẳng hạn như UTF-16, mong đợi một BOM sẽ có mặt khi bắt đầu một tập tin; Khi một mã hóa như vậy được sử dụng, BOM sẽ tự động được viết dưới dạng ký tự đầu tiên và sẽ được giảm âm thầm khi đọc tệp. Có các biến thể của các mã hóa này, chẳng hạn như ‘UTF-16-LE, và‘ UTF-16-BE cho các mã hóa Little-Endian và Big-Endian, chỉ định một thứ tự byte cụ thể và don don bỏ qua BOM.

Ở một số khu vực, cũng là quy ước để sử dụng một BOM BOM khi bắt đầu các tệp được mã hóa UTF-8; Tên này là sai lệch vì UTF-8 không phụ thuộc vào thứ tự byte. Dấu chỉ đơn giản là thông báo rằng tệp được mã hóa trong UTF-8. Để đọc các tệp như vậy, hãy sử dụng codec ‘UTF-8-SIG để tự động bỏ qua dấu nếu có.

Tên tệp Unicode

Hầu hết các hệ điều hành được sử dụng phổ biến ngày nay hỗ trợ các tên tệp có chứa các ký tự Unicode tùy ý. Thông thường điều này được thực hiện bằng cách chuyển đổi chuỗi unicode thành một số mã hóa khác nhau tùy thuộc vào hệ thống. Ngày nay, Python đang hội tụ sử dụng UTF-8: Python trên MacOS đã sử dụng UTF-8 cho một số phiên bản và Python 3.6 đã chuyển sang sử dụng UTF-8 trên Windows. Trên các hệ thống Unix, sẽ chỉ có mã hóa hệ thống tập tin. Nếu bạn đã đặt các biến môi trường

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

26 hoặc

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

27; Nếu bạn thiên đường, mã hóa mặc định lại là UTF-8.filesystem encoding. if you’ve set the

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

26 or

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

27 environment variables; if you haven’t, the default encoding is again UTF-8.filesystem encoding. if you’ve set the

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

26 or

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

27 environment variables; if you haven’t, the default encoding is again UTF-8.

Hàm

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

28 trả về mã hóa để sử dụng trên hệ thống hiện tại của bạn, trong trường hợp bạn muốn thực hiện mã hóa thủ công, nhưng ở đó không có nhiều lý do để bận tâm. Khi mở tệp để đọc hoặc viết, bạn thường chỉ có thể cung cấp chuỗi Unicode dưới dạng tên tệp và nó sẽ được tự động chuyển đổi sang mã hóa phù hợp với bạn:

zzz = u"foo"

7

Các chức năng trong mô -đun

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

29, chẳng hạn như

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

30 cũng sẽ chấp nhận tên tệp Unicode.

Hàm

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

31 trả về tên tệp, làm tăng sự cố: nó có nên trả về phiên bản unicode của tên tệp hay nó nên trả về byte chứa các phiên bản được mã hóa?

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

31 có thể thực hiện cả hai, tùy thuộc vào việc bạn cung cấp đường dẫn thư mục dưới dạng byte hay chuỗi unicode. Nếu bạn vượt qua chuỗi Unicode làm đường dẫn, tên tệp sẽ được giải mã bằng cách sử dụng mã hóa hệ thống tập tin và danh sách các chuỗi Unicode sẽ được trả về, trong khi đi qua đường dẫn byte sẽ trả về các tên tệp dưới dạng byte. Ví dụ: giả sử mã hóa hệ thống tập tin mặc định là UTF-8, chạy chương trình sau:filesystem encoding is UTF-8, running the following program:

zzz = u"foo"

8filesystem encoding is UTF-8, running the following program:

zzz = u"foo"

8

sẽ tạo ra đầu ra sau:

zzz = u"foo"

9

Danh sách đầu tiên chứa các tên tệp được mã hóa UTF-8 và danh sách thứ hai chứa các phiên bản Unicode.

Lưu ý rằng trong hầu hết các trường hợp, bạn nên chỉ có thể sử dụng Unicode với các API này. Các API byte chỉ nên được sử dụng trên các hệ thống nơi có thể có tên tệp không thể mã hóa; Đó là khá nhiều hệ thống UNIX bây giờ.

Mẹo để viết các chương trình nhận biết Unicode

Phần này cung cấp một số gợi ý về việc viết phần mềm liên quan đến Unicode.

Mẹo quan trọng nhất là:

Phần mềm chỉ nên hoạt động với các chuỗi Unicode bên trong, giải mã dữ liệu đầu vào càng sớm càng tốt và mã hóa đầu ra ở cuối.

Nếu bạn cố gắng viết các chức năng xử lý chấp nhận cả chuỗi unicode và byte, bạn sẽ thấy chương trình của mình dễ bị lỗi ở bất cứ nơi nào bạn kết hợp hai loại chuỗi khác nhau. Không có mã hóa hoặc giải mã tự động: Nếu bạn làm, ví dụ:

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

33, A

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

34 sẽ được nâng lên.

Khi sử dụng dữ liệu đến từ trình duyệt web hoặc một số nguồn không đáng tin cậy khác, một kỹ thuật phổ biến là kiểm tra các ký tự bất hợp pháp trong một chuỗi trước khi sử dụng chuỗi trong một dòng lệnh được tạo hoặc lưu trữ nó trong cơ sở dữ liệu. Nếu bạn làm điều này, hãy cẩn thận để kiểm tra chuỗi được giải mã, không phải là dữ liệu byte được mã hóa; Một số mã hóa có thể có các thuộc tính thú vị, chẳng hạn như không tương thích hoàn toàn hoặc không tương thích với ASCII. Điều này đặc biệt đúng nếu dữ liệu đầu vào cũng chỉ định mã hóa, vì kẻ tấn công sau đó có thể chọn một cách thông minh để ẩn văn bản độc hại trong byteStream được mã hóa.

Chuyển đổi giữa mã hóa tệp

Lớp

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

35 có thể chuyển đổi một cách minh bạch giữa các mã hóa, lấy một luồng trả về dữ liệu trong mã hóa số 1 và hoạt động như một luồng trả về dữ liệu trong mã hóa số 2.

Ví dụ: nếu bạn có một tệp đầu vào f mà Latin-1, bạn có thể kết thúc nó bằng

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

35 để trả về byte được mã hóa trong UTF-8:

zzz = unicode(zzz, encoding="latin1")

0

Các tệp trong một mã hóa không xác định

Bạn có thể làm gì nếu bạn cần thực hiện thay đổi cho một tệp, nhưng không biết mã hóa tệp? Nếu bạn biết mã hóa tương thích ASCII và chỉ muốn kiểm tra hoặc sửa đổi các phần ASCII, bạn có thể mở tệp bằng trình xử lý lỗi

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

37:

zzz = unicode(zzz, encoding="latin1")

1

Trình xử lý lỗi

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

37 sẽ giải mã bất kỳ byte không ASCII nào dưới dạng các điểm mã trong một phạm vi đặc biệt chạy từ U+DC80 đến U+DCFF. Các điểm mã này sau đó sẽ quay lại thành cùng một byte khi trình xử lý lỗi

s = 'jiā'
zzz = '\u0101'
s.find(zzz)

37 được sử dụng để mã hóa dữ liệu và ghi lại.

Người giới thiệu¶

Một phần của việc làm chủ Python 3 đầu vào/đầu ra, một cuộc nói chuyện PYCON 2010 của David Beazley, thảo luận về xử lý văn bản và xử lý dữ liệu nhị phân.

Các slide PDF cho bài thuyết trình của Marc-André Lemburg, Viết các ứng dụng nhận biết Unicode trong Python, thảo luận về các câu hỏi về mã hóa nhân vật cũng như cách quốc tế hóa và bản địa hóa một ứng dụng. Các slide này chỉ bao gồm Python 2.x.

Guts of Unicode trong Python là một cuộc nói chuyện của Pycon 2013 của Benjamin Peterson, thảo luận về đại diện Unicode nội bộ trong Python 3.3.

Sự nhìn nhận¶

Bản thảo ban đầu của tài liệu này được viết bởi Andrew Kuchling. Nó đã được sửa đổi thêm bởi Alexander Belopolsky, Georg Brandl, Andrew Kuchling và Ezio Melotti.

Cảm ơn những người sau đây đã lưu ý các lỗi hoặc đưa ra đề xuất về bài viết này: , Eryk Sun, Chad Whitacre, Graham Wideman.

Làm thế nào để tôi tìm thấy unicode của một nhân vật trong Python?

Trong Python, các hàm tích hợp tích hợp chr () và ord () được sử dụng để chuyển đổi giữa các điểm và ký tự mã Unicode. Một ký tự cũng có thể được biểu diễn bằng cách viết một điểm mã unicode thập lục phân với \ x, \ u hoặc \ u theo nghĩa đen của chuỗi.the built-in functions chr() and ord() are used to convert between Unicode code points and characters. A character can also be represented by writing a hexadecimal Unicode code point with \x , \u , or \U in a string literal.the built-in functions chr() and ord() are used to convert between Unicode code points and characters. A character can also be represented by writing a hexadecimal Unicode code point with \x , \u , or \U in a string literal.

Làm thế nào để bạn tìm thấy unicode của một nhân vật?

Làm thế nào để sử dụng máy dò ký tự Unicode...

Bước #1 sao chép và dán một tin nhắn văn bản vào hộp trống.....

Bước #2 Xác định các ký hiệu khác nhau trong thông báo SMS của bạn.....

Bước #3 Công cụ cũng tính toán số lượng ký tự trong văn bản và số phần của tin nhắn chia, do đó cho phép bạn kiểm soát sự kết hợp ..

Làm thế nào để bạn tìm thấy mã hóa của một chuỗi trong Python?

Phát hiện () bao bọc.Nó mã hóa các chuỗi và xử lý các ngoại lệ Unicodedecodeerror.Nó mong đợi một đối tượng byte do đó chuỗi được mã hóa trước khi cố gắng phát hiện mã hóa.. It encodes the strings and handles the UnicodeDecodeError exceptions. It expects a bytes object so therefore the string is encoded before trying to detect the encoding.. It encodes the strings and handles the UnicodeDecodeError exceptions. It expects a bytes object so therefore the string is encoded before trying to detect the encoding.

Làm thế nào bạn sẽ in tên unicode của từng ký tự của chuỗi trong Python?

Để in ký tự Unicode trong Python, chúng ta có thể sử dụng trình tự thoát \ u.Chúng ta có thể sử dụng trình tự thoát \ u để in ký tự Unicode trong Python.Chúng ta có thể chỉ định điểm mã với chuỗi này để hiển thị ký tự.use the \u escape sequence. We can use the \u escape sequence to print Unicode character in Python. We can specify the code point with this sequence to display the character.use the \u escape sequence. We can use the \u escape sequence to print Unicode character in Python. We can specify the code point with this sequence to display the character.

programming python Python unicode function Unicode Python Decode Python decode utf-8 python Import Unicode Python

Hướng dẫn python string unicode characters - chuỗi ký tự unicode python

Giới thiệu về Unicode¶

Định nghĩa¶

Mã hóa

Người giới thiệu¶

Python sườn Unicode Hỗ trợ Không

Loại chuỗi

Chuyển đổi sang byte¶

Unicode theo nghĩa đen trong mã nguồn Python

Thuộc tính unicode

So sánh chuỗi

Unicode biểu thức chính quy

Người giới thiệu¶

Đọc và viết dữ liệu Unicode

Tên tệp Unicode

Mẹo để viết các chương trình nhận biết Unicode

Chuyển đổi giữa mã hóa tệp

Các tệp trong một mã hóa không xác định

Người giới thiệu¶

Sự nhìn nhận¶

Làm thế nào để tôi tìm thấy unicode của một nhân vật trong Python?

Làm thế nào để bạn tìm thấy unicode của một nhân vật?

Làm thế nào để bạn tìm thấy mã hóa của một chuỗi trong Python?

Làm thế nào bạn sẽ in tên unicode của từng ký tự của chuỗi trong Python?

Bài Viết Liên Quan

Quảng Cáo

Có thể bạn quan tâm

Toplist được quan tâm

Quảng cáo

Xem Nhiều

Quảng cáo

Chúng tôi

Điều khoản

Trợ giúp

Mạng xã hội