如何使golang标准化具有多种编码方式的unicode字符串?
How to make golang standardize unicode strings that have multiple ways to be encoded?
可以用多种不同的方式对 unicode 字符进行编码。这在创建软件时很烦人。例如,下面的字符串可以用两个不同的符文序列编码:
νῦν: 957 965 834 957
νῦν: 957 8166 957
golang有没有可以标准化成一种编码方式的函数?我假设像将 965 834 混入 8166 之类的东西。
任何对此感兴趣的人的示例代码:
package main
import "fmt"
func main() {
//r1 := "νῦν"
//r2 := "νῦν"
r1 := []rune{957, 965, 834, 957}
r2 := []rune{957, 8166, 957}
fmt.Printf("%s %d: ", string(r1), len(r1))
for i := 0; i < len(r1); i++ {
fmt.Printf("%d ", r1[i])
}
fmt.Printf("\n")
fmt.Printf("%s %d: ", string(r2), len(r2))
for i := 0; i < len(r2); i++ {
fmt.Printf("%d ", r2[i])
}
fmt.Printf("\n")
}
可以使用golang.org/x/text/unicode/norm
包:
func fixUnicode(in string) string {
return norm.NFC.String(in)
}
可以用多种不同的方式对 unicode 字符进行编码。这在创建软件时很烦人。例如,下面的字符串可以用两个不同的符文序列编码:
νῦν: 957 965 834 957
νῦν: 957 8166 957
golang有没有可以标准化成一种编码方式的函数?我假设像将 965 834 混入 8166 之类的东西。
任何对此感兴趣的人的示例代码:
package main
import "fmt"
func main() {
//r1 := "νῦν"
//r2 := "νῦν"
r1 := []rune{957, 965, 834, 957}
r2 := []rune{957, 8166, 957}
fmt.Printf("%s %d: ", string(r1), len(r1))
for i := 0; i < len(r1); i++ {
fmt.Printf("%d ", r1[i])
}
fmt.Printf("\n")
fmt.Printf("%s %d: ", string(r2), len(r2))
for i := 0; i < len(r2); i++ {
fmt.Printf("%d ", r2[i])
}
fmt.Printf("\n")
}
可以使用golang.org/x/text/unicode/norm
包:
func fixUnicode(in string) string {
return norm.NFC.String(in)
}