用你喜欢的 sed 版本去除“智能”引号。
在排版学中,一对引号传统上是朝向彼此的。它们看起来像这样:
- “智能引号”
随着计算机在二十世纪中期的普及,这种朝向往往被放弃了。计算机的原始字符集没有太多的空间,所以在 ASCII 规范中,两个双引号和两个单引号被缩减为各一个是合理的。如今,通用的字符集是 Unicode,有足够的空间容纳许多花哨的引号和撇号,但许多人已经习惯了开头和结尾引号都只有一个字符的极简主义。此外,计算机实际上将不同种类的引号和撇号视为不同的字符。换句话说,对计算机来说,右双引号与左双引号或直引号是不同的。
用 sed 替换智能引号
计算机并不是打字机。当你按下键盘上的一个键时,你不是在按一个带有印章的控制杆。你只是按下一个按钮,向你的计算机发送一个信号,计算机将其解释为一个显示特定预定义字符的请求。这个请求取决于你的键盘映射。作为一个 Dvorak 打字员,我目睹了人们在发现我的键盘上的 “asdf” 在屏幕上产生 “aoeu” 时脸上的困惑。你也可能按了一些特殊的组合键来产生字符,如 ™ 或 ß 或 ≠,这甚至没有印在你的键盘上。
每个字母或字符,不管它是否印在你的键盘上,都有一个编码。字符编码可以用不同的方式表达,但对计算机来说,Unicode 序列 u2018 和 u2019 产生 ‘ 和 ’,而代码 u201c 和 u201d 产生 “ 和 ” 字符。知道这些“秘密”代码意味着你可以使用 sed 这样的命令以编程方式替换它们。任何版本的 sed 都可以,所以你可以使用 GNU sed 或 BSD sed,甚至是 Busybox sed。
下面是我使用的简单的 shell 脚本:
#!/bin/sh #GNUAll-PermissiveLicense SDQUO=$(echo-ne'\u2018\u2019') RDQUO=$(echo-ne'\u201C\u201D') $SED-i-e"s/[$SDQUO]/\'/g"-e"s/[$RDQUO]/\"/g""${1}"
将此脚本保存为 fixquotes.sh,然后创建一个包含智能引号的单独测试文件:
‘Singlequote’ “Doublequote”
运行该脚本,然后使用 cat 命令查看结果:
$sh./fixquotes.shtest.txt $cattest.txt 'Singlequote' "Doublequote"
安装 sed
如果你使用的是 Linux、BSD 或 macOS,那么你已经安装了 GNU 或 BSD 的 sed。这是原始 sed 命令的两个独特的重新实现,对于本文中的脚本来说,它们在功能上是一样的(不过并不是所有的脚本都是这样)。
在 Windows 上,你可以用 Chocolatey 安装 GNU sed。
转载请注明:IT运维空间 » 运维技术 » 用 Linux sed 命令替换智能引号
发表评论