用于将HTML实体转换为字符的Bash脚本

Question

我正在寻找一种方法来解决这个问题:

hello < world

对此:

hello < world

我可以使用sed,但如何在不使用神秘的正则表达式的情况下实现这一目标？

Answer 1

尝试重新编码(存档页面 ; GitHub镜像 ; Debian页面):

$ echo '<' |recode html..ascii
<

在Linux和类似的Unix-y系统上安装:

$ sudo apt-get install recode

在Mac OS上安装使用:

$ brew install recode

Answer 2

使用perl:

cat foo.html | perl -MHTML::Entities -pe 'decode_entities($_);'

使用命令行中的php:

cat foo.html | php -r 'while(($line=fgets(STDIN)) !== FALSE) echo html_entity_decode($line, ENT_QUOTES|ENT_HTML401);'

Answer 3

另一种方法是通过Web浏览器进行管道传输 - 例如:

echo '!' | w3m -dump -T text/html

这在cygwin中对我很有用,因为下载和安装发行版很困难.

这个答案在这里找到了

Answer 4

使用xmlstarlet:

echo 'hello < world' | xmlstarlet unesc

Answer 5

这个答案基于:在Bash中逃避HTML的简短方法？这适用于wget在Stack Exchange上获取答案(使用)并将HTML转换为常规ASCII字符:

sed 's/&nbsp;/ /g; s/&amp;/\&/g; s/&lt;/\</g; s/&gt;/\>/g; s/&quot;/\"/g; s/#&#39;/\'"'"'/g; s/&ldquo;/\"/g; s/&rdquo;/\"/g;'

编辑1: 2017年4月7日 - 添加了左双引号和右双引号转换.这是bash脚本的一部分,网络擦除SE答案并将它们与本地代码文件进行比较:询问Ubuntu - 本地文件之间的代码版本控制和Ask Ubuntu答案

编辑2017年6月26日

sed在Ask Ubuntu/Stack Exchange的1K行文件中使用~3秒将HTML转换为ASCII.因此我被迫使用Bash内置搜索并替换约1秒的响应时间.

这是功能:

#-------------------------------------------------------------------------------
LineOut=""      # Make global
HTMLtoText () {
    LineOut=$1  # Parm 1= Input line
    # Replace external command: Line=$(sed 's/&amp;/\&/g; s/&lt;/\</g; 
    # s/&gt;/\>/g; s/&quot;/\"/g; s/&#39;/\'"'"'/g; s/&ldquo;/\"/g; 
    # s/&rdquo;/\"/g;' <<< "$Line") -- With faster builtin commands.
    LineOut="${LineOut//&nbsp;/ }"
    LineOut="${LineOut//&amp;/&}"
    LineOut="${LineOut//&lt;/<}"
    LineOut="${LineOut//&gt;/>}"
    LineOut="${LineOut//&quot;/'"'}"
    LineOut="${LineOut//&#39;/"'"}"
    LineOut="${LineOut//&ldquo;/'"'}" # TODO: ASCII/ISO for opening quote
    LineOut="${LineOut//&rdquo;/'"'}" # TODO: ASCII/ISO for closing quote
} # HTMLtoText ()

Answer 6

python 3.2+版本：

cat foo.html | python3 -c 'import html, sys; [print(html.unescape(l), end="") for l in sys.stdin]'

Answer 7

在 macOS 上，您可以使用内置命令textutil（通常来说这是一个方便的实用程序）：

echo '👋 hello < world 🌐' | textutil -convert txt -format html -stdin -stdout

输出：

 hello < world