查找并删除部分重复的行

Question

https://www.domain.com/files/G5SPNDOF/AAA-1080p.mp4.html
https://www.domain2.com/dl/G5SPNDOF/JHCGTS/AAA-1080p.mp4.html
https://www.domain.com/files/ZQWL80BG/AAA-1080p.mp4.html
https://www.domain.com/files/SVSRS0AD/BBB-1080p.mp4.html
https://www.domain.com/files/UCIONEMA/BBB-1080p.mp4.html

给定一个包含以上几行的文件，如何删除具有重复文件但总体链接不同的文件，最终得到：

https://www.domain.com/files/G5SPNDOF/AAA-1080p.mp4.html
https://www.domain.com/files/SVSRS0AD/BBB-1080p.mp4.html

Answer 1

使用 awk ：

awk -F'/' '!seen[$NF]++' file

您也可以使用排序来完成此操作。由于您的文件包含许多发生更改的字段，因此您需要首先反转它：

rev file | sort -u -t/ -k1,1 | rev