使用正则表达式从列表中删除重复的域

Question

我想使用PCRE获取URI的列表并提取它.

开始:

http://abcd.tld/products/widget1       
http://abcd.tld/products/widget2    
http://abcd.tld/products/review    
http://1234.tld/

完成:

http://abcd.tld/products/widget1
http://1234.tld/

任何想法,亲爱的StackOverflow成员？

Answer 1

你可以使用uniq这样的简单工具.

请参阅评论中的kobi示例:

grep -o "^[^/]*//[^/]*/" urls.txt | sort | uniq