如果您要查找并计算重复项，可以使用

['/home/folder/image.JPG']

将组合计数保存在关联数组中，如果大于1，则打印计数

  

制表符分隔的文本文件

     

正在检查是否没有BookID和AuthorID值的重复

然后从@ piotr.wittchen回答这些列，如下所示：

  

最后一个BookID标题PublisherID AuthorID

很简单：

• 提取BookID的AuthorID列
• 排序
• 检查重复项

cut -f3,6 input_file.txt | sort | uniq -d

如果您需要整行，我们必须对字段进行重新排序，以使uniq能够吃到它们：

awk '{print $1,$2,$4,$5,$3,$6}' input_file.txt | sort -k5 -k6 | uniq -d -f4

如果要按初始顺序排列它们，则可以对行编号，获取重复的行，然后用行号对它们进行重新排序，然后删除行号，如下所示：

nl -w1 input_file.txt |
awk '{print $1,$6,$7}' input_file.txt | sort -k6 -k7 | uniq -d -f5 |
sort -k1 | cut -f2-

正如@Cyrus在评论中已经说过的那样，您的问题并不十分清楚，但是看起来很有趣，我试图理解它并提供一些假设的解决方案。

假设我们有以下 void run() override { ... clearVector(); emit progressChanged(id,tim.elapsed() + 100); } 文件：

records.txt

我们将删除行，这些行同时复制了First Last BookID Title PublisherID AuthorID James Joyce 37 Ulysses 344 1022 Ernest Hemingway 733 Old Man... 887 387 James Joyce 872 Dubliners 405 1022 Name1 Surname1 1 Title1 1 1 James Joyce 37 Ulysses 345 1022 Name1 Surname1 1 Title1 2 1 （第3列）和BookID（第6列）的值。我们假设AuthorID，First和Last也是相同的，我们不必考虑它，并且Title可以不同也可以相同（没关系）。记录在文件中的位置无关紧要（重复的行不必分组在一起）。

牢记这些假设，以上提供的输入的预期输出如下：

PublisherID

删除了同一位作者与一位出版商的同一本书的重复记录。

这是我在Bash中解决此问题的方法

Ernest  Hemingway   733         Old Man...      887             387
James   Joyce       872         Dubliners       405             1022
James   Joyce       37          Ulysses         344             1022
Name1   Surname1    1           Title1          1               1

这可能不是最好的解决方案，但是它可行。

此致

自拍

这对于awk非常简单：

$ awk 'BEGIN { FS = "\t" }
       ($3,$6) in seen { printf("Line %d is a duplicate of line %d\n",NR,seen[$3,$6]); next }
       { seen[$3,$6] = NR }' input.tsv

它将每个bookid，authorid对保存在哈希表中，并警告该对是否已存在。