前端之家

  1. 首页
  2. 问答

删除重复的内容Java

• 问答

我收到了这段文字，我需要过滤掉这些重复的行和单词。 我不知道是否有比我正在做的更好的方法。

00:00:00,413|03:50:25,600|ISDB|>> FALAM QUE A GENTE COMBINA
00:00:00,600|ISDB|PERFEITAMENTE. EU
00:00:01,135|00:00:01,315|ISDB|>> FALAM QUE A GENTE COMBINA
00:00:01,315|ISDB|PERFEITAMENTE. EU PEDI REVISTAS
00:00:01,315|00:00:02,218|ISDB|PERFEITAMENTE. EU PEDI REVISTAS
00:00:01,218|ISDB|BOBAS PARA
00:00:02,218|00:00:02,398|ISDB|PERFEITAMENTE. EU PEDI REVISTAS
00:00:02,398|ISDB|BOBAS PARA AMIGOS
00:00:02,398|00:00:02,759|ISDB|PERFEITAMENTE. EU PEDI REVISTAS
00:00:02,759|ISDB|BOBAS PARA AMIGOS E AO
00:00:02,759|00:00:03,274|ISDB|PERFEITAMENTE. EU PEDI REVISTAS
00:00:02,274|ISDB|BOBAS PARA AMIGOS E AO INV?
00:00:03,274|00:00:04,357|ISDB|BOBAS PARA AMIGOS E AO INV?
00:00:03,357|ISDB|DISSO TROUXERAM ISSO A?
00:00:04,357|00:00:05,259|ISDB|BOBAS PARA AMIGOS E AO INV?
00:00:04,259|ISDB|DISSO TROUXERAM ISSO A? ELES
00:00:05,259|00:00:05,414|ISDB|DISSO TROUXERAM ISSO A? ELES
00:00:05,414|00:00:05,775|ISDB|DISSO TROUXERAM ISSO A? ELES
00:00:05,775|ISDB|COLOCARAM AS FOTOS
00:00:05,775|00:00:06,677|ISDB|DISSO TROUXERAM ISSO A? ELES
00:00:05,677|ISDB|COLOCARAM AS FOTOS COMO
00:00:06,677|00:00:06,858|ISDB|DISSO TROUXERAM ISSO A? ELES
00:00:06,858|ISDB|COLOCARAM AS FOTOS COMO PApel
00:00:06,858|03:50:32,400|ISDB|COLOCARAM AS FOTOS COMO PApel DE
00:00:06,400|ISDB|PAREDE,PARECE AT?QUE
00:00:07,914|00:00:07,916|ISDB|COLOCARAM AS FOTOS COMO PApel DE
00:00:07,916|ISDB|PAREDE,PARECE AT?QUE EU
00:00:07,914|00:00:08,997|ISDB|PAREDE,PARECE AT?QUE EU GOSTO
00:00:08,997|00:00:09,178|ISDB|PAREDE,PARECE AT?QUE EU GOSTO

我正在使用该代码，将这些行放入HashSet中，以免重复。

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.util.HashSet;
import java.util.Scanner;
import java.util.Set;
public class Testecc {
   public static void main(String args[]) throws Exception {
      String filePath = "C://teste//teste1.txt";
      String input = null;
      //Buffered reader
      BufferedReader br = new BufferedReader(new FileReader(filePath));
      while((input=br.readLine()) !=null){
                input=br.readLine();

      //FileWriter (criando arquivo)
      FileWriter writer = new FileWriter("C://teste//teste.txt");
      //hashset para elimitar duplicatas
      Set set = new HashSet();
      String line;
      //adicionando linhas no hashset
      while((line=br.readLine())!=null){
          String line1= line.substring(0,31);
          String line2=line.substring(31);
          System.out.println(line);
          if(set.add(line2)){

      writer.append(line1+line2+"\n");
          }
      }
      writer.flush();
      System.out.println("Pronto!");
   }
}
   }

这样，我删除了重复的行，如下所示：

00:00:01,274|ISDB|BOBAS PARA AMIGOS E AO INV�S
00:00:03,357|ISDB|DISSO TROUXERAM ISSO A�.
00:00:04,259|ISDB|DISSO TROUXERAM ISSO A�. ELES
00:00:05,PARECE AT� QUE
00:00:07,PARECE AT� QUE EU
00:00:07,PARECE AT� QUE EU GOSTO

但是我还需要删除重复的单词。

我真的没有主意。

我该怎么做？

zydx123 回答：删除重复的内容Java

有一个映射，其中包含按特定键分组的线值。键是一行的开头，从您感兴趣的单词开始，例如前5个字母。然后将这些线添加到地图中，如果该线长于先前找到的线，则将其替换。

try (BufferedReader br = new BufferedReader(new FileReader(filepath))) {

  final Map<String,String> map = new LinkedHashMap<>();

  br.lines().forEach(line -> {
        String message = line.substring(line.lastIndexOf("|") + 1);
        if (message.isEmpty()) {
          return;
        }
        String key = message.split(" ")[0];
        if (map.get(key) == null) {
          map.put(key,line);
        } else if (map.get(key).length() < line.length()) {
          map.remove(key);
          map.put(key,line);
        }
      }
  );

  map.forEach((k,v) -> System.out.println(v));
}

上面的代码将为您提供以下输出。

00:00:00,413|03:50:25,600|ISDB|>> FALAM QUE A GENTE COMBINA
00:00:01,135|00:00:01,315|ISDB|PERFEITAMENTE. EU PEDI REVISTAS
00:00:02,759|00:00:03,274|ISDB|BOBAS PARA AMIGOS E AO INV?
00:00:04,357|00:00:05,259|ISDB|DISSO TROUXERAM ISSO A? ELES
00:00:06,858|03:50:32,400|ISDB|COLOCARAM AS FOTOS COMO PAPEL DE
00:00:07,914|00:00:08,997|ISDB|PAREDE,PARECE AT?QUE EU GOSTO
,

您可以将每条日志行的最后一个管道后部分用作键，然后将每行插入到LinkedHashMap中，以删除重复项：

String filePath = "C:/log.txt";
BufferedReader br = new BufferedReader(new FileReader(filePath));
String input;
Map<String,String> logMap = new LinkedHashMap<>();
while ((input = br.readLine()) != null) {
    input = br.readLine();
    String key = input.replaceAll("^.*\\|","");
    logMap.put(key,input);
}

// Now print out the map minus duplicates
for (String line : logMap.values()) {
    System.out.println(line);
}

除了打印到控制台外，您还可以轻松地将过滤后的注销写到另一个文件中。请注意，此方法将保留每个重复项的 last 行。

bufferedreaderfilewriterhashsetjavajava.util.scanner
本文链接：https://www.f2er.com/2643724.html

大家都在问