使用位图BitSet针对手机号码进行去重200万以上的数据量

最新推荐文章于 2025-07-09 14:49:05 发布

原创

最新推荐文章于 2025-07-09 14:49:05 发布 · 1.5k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#位图 #BitSet #Java

本文介绍了如何利用Java的BitSet数据结构高效地处理200万以上的手机号码去重问题。通过将手机号码转化为int值存储在BitSet中，减少了内存消耗并提高了处理速度。手机号码根据前缀被分配到不同文件，再逐一处理并去重，最后将结果写入汇总文件。这种方法尤其适用于大量数据的去重操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

结果：去重200万手机号码大概10秒钟,30万手机号码大概2秒钟

号码首先格式是一行一个号码,如果直接进行比较去重,慢不说而且很耗费内存，使用BitSet位图进行去重就简单方便得多，主要是耗费内存比较小而且快，首先初始化一个300万位数的BitSet，他是将手机号码的作为一个int值放在相对应的位置上且标记已存在，如果下一次再放一个同样的手机号码到该位置就提示已存在了，这样就不会有重复，既然BitSet该手机号码在该位置不会重复的话，我们将不重复的手机号码同时写出到文件，但是假如手机号码17xxxxxxxxx，BitSet中存放的int，最大也存不了11位手机号，这样我们可以通过提前判断，将中国的手机号码分开存在不同的文件中13、14、15、16、17、18、19应该也就这些个文件中，再逐一从这几个文件放到BitSet中，不重复的写到一个汇总文件，重复的也放一个BitSet写到重复文件（还可以弄一个错误号码文件）这样就可以拿到最终去重之后的文件了

以下是代码部分（循环写300万个手机号码进去注意区分写13、14、15、16、17、18。。。然后直接main运行测试即可,代码中的位置是mac根路径,windows用盘符根路径）


import java.io.*;
import java.util.BitSet;

public class RepeatNumberUtils {
    public static void main(String[] args) throws Exception {
        //第一步，先把号码按照开头2位数分类
        //获取目标文件所在的目录
        File file = new File("/Users/fanghuaiming/services/all_2370000.txt");
        long l = System.currentTimeMillis();
        //创建文件
        File file13 = new File("/Users/fanghuaiming/services/31/" + l + "_13.txt");
        File file14 = new File("/Users/fanghuaiming/services/31/" + l + "_14.txt");
        File file15 = new File("/Users/fanghuaiming/services/31/" + l + "_15.txt");
        File file16 = new File("/Users/fanghuaiming/services/31/" + l + "_16.txt");
        File file17 = new File("/Users/fanghuaiming/services/31/" + l + "_17.txt");
        File file18 = new File("/Users/fanghuaiming/services/31/" + l + "_18.txt");
        File file19 = new File("/Users/fanghuaiming/services/31/" + l + "_19.txt");
        try {
            file13.createNewFile();
            file14.createNewFile();
            file15.createNewFile();
            file16.createNewFile();
            file17.createNewFile();
            file18.createNewFile();
            file19.createNewFile();
        } catch (IOException e) {
            e.printStackTrace();
        }
        try {
            //创建7个文件来存放第一次的选择
            BufferedWriter bufferedWriter13 = new BufferedWriter(new FileWriter(file13));
            BufferedWriter bufferedWriter14 = new BufferedWriter(new FileWriter(file14));
            BufferedWriter bufferedWriter15 = new BufferedWriter(new FileWriter(file15));
            BufferedWriter bufferedWriter16 = new BufferedWriter(new FileWriter(file16));
            BufferedWriter bufferedWriter17 = new BufferedWriter(new FileWriter(file17));
            BufferedWriter bufferedWriter18 = new BufferedWriter(new FileWriter(file18));
            BufferedWriter bufferedWriter19 = new BufferedWriter(new FileWriter(file19));
            //循环读取每个文件的每一行内容  也可以使用NIO一次读取整个文件的行
            BufferedReader bufferedReader = new BufferedReader(new FileReader(file));
            String line = "";
            while ((line = bufferedReader.readLine()) != null) {
                if(!line.equals("")){
                    String be