当CSV文件中存在大量重复数据时,如何快速去重?除了导入数据库或编写代码外,还有更简便的方法。可直接利用支持CSV的工具自带的去重功能,操作简单高效,无需编程基础,几步即可完成数据清理,轻松实现重复项去除,提升处理效率,一起来了解具体操作方式。
1、 现有约20万条数据的CSV文件,第一列存在大量重复记录。
2、 用WPS打开CSV文件,点击菜单栏的数据选项。
3、 开启数据功能,点击删除重复项即可。
4、 点击后弹出窗口,选择需去重的两列,再点击删除重复项按钮即可。
5、 显示重复记录总数及去重后剩余的有效记录数量。
6、 删除后提示窗口弹出,确认返回。
7、 此时记录总数为80176条。
8、 总结:
9、 该方法简便快捷,能有效处理重复数据。
10、 用WPS打开CSV文件即可查看内容
11、 点击数据功能菜单选项
12、 进入数据功能菜单,选择并点击删除重复项选项。
13、 选中需删除的列,点击删除重复项按钮即可。
14、 删除完毕,点击确认返回即可。
评论
更多评论