leftso 90 0 2019-09-22 21:34:12

文章位置:左搜> 编程技术> 正文

前言

       作为开发人员,我们经常遇到必须处理数据库相关内容的情况; 通常,当客户端以excel工作表的形式向您发送其数据,并且在经过一些excel操作后将数据推送到数据库表时,便完成了该操作。 我也这么干过多次。

       这种方法面临的一个非常普遍的问题是,它有时可能会导致重复行,因为发送的数据,主要来自人力资源和财务等部门,而人们对数据标准化技术并不充分的了解[:-)]。

       本教程主要讲解怎么使用sql将某些重复字段的行删除,并且不使用临时表的方式。该方法测试过MySQL,sql server理论其他关系数据库通用的。

实际案例


我将使用Employee表,其中的列名称为id, name, department and email。
以下是用于生成测试数据的SQL脚本:
 
Create schema TestDB;

CREATE TABLE EMPLOYEE
(
    ID INT,
    NAME Varchar(100),
    DEPARTMENT INT,
    EMAIL Varchar(100)
);

INSERT INTO EMPLOYEE VALUES (1,'Anish',101,'anish@leftso.com');
INSERT INTO EMPLOYEE VALUES (2,'Lokesh',102,'lokesh@leftso.com');
INSERT INTO EMPLOYEE VALUES (3,'Rakesh',103,'rakesh@leftso.com');
INSERT INTO EMPLOYEE VALUES (4,'Yogesh',104,'yogesh@leftso.com');

-- 下面的是重复数据

INSERT INTO EMPLOYEE VALUES (5,'Anish',101,'anish@leftso.com');
INSERT INTO EMPLOYEE VALUES (6,'Lokesh',102,'lokesh@leftso.com');
查询表,数据如下图所示:
测试数据

重复数据SQL删除解决办法
DELETE e1 FROM EMPLOYEE e1, EMPLOYEE e2 WHERE e1.name = e2.name AND e1.id > e2.id;

执行结果如下图:
执行删除重复行
上面的sql查询将删除name字段重复的行,只有name唯一且ID字段最低的那些唯一行将被保留。 例如,ID为5和6的行将被删除,而ID为1和2的行将被保留。处理后查询结果如下图:
查看删除结果

如果要保留具有最新生成的ID值的行,则将where子句中的条件反转为e1.id <e2.id,如下所示:
DELETE e1 FROM EMPLOYEE e1, EMPLOYEE e2 WHERE e1.name = e2.name AND e1.id > e2.id;
如果要比较多个字段并添加适当的where子句。

注意:请始终首先对测试数据执行上述(或修改的)查询,以确保其产生预期的输出。