根据列值从 DataTable 中删除重复项的最佳方法

Question

我有一个 DataSet，其中只包含一个 Table，所以你可以说我正在使用这里的数据Table。

您在下面看到的代码有效，但我希望有最好和最有效的方法来执行任务，因为我在这里处理一些数据。

基本上，来自 Table 的数据稍后应该在数据库中，其中的主键 - 当然 - 必须是唯一的。

我使用的数据的主键位于名为 Computer Name 的列中。对于每个条目，我们还在另一列中有一个日期 date。

我编写了一个函数来搜索 Computer Name 列中的重复项，然后比较这些重复项的日期以删除除最新的以外的所有内容。

我写的函数是这样的：

private void mergeduplicate(DataSet importedData)
{
    Dictionary<String, List<DataRow>> systems = new Dictionary<String, List<DataRow>>();
    DataSet importedDataCopy = importedData.Copy();
    importedData.Tables[0].Clear();
    foreach (DataRow dr in importedDataCopy.Tables[0].Rows)
    {
        String systemName = dr["Computer Name"].ToString();
        if (!systems.ContainsKey(systemName)) 
        {
            systems.Add(systemName, new List<DataRow>());
        }
        systems[systemName].Add(dr);
    }


    foreach (KeyValuePair<String,List<DataRow>> entry in systems) {
        if (entry.Value.Count > 1) {
            int firstDataRowIndex = 0;
            int secondDataRowIndex = 1;
            while (entry.Value.Count > 1) {
                DateTime time1 = Validation.ConvertStringIntoDateTime(entry.Value[firstDataRowIndex]["date"].ToString());
                DateTime time2 = Validation.ConvertStringIntoDateTime(entry.Value[secondDataRowIndex]["date"].ToString());

                //delete older entry
                if (DateTime.Compare(time1,time2) >= 0) {
                    entry.Value.RemoveAt(firstDataRowIndex);
                } else {
                    entry.Value.RemoveAt(secondDataRowIndex);
                }
            }
        }
        importedData.Tables[0].ImportRow(entry.Value[0]);
    }
}

我的问题是，由于此代码有效 - 执行任务的最佳且 fastest/most 有效的方法是什么？

非常感谢您的回答！

Answer 1

可能不是最有效的方式，但您表示感谢任何答案

List<DataRow> toDelete =  dt.Rows.Cast<DataRow>()
                                .GroupBy(s => s["Computer Name"])
                                .SelectMany(grp => grp.OrderBy(x => x["date"])
                                .Skip(1)).ToList();
toDelete.ForEach(x => dt.Rows.Remove(x));

Answer 2

我认为这可以更有效地完成。您使用 DataSet importedDataCopy = importedData.Copy(); 复制数据集一次，然后再次将其复制到字典中，然后从字典中删除不需要的数据。我宁愿一次性删除不必要的信息。像这样的事情怎么样：

private void mergeduplicate(DataSet importedData)
{
    Dictionary<String, DataRow> systems = new Dictionary<String, DataRow>();
    int i = 0;

    while (i < importedData.Tables[0].Rows.Count)
    {
        DataRow dr = importedData.Tables[0].Rows[i];
        String systemName = dr["Computer Name"].ToString();
        if (!systems.ContainsKey(systemName)) 
        {
            systems.Add(systemName, dr);
        }
        else
        {
            // Existing date is the date in the dictionary.
            DateTime existing = Validation.ConvertStringIntoDateTime(systems[systemName]["date"].ToString());

            // Candidate date is the date of the current DataRow.
            DateTime candidate = Validation.ConvertStringIntoDateTime(dr["date"].ToString());

            // If the candidate date is greater than the existing date then replace the existing DataRow
            // with the candidate DataRow and delete the existing DataRow from the table.
            if (DateTime.Compare(existing, candidate) < 0) 
            {
                importedData.Tables[0].Rows.Remove(systems[systemName]);
                systems[systemName] = dr;
            }
            else
            {
                importedData.Tables[0].Rows.Remove(dr);
            }
        }
        i++;
    }
}

Answer 3

您可以尝试使用 CopyToDataTable，像这样：

importedData.Tables[0] = importedData.Tables[0].AsEnumerable()
       .GroupBy(r => new {CN = r["Computer Name"], Date = r["date"]})
       .Select(g => g.OrderBy(r => r["Date"]).(First())
       .CopyToDataTable();

根据列值从 DataTable 中删除重复项的最佳方法

Best way to remove duplicates from DataTable depending on column values

c#

linq

asp.net

datatable