python查找重复值的方法有哪些

K-seo • 2024-02-04 02:57 • 行业资讯 • 192 views

在Python中，查找列表中的重复值有多种方法，下面是一些常用的技术：

使用集合(Set)

集合（Set）是一个无序的不重复元素序列，可以使用集合来去除列表中的重复元素。

def find_duplicates_set(lst):
    return set([x for x in lst if lst.count(x) > 1])
示例用法
lst = [1, 2, 3, 4, 5, 6, 2, 3, 4]
duplicates = find_duplicates_set(lst)
print(duplicates)  输出：{2, 3, 4}

注意：这种方法会丢失元素的原始顺序，因为集合是无序的。

使用字典(Dictionary)

通过使用字典，我们可以保持元素的插入顺序，并找出重复的元素。

def find_duplicates_dict(lst):
    d = {}
    duplicates = []
    for item in lst:
        if item in d:
            if d[item] == 1:
                duplicates.append(item)
            d[item] += 1
        else:
            d[item] = 1
    return duplicates
示例用法
lst = [1, 2, 3, 4, 5, 6, 2, 3, 4]
duplicates = find_duplicates_dict(lst)
print(duplicates)  输出：[2, 3, 4]

使用列表推导式(List Comprehension)

利用列表推导式和enumerate函数，可以简洁地找到重复元素。

def find_duplicates_lc(lst):
    return [x for i, x in enumerate(lst) if lst.index(x) != i]
示例用法
lst = [1, 2, 3, 4, 5, 6, 2, 3, 4]
duplicates = find_duplicates_lc(lst)
print(duplicates)  输出：[2, 3, 4]

注意：这个方法对于大型列表可能效率较低，因为index()方法每次都会遍历整个列表。

使用排序(Sorting)

先对列表进行排序，然后遍历一次列表以查找相邻的重复项。

def find_duplicates_sort(lst):
    sorted_lst = sorted(lst)
    duplicates = []
    for i in range(1, len(sorted_lst)):
        if sorted_lst[i] == sorted_lst[i-1]:
            duplicates.append(sorted_lst[i])
    return duplicates
示例用法
lst = [1, 2, 3, 4, 5, 6, 2, 3, 4]
duplicates = find_duplicates_sort(lst)
print(duplicates)  输出：[2, 3, 4]

使用标准库collections

Python的标准库collections提供了多种数据结构，其中Counter类可以用来轻松找到重复元素。

from collections import Counter
def find_duplicates_counter(lst):
    counter = Counter(lst)
    return [item for item in lst if counter[item] > 1]
示例用法
lst = [1, 2, 3, 4, 5, 6, 2, 3, 4]
duplicates = find_duplicates_counter(lst)
print(duplicates)  输出：[2, 3, 4, 2, 3, 4]

注意：这个方法返回的是所有重复的元素，包括它们的重复出现次数。