Как избавить список от дубликатов

Чтобы удалить дубликаты из списка в Python, можно использовать несколько подходов:

1. Через set (подходит для неизменяемых типов данных, не сохраняет порядок):

unique_list = list(set(original_list))

2. Через dict.fromkeys() (сохраняет порядок, Python 3.6+):

unique_list = list(dict.fromkeys(original_list))

3. Через цикл (сохраняет порядок, универсальный):

unique_list = []
[unique_list.append(x) for x in original_list if x not in unique_list]

Для списков словарей или сложных объектов можно использовать:

import json
unique = {json.dumps(d, sort_keys=True): d for d in list_of_dicts}.values()