Убрать дубликаты в excel google

Google Таблицы постепенно становятся для многих выбором электронных таблиц. Легкость, с которой вы можете сотрудничать в Google Таблицах, намного превосходит все другие инструменты для работы с электронными таблицами.

Еще одна причина, по которой Google Таблицы так широко используются, связана с простотой использования. Команда, стоящая за ним, постоянно добавляет новые функции и возможности, которые упрощают и ускоряют работу.

В этом уроке я покажу вам несколько способов удаления дубликатов в Google Таблицах.

Удалите дубликаты с помощью инструмента «Удалить дубликаты»

Удаление дубликатов — это настолько обычное дело, что люди делают в Google Таблицах, что теперь есть специальная опция для быстрого удаления дубликатов записей.

Предположим, у вас есть набор данных, как показано ниже, и вы хотите удалить все повторяющиеся записи из этого набора данных.

Ниже приведены шаги по удалению дубликатов из набора данных в Google Таблицах:

Вышеупомянутые шаги мгновенно удалят все повторяющиеся записи из набора данных, и вы получите результат, как показано ниже.

Когда вы используете опцию «Удалить дубликаты», чтобы избавиться от повторяющихся записей, это не повлияет на данные вокруг них. Это означает, что при его использовании не удаляются строки и не удаляются ячейки. Он просто удаляет повторяющиеся записи из ячеек (без нарушения ячеек в наборе данных).

Удалите дубликаты с помощью УНИКАЛЬНОЙ функции

В Google Таблицах также есть функция, которую вы можете использовать для удаления повторяющихся значений и сохранения только уникальных значений.

Это УНИКАЛЬНАЯ функция.

Предположим, у вас есть набор данных, как показано ниже, и вы хотите удалить все повторяющиеся записи из этого набора данных:

Приведенная ниже формула удалит все повторяющиеся записи, и вы получите все уникальные:

= УНИКАЛЬНЫЙ (A2: B17)

Приведенная выше формула даст вам результат, начиная с ячейки, в которую вы ввели формулу.

Результатом является массив уникальных записей, и вы не можете удалить или изменить часть этого результата массива. Ничего не произойдет, если вы попытаетесь удалить какую-либо одну ячейку из результата. А если вы перезапишете какую-либо ячейку, весь результат исчезнет, ​​и вы увидите # ССЫЛКА! ошибка.

Одним из ограничений использования функции UNIQUE является то, что она будет рассматривать как дубликаты только те записи, где повторяется все содержимое строки. Если вы хотите сохранить только один экземпляр названия страны и удалить все остальные, UNIQUE сделает это только в том случае, если остальные значения столбца для этой записи также совпадают.

Если в ваших данных есть начальные, конечные или дополнительные пробелы, уникальная функция будет рассматривать записи как разные. В таком случае вы можете использовать следующую формулу:

= МассивФормула (УНИКАЛЬНО (ОБРЕЗАТЬ (A2: B17)))

Удалить дубликат с помощью надстройки

Google Таблицы, как правило, поддерживают огромную библиотеку различных надстроек, чтобы решить все мыслимые проблемы или проблемы.

Все надстройки для удаления дубликатов могут использоваться для одной и той же цели. В Выкрутить Дубликаты надстройка по AbleBits является одним из лучших дополнений для удаления повторяющихся записей из набора данных.

Чтобы использовать надстройку, вам сначала нужно добавить ее в свой документ Google Таблиц.

Ниже приведены шаги по добавлению надстройки в документ Google Таблиц:

Вышеупомянутые шаги добавят надстройку Remove Duplicate в ваш документ Google Sheets, и теперь вы можете начать ее использовать.

Ниже приведены шаги по использованию этого дополнения для удаления повторяющихся записей в Google Таблицах:

Вышеупомянутые шаги мгновенно удалят повторяющиеся записи, и у вас останутся только уникальные записи.

Поскольку в Google Таблицах уже есть способ быстрого удаления дубликатов с помощью встроенной функции, лучше использовать его, если это возможно. Единственная причина, по которой я бы рекомендовал использовать надстройку, — это когда вы хотите сделать гораздо больше, чем просто удалить дубликаты.

Это дополнение также может выполнять следующее:

• Раскрасьте повторяющиеся записи
• Добавьте столбец и укажите повторяющиеся записи
• Сравните столбцы или листы

Как разделить текст на столбцы, удалить дубликаты и убрать лишние пробелы

Как разделить данные на несколько столбцов

В Google Таблицах данные, разделенные каким-либо символом (например, запятой), можно распределить по столбцам. Так, столбец «Имя, Фамилия» можно разделить на два: «Имя» и «Фамилия».

1. Откройте файл в Google Таблицах на компьютере.
   • Если данные уже находятся на листе, выберите ячейки, которые нужно разделить.
   • Если данных ещё нет на листе, вставьте их.
2. В верхней части экрана нажмите Данные Разделить текст на столбцы.
3. Чтобы изменить символ, который используется для разделения данных, нажмите на раскрывающееся меню рядом с параметром «Разделитель».
4. Чтобы установить распределение столбцов после того, как вы разделите текст, нажмите на меню рядом с параметром «Разделитель» Определять автоматически.

Примечание. После вставки данных вы можете нажать на значок «Вставить форматирование» Разделить текст на столбцы.

Как удалить строки с повторяющимися данными

1. Откройте файл в Google Таблицах на компьютере.
2. Выберите диапазон данных, в котором нужно удалить дубликаты.
   • Ячейки с разными буквенными регистрами, форматами или формулами, но с идентичными данными считаются точными копиями.
3. В верхней части страницы нажмите Данные Очистка данных Удалить повторы.
4. Выберите, какие столбцы нужно включить, и укажите, есть ли у данных заголовки.
5. Нажмите Удалить дубликаты.

Примечание. Если вы выберете одну ячейку внутри диапазона, точные копии будут удалены из всего диапазона.

Как удалить лишние пробелы

1. Откройте файл в Google Таблицах на компьютере.
2. Выберите диапазон данных, в котором нужно убрать начальные, конечные или лишние пробелы.
3. В верхней части страницы нажмите Данные Очистка данных Удалить пробелы.

Примечание. Неразрывные пробелы ( ) удалены не будут.

Эта информация оказалась полезной?

Как можно улучшить эту статью?

Из этой статьи вы узнаете, как удалить повторы данных в Google Sheets с помощью инструмента «Удалить повторы данных», функции UNIQUE, сводных таблиц, условного форматирования, сценария приложений Apps Script или надстроек.

Прежде всего, что такое дубликаты? И почему они — проблема? Повторы данных (или дублирующие записи, или дублирующие строки) — это случаи появления одной и той же записи в ваших данных более одного раза. Они представляют собой огромную проблем для любого аналитика данных. Очень важно найти и удалить их до начала анализа данных.

Представьте, что в вашей базе данных есть два экземпляра одной и той же клиентской транзакции на сумму $5 000. Когда вы обобщаете данные, вы можете подумать, что у вас есть доход от этого клиента в размере $10 000, в то время как на самом деле у вас есть только $5 000. Вы будете принимать решения на основе неверных данных. А мы все знаем, что это плохо для бизнеса.

Поэтому лучше всего, если вы будете бороться с ними в лоб. К счастью, их исправление не требует много сил, и это не очень энергозатратное занятие. В этом руководстве я покажу вам шесть различных методов поиска дубликатов в Google Sheets и удаления дубликатов в Google Sheets.

Рекомендации по очистке таблиц от повторяющихся ячеек (дубликатов)

В большинстве случаев я бы рекомендовал использовать инструмент «Удалить повторы данных», поскольку это быстрее и проще, чем другие методы. Тем не менее, вот краткое описание того, когда имеет смысл использовать различные методы:

Способ 1: Инструмент «Удалить повторы данных» — самый надежный и практичный метод удаления дубликатов.

Способ 2: Формулы. А) UNIQUE. Она отлично подходит для небольших, простых наборов данных или когда вам нужно удалить повторы данных внутри вложенной формулы.

Б) Формулы IF — надежный, но довольно старый подход. Их преимущество заключается в том, что вам придется испачкать руки в данных, чтобы увидеть повторы данных вблизи.

Способ 3: Сводные таблицы — отличный способ поиска дубликатов в Google Sheets. Сводные таблицы очень гибкие и быстрые в использовании, поэтому это отличный инструмент для использования, когда вы не уверены, есть ли у вас повторы данных, и проверяете свои данные.

Способ 4: Условное форматирование — отличный способ выделения дубликатов в Google Sheets.

Способ 5: сценарий приложений Apps Script полезен для разработчиков, которые хотят удалять повторы данных из таблиц как часть своих приложений, или для тех, кому нужно многократно и автоматически удалять повторы данных данных.

Способ 6: Дополнение дает больше возможностей для удаления дубликатов (например, создание свежей копии данных, выделение дублирующихся записей для просмотра и т.д.), поэтому это хороший вариант, если вам нужно разобраться в дубликатах. Однако это дополнение — платное, поэтому кажется ненужным, учитывая другие бесплатные инструменты в вашем распоряжении.

Способ 1: Как удалить повторы данных в Google Sheets с помощью инструмента «Удалить повторы»

Новая функция очень проста в использовании. Вы найдете эту функцию в меню: Данные > Удалить повторы данных

После того, как вы нажмете на кнопку «Удалить повторы данных», вы будете должны выбрать, в каком именно диапазоне ячеек искать повторы.

Затем повторы данных будут удалены, и вам будет представлен сводный отчет, в котором будет указано, сколько дубликатов было удалено

Способ 2: Как удалить повторы данных в Google Sheets с помощью формул

2.1. Формула UNIQUE()

Этот метод удаляет повторы данных в выбранном вами диапазоне данных.

При определении дубликатов учитываются все столбцы диапазона данных. Другими словами, он сравнивает каждую строку данных и удаляет все строки, которые дублируют друг друга (идентичными всем другим по всему ряду).

Это очень просто реализовать, поскольку для этого используется одна формула с одним аргументом — диапазон, который вы хотите очистить от дубликатов (де-дуплицировать)

=UNIQUE(A1:D11)

Вот пример функции UNIQUE в действии. Функция находится в ячейке F1 и ищет повторы данных в диапазоне данных A1:D11

Вы можете видеть, что в таблице справа стало меньше строк, потому что дублирующиеся строки были как бы отфильтрованы — в результате мы получили только уникальные значения.

2.2. Выделение дубликатов значений с помощью COUNTIF

Этот метод сначала выделяет повторы данных в вашем наборе данных.

Сначала создайте новый столбец рядом со столбцом данных, который вы хотите проверить на наличие дубликатов (например, номер счета).

Затем используйте эту формулу в ячейке B2, чтобы выделить повторы данных в столбце A:

=COUNTIF(A$2:A2;A2)>1

Обратите внимание, что диапазон — A$2:A2. Знак $ здесь ключевой, потому что он фиксирует диапазон в верхней части столбца. Иногда мы хотим зафиксировать ячейку, чтобы она не менялась при копировании формулы — для этого используется абсолютная адресация. Чтобы указать программе, что ссылку не нужно менять, используется абсолютная адресация — со знаком «$»:

Если данные в ячейке появляются в указанном диапазоне один раз и не повторяются — вернётся значение ЛОЖЬ. Если два раза и более — вернётся значение функции ИСТИНА.

Останется только выделить значения TRUE (повторы данных) и удалить их.

Примечание: если у вас большой набор данных с большим количеством дубликатов, то лучше всего превратить текст в столбце Duplicate в значения (Копировать > Вставить значения), затем отсортировать таблицу по этому столбцу, чтобы все повторы данных (TRUE) оказались в блоке в одной части набора данных, а затем удалить их одной большой группой. Это намного быстрее.

2.3. Как удалить повторы данных в Google Sheets с помощью формул IF

Именно так я впервые научился находить повторы данных и удалять их.

Это работает путем сортировки данных и сравнения соседних строк. Поначалу это довольно сложно, поскольку формулы немного запутаны. Однако, как только вы привыкнете, все становится просто, и это дает вам преимущество — вы сможете разобраться с данными. Вы увидите повторы данных вблизи и сможете выяснить, почему они возникают.

Это включает в себя использование формулы IF для проверки того, равно ли значение в текущей строке значению в предыдущей строке. Если они равны, то это дублирующая запись. Дублирующим записям присваивается значение 1, а уникальным (не дублирующим) — 0. Таким образом, вы можете легко подсчитать количество дубликатов (путем суммирования столбца).

Вот изображение, показывающее этот метод в действии. Формулы мы разберём чуть позже:

В данном примере для целей дублирования учитывается только первый столбец — номер счета.

Это означает, что если две строки имеют одинаковый номер счета, то они будут помечены как повторы данных, независимо от того, отличаются ли другие точки данных, например, дата.

Вы можете видеть, что номер счета-фактуры «196-X» в строке 4 был отмечен цифрой 1, чтобы указать, что это дублирующая строка. Если вы хотите рассмотреть больше столбцов или весь ряд, используйте один из других методов, описанных в этой статье.

Следующий шаг — выделение дублирующихся пар:

Это делается для того, чтобы вы могли сравнить уникальную запись и дублирующие записи бок о бок и исследовать, что происходит, прежде чем слепо удалять их.

Последний шаг — удаление дублирующихся строк.

Вот весь процесс, объясненный более подробно:

Шаг 1: Добавьте уникальный столбец

Этот шаг очень важен. Он позволяет сортировать данные по любому столбцу, а затем легко вернуться к исходному порядку. (Примечание: на скриншоте выше это не показано).

Шаг 2: Сортировка А-Я по тому столбцу, который является вашим «уникальным» столбцом

У вас есть номер счета-фактуры, который вы можете проверить на наличие дубликатов? Или номер ссылки на транзакцию? Или идентификатор студента? Определите столбец, который должен быть уникальным. Затем отсортируйте его от А до Я. Это отсортирует все совпадающие записи рядом друг с другом (поэтому дублирующие записи будут рядом с их уникальными аналогами).

Шаг 3: Вставьте два новых столбца справа от «уникального» столбца.

Примените цветовое кодирование, чтобы сообщить пользователям, что эти столбцы были добавлены и не являлись частью исходного набора данных.

Шаг 4: Определите дублирующиеся записи с помощью формулы IF

Основная формула для проверки дубликатов в столбце B выглядит следующим образом:

=IF(B3=B2;1;0)

Шаг 5: Выявление дублирующих группировок с помощью формул ИЛИ и ИЛИ

А затем формула в соседнем столбце, которая идентифицирует дублирующие группы (т.е. первую запись и последующие повторы данных):

=IF(OR(D3=1;D2=1);1;0) 

Шаг 6: Просмотр дубликатов записей

Этот шаг всегда стоит выполнять. Вы можете определить источник дубликатов. Возможно, все повторы данных относятся к определенной дате или клиенту, что можно устранить.

Шаг 7: Сохраните копии дублирующих формул для будущих справок (необязательно)

Если вы думаете, что, возможно, захотите использовать эти формулы снова, вы можете сохранить копии в строках над Листом, чтобы они были «живыми».

Шаг 8: Превратите повторы данных столбцов в значения

Выделите данные (состоящие из 0 и 1) в двух дублирующих столбцах.

Копировать > Вставить специальные > Вставить только значения

Шаг 9: Сортировка по повторяющимся столбцам для перемещения дубликатов

Переместите все повторы данных в нижнюю часть набора данных, чтобы их можно было легко удалить как единый непрерывный диапазон. Это намного быстрее, чем просто отфильтровать повторы данных и удалить их, особенно если набор данных большой.

Шаг 10: Отсортируйте набор данных по столбцу исходного порядка

Отсортируйте данные в исходном порядке, но теперь с удаленными дублирующимися строками.

Вкратце, этот метод:

• позволяет выделить повторы данных в Google Sheets;
• позволяет определить дублирующиеся группы в Google Sheets;
• сохраняет копии всех данных до тех пор, пока вы не будете готовы удалить строки;
• однако это довольно трудоемкая работа, связанная с хитрыми формулами;
• изменяет исходный набор данных (если вы не сделали копию).

2.4. Использование формул IF для нескольких столбцов

Это то же самое, что и метод выше, но применяется к нескольким столбцам. В этом случае вы хотите искать повторы данных в Google Sheets на основе двух (или более) столбцов. Возможно, номер счета-фактуры и идентификатор продукта.

Первое, что нужно сделать, — определить столбцы, которые вы хотите включить в рассмотрение дубликатов. На этот раз вставьте три новых столбца справа от последнего «уникального» столбца.

Используйте формулу сцепления всех «уникальных» столбцов, которые вы рассматриваете для выделения дубликатов:

=B2&C2

или вы также можете использовать формулу CONCATENATE (на этот раз включая больше столбцов):

=CONCATENATE(B2;C2;D2;E2)

Этот новый столбец состоит из всех «уникальных» столбцов, сложенных вместе. Теперь используйте способ 2.3 для удаления в этом новом «уникальном» столбце объединенных значений. Для выявления дубликатов и дублирующих групп пройдите те же 10 шагов, что и в способе 2.3.

Вот пример:

Способ 3: Как удалить повторы данных в Google Sheets с помощью сводных таблиц

Сводные таблицы чрезвычайно полезны для анализа данных. Это отличный инструмент для поиска дубликатов в Google Sheets. Они очень гибкие и быстрые в использовании, поэтому с них стоит начать, если вы не уверены, есть ли в ваших данных повторы данных.

Шаг 1. Выделите свой набор данных и создайте сводную таблицу (в меню «Данные»). Откроется новая вкладка с редактором сводных таблиц.

В разделе ROWS (строки) выберите тот столбец, который вы хотите проверить на наличие дубликатов (например, номер счета). Затем в VALUES (значения) выберите другой столбец (я часто использую один и тот же) и убедитесь, что он настроен на суммирование по функциям COUNT (СЧЁТ) или COUNTA (СЧЁТЗ) (если ваш столбец содержит текст), как показано ниже:

Выделение дубликатов в Google Sheets с помощью сводной таблицы будет выглядеть вот так:

Можно заметить, что повторы значений в ячейках имеют значение больше единицы. По этому показателю вы определяете повторы данных и действуете, исходя из ситуации. Как понимаете, данный метод подходит для тех людей, которые не хотят удалять все повторы, а изучить каждый конкретный случай в отдельности.

Способ 4: Как удалить повторы в Google Sheets с помощью условного форматирования

Этот метод состоит из двух шагов: 1) выделение дубликатов в Google Sheets и 2) удаление выделенных дубликатов (необязательно).

Шаг 1. Выберите набор данных и откройте боковую панель условного форматирования (в меню «Формат»). В разделе «Форматировать ячейки, если…» выберите пользовательскую формулу (последний вариант) и введите следующую формулу:

=COUNTIF($A$1:$A1;A1)>1

Эта формула проверяет наличие дубликатов в столбце A.

В результате к дублирующимся значениям применяется выделение:

Что если вы хотите применить выделение ко всей строке?

Нужно внести одно небольшое изменение в формулу (выделено красным), добавив знак $ перед конечным A:

=COUNTIF($A$1:$A1;$A1)>1

Теперь ваш результат будет выглядеть следующим образом: вся строка будет выделена:

Шаг 2. Это необязательный шаг для удаления дублирующихся строк. Добавьте фильтры к набору данных, а затем отсортируйте по цвету, чтобы собрать дублирующиеся строки вместе. Выделите блок дублирующихся строк и удалите его, вот и все дела.

Способ 5: Как удалить повторы данных в Google Sheets с помощью Apps Script

Создать небольшой файл сценария, который может удалять повторы данных строк из ваших наборов данных, относительно просто. Преимущество написания программы Apps Script в том, что вы можете запускать ее снова и снова, например, при каждом добавлении новых данных.

Образец программы-скрипта Apps: Как удалить повторы данных в Google Sheets

Эта программа удаляет повторы данных из набора данных в Листе 1. Она очень специфична для листа и диапазона данных, но ее легко создать и модифицировать.

Она работает следующим образом: (скриншот, код или видео)

• получите значения из диапазона данных в Sheet1, используя Apps Script;
• превратите строки массива в строки (блоки текста) для сравнения;
• отфильтруйте все дублирующиеся строки;
• проверьте, существует ли лист с дубликатами;
• если существует, удалите старые данные и вставьте новые дублированные данные;
• если такого листа не существует, создайте новый лист и вставьте в него новые дублированные данные;
• добавьте пользовательское меню для запуска из листа Google.

Таким образом, это очень специфично для данного случая использования, но при необходимости его можно легко адаптировать для различных наборов данных. Вот он в действии:

А вот код Apps Script для этой программы:

/**
* remove duplicate rows from Google Sheets data range
*/
function removeDupRows() {
  
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = ss.getSheetByName('Sheet1');
  
  // change the row number of your header row
  var startRow = 7;
  
  // get the data
  var range = sheet.getRange(startRow,1,sheet.getLastRow(),sheet.getLastColumn()).getValues();
  
  // remove duplicates with helper function
  var dedupRange = arrayUnique(range);
  Logger.log(dedupRange);
  
  // check if duplicate sheet exists already, if not create new one
  if (ss.getSheetByName('Sheet1 Duplicates Removed')) { 
    
    // case when dedup sheet already exists
    var dedupSheet = ss.getSheetByName('Sheet1 Duplicates Removed');
    var lastRow = Math.max(dedupSheet.getLastRow(),1);
    var lastColumn = Math.max(dedupSheet.getLastColumn(),1);
    
    // clear out any previous de-duplicate data
    dedupSheet.getRange(1,1,dedupSheet.getLastRow(),dedupSheet.getLastColumn()).clear();
    
    // replace with new de-duplicated data
    dedupSheet.getRange(1,1,dedupRange.length,sheet.getLastColumn()).setValues(dedupRange);
  }
  else {
    
    // case when there is no dedup sheet
    var dedupSheet = ss.insertSheet('Sheet1 Duplicates Removed',0);
    dedupSheet.getRange(1,1,dedupRange.length,dedupRange[0].length).setValues(dedupRange);
  }
  
  // make the de-duplicate sheet the active one
  dedupSheet.activate();
  
}

/** 
* helper function returns unique array
*/
function arrayUnique(arr) {
  
  var tmp = [];
  
  // filter out duplicates
  return arr.filter(function(item, index){
    
    // convert row arrays to strings for comparison
    var stringItem = item.toString(); 
    
    // push string items into temporary arrays
    tmp.push(stringItem);
    
    // only return the first occurrence of the strings
    return tmp.indexOf(stringItem) >= index;
    
  });
}

Кроме того, вы можете добавить пользовательское меню, чтобы запускать его из листа Google, а не из окна редактора сценариев:

/**
* add menu to run function from Sheet
*/
function onOpen() {
  var ui = SpreadsheetApp.getUi();
  ui.createMenu('Remove duplicates')
  .addItem('Highlight duplicate rows','highlightDupRows')
  .addItem('Remove duplicate rows','removeDupRows')
  .addToUi();
}

Чем этот метод лучше?

• возможно установка триггеров для запуска функции удаления дубликатов при определенных условиях (например, раз в день, при добавлении новых данных);
• можно улучшить контроль над выбором данных (т.е. какой лист, какой диапазон и т.д.);
• рассматривайте все столбцы или нет на предмет дубликатов;
• лучший контроль над выводом данных, чем в остальных методах

Я начал кодировать что-то в этом духе, но все усложняется, когда вы начинаете нагромождать все больше пользовательских опций. Довольно быстро я понял, что все, что я делаю, это изобретаю колесо, поскольку существует совершенно замечательное дополнение (см. способ 2).

Самое лучшее в Apps Script — это то, что он позволяет вам очень быстро создавать максимально жизнеспособные продукты, подходящие именно для вашей ситуации.

Как только вы освоите Apps Script, вам потребуется всего 15-30 минут, чтобы создать пользовательские сценарии, как, например, этот для удаления дубликатов в Google Sheets.

Способ 6: Как удалить повторы данных в Google Sheets с помощью надстроек

Дополнения или надстройки — это специализированные программы, которые вы добавляете в Google Sheets, чтобы получить дополнительную функциональность. Они разрабатываются сторонними разработчиками, но проходят проверку Google, прежде чем попасть в каталог надстроек.

Добавление надстроек в таблицу осуществляется через меню надстроек:

Как вы заметите, здесь много вариантов. Лучшая из них, которую я нашел, это надстройка Remove Duplicates Add-On от Ablebits, которая является первой на этом изображении:

Это платное дополнение, хотя вы можете использовать полную функциональность бесплатно в течение 30-дневного пробного периода.

Это дополнение выделяет повторы данных в Google Sheets, удаляет повторы данных в Google Sheets и даже может сравнивать два столбца для одного и того же значения.

Оно очень простое в использовании и очень удобно, если вы часто работаете с повторами данных или не уверены, где или почему в ваших данных есть повторы данных. Прежде чем удалить их, вы можете исследовать, в каких строках данных есть повторы данных, и посмотреть, можно ли выявить какие-либо проблемы.

Программа очень проста в использовании. У него много опций, например, нужно ли выделить повторы данных, удалить их, создать новую копию данных и т.д., поэтому я оставлю это на ваше усмотрение.

Вот GIF-изображение, показывающее шаги для выделения повторов в ячейках в вашем наборе данных:

Теперь вы знаете, как удалить повторы данных в Google Sheets с помощью шести различных методов, теперь можно идти и очищать свои таблицы от повторов!

Google Sheets is a spreadsheet program included as part of the free, web-based Google Docs Editors suite offered by Google. It is available on Android, iOS, Microsoft Windows, BlackBerry OS, and as a desktop application on Google’s Chrome OS. 

And it is also compatible with Microsoft Excel. However, just like Excel, Google Sheets can get messed up sometimes. One of the most frustrating issues is that there are many duplicates in the Google Sheets. 

So, how to remove duplicates in Google Sheets? If you choose to find and remove them one by one, it will take a lot of your time. In this post, the MiniTool Partition Wizard provides some useful and high-efficiency methods for you to remove these duplicates.

Method 1. Use Remove Duplicates Feature

How to remove duplicates in Google Sheets? In addition to finding and removing duplicates one by one, you can also use the Remove duplicates feature to remove all the duplicate entries in your Google Sheets. Here’s the way: 

Step 1. Click on the Data tab on the top toolbar to open the drop-down menu. 

Step 2. Then move your mouse cursor to the Data cleanup feature and select the Remove duplicates feature from the menu. 

Step 3. Then check the box that you want to analyze under Columns to analyze.

Step 4. After that, click on Remove duplicates. 

Step 5. Once done, click OK to make a confirmation, and then you can successfully remove duplicates in your Google Sheets.

Method 2. Using Formulas to Remove Duplicates

Using Formulas is another effective way for removing duplicates. Here are two formulas you may use to do this task.

1. UNIQUE Formula

This formula compares each row of data and removes any duplicate rows. So, you can use it to delete duplicates in the range of data you select. The steps are as follows:

Step 1. Open your Google Sheets.

Step 2. Select a blank cell.

Step 3: Enter the formula =UNIQUE (A2:C23) to choose the cells you want.

Step 4. Press Enter on your keyboard or click the sheet. 

Step 5. Once done, you will have a second table with the duplicates removed.

2. COUNTIF Formula

COUNTIF is an Excel function to count cells in a range that meet a single condition. You can set the following rules to highlight duplicates in your dataset: 

• When a value shows up for the first time, the count will be 1, so the formula result will be FALSE. 
• When the value shows up a second time, the count will be 2, so the formula result will be TRUE. 

Here are the full steps below: 

Step 1. Open your Google Sheets.

Step 2. Create a new column next to the data column you want to check for duplicates. 

Step 3. Enter =COUNTIF (Range, Criteria)>1 in the top cell of the new column you created to highlight duplicates and then copy the formula down column C. In this example, the formula would be =COUNTIF(A$2:A2,A2)>1.

Step 4. After that, you can see many TRUE and many FALSE in the new column. 

Step 5. Next, you need to go to the Data tab and select Create a filter. 

Step 6. Once done, click the filter icon on the new column and uncheck TRUE. And then you can get the table that has hidden all the duplicates.

Method 3.  Using Conditional Formatting to Remove Duplicates

How to remove duplicates in Google Sheets? You can use this method to highlight your duplicates and then remove the highlighted duplicates. Here’s the guide: 

1. Open Google Sheets and choose your dataset. 
2. Go to Format and then Conditional formatting. 
3. Select Custom formula from the Format cells if And then enter the formula»=COUNTIF($A$2:$A2,A2)>1«.
4. Next, set your formatting style to highlight your duplicate data and click on the Done button.
5. Then select Create a filter from the Data tab.
6. Select the filter icon next to the header for the column you want to sort by color. 
7. Select Sort by color>Fill Color, and choose the fill color you want to appear on top. 
8. Select the duplicates block and press Delete. 

Method 4.  Using an Add-on

Google Sheets supports a massive library of various add-ons to take care of every conceivable issue or problem. So, you can add duplicate removal add-ons to Google Sheets to remove duplicates. You can do as follows:

Step 1. Open the Google Sheets document in which you want to remove the duplicates.

Step 2. Add the «Remove Duplicates» add-on to your Google Sheets.

1. Click Add-ons tab and select Get add-ons.
2. Search for «Remove Duplicate» in the field in the top-right of the Add-ons dialog box that opens.
3. Next, click on the «Remove Duplicate» add-on in the list.
4. Click on the blue INSTALL button.
5. Log in to your Gmail account and enter the credentials to confirm your account. And then click on the blue Allow button.
6. After that, you can add the Remove Duplicate add-on to your Google Sheets successfully.

Step 3. Select the dataset in which you have the duplicates that you want to remove.

Step 4. Click the Add-ons option in the menu and select the Remove Duplicates option. And then click on Find duplicate or unique rows.

Step 5. Remove the duplicates you don’t want. There are four steps you need to take:

1. Select the range that matches your table.
2. Select Duplicates.
3. Specify whether your data has a header or not and whether you want to skip empty cells or not.
4. Select the Delete rows within selection option.

Bottom Line

Have you already known how to remove duplicates in Google Sheets? This post provides four helpful methods for you to remove duplicates in Google Sheets. You can select the one you like to do it.

If you are interested in MiniTool Partition Wizard and want to know more about it, you can visit MiniTool Partition Wizard’s official website by clicking the hyperlink. MiniTool Partition Wizard is an all-in-one partition manager and can be used for data recovery and disk diagnosis.

You don’t need to dedupe line by line

What to Know

• Remove Duplicates: Select cell range/columns to search > Data > Data Cleanup > Remove Duplicates.
• UNIQUE function: Select first cell in column for unique returns > Insert > Function > Filter > Unique.
• Next: Select search range > press Enter > Sheets will create new column/table of unique entries.

This article explains how to find and remove duplicate entries in Google Sheets using built-in functions or third-party add-ons.

Find Duplicates in Google Sheets Using the Remove Duplicates Tool

Google Sheets includes a built-in tool that will search the sheet based on the criteria you provide.

When you use the Remove Duplicates tool, it’ll automatically remove the duplicates it finds. You won’t have the opportunity to view them first. If you prefer to review them before Google Sheets removes them, you may want to try highlighting duplicates in Google Sheets instead.

1. Open the spreadsheet in which you want to find and remove duplicate data.

2. Select the data range in which you’d like to remove duplicates.

   Cells with identical values, but different formatting, formulas, or letter cases are considered duplicates.

3. Select Data > Data Cleanup > Remove Duplicates. The Remove Duplicates dialog box will open showing the number of columns and rows selected.

4. Select the Data has header row checkbox if your spreadsheet includes a header row to prevent this row from being affected.

5. Choose the columns you want the tool to analyze by selecting the corresponding checkboxes. To analyze all columns, select the Select All checkbox.

   If you select a single cell within a range, duplicates will be removed for the whole range.

6. Select Remove Duplicates. The tool will analyze the data, and a box will appear showing how many duplicate rows Google Sheets found and removed.

Find Duplicates in Google Sheets Using the UNIQUE Function

The UNIQUE function in Google Sheets returns unique rows from the provided source range, discarding duplicates. The UNIQUE function returns rows in the order they first appear in the source range. Using this method, you are able to view and compare both sets of data before deleting the original duplicates.

Ensure numeric values are formatted in the same way, such as percentages or currency values.

1. Select the first cell in the column in which you want to unique rows returned.

2. Select Insert > Function.

3. Select Filter > Unique.

4. Enter or select the range you want to use as the argument for the function and press Enter.

5. Google Sheets will create a new column or table with only unique rows included.

   If returned rows appear to include duplicates, look for cells that have hidden text or other differences, such as trailing spaces.

Find and Remove Duplicates in Google Sheets Using an Add-on

Add-ons are tools created by third-party developers that improve or simplify your experience using Google Sheets. Add-ons are available that will find and remove duplicates from your spreadsheet in Google Sheets.

While no two add-ons are identical, many include similar features. Learn how to locate add-ons that find and remove duplicates in Google Sheets and how to decide which one best suits your needs.

1. Go to Google Sheets.

2. Select Add-ons > Get Add-ons. The Add-ons window will open with several suggested tools.

3. Type «remove duplicates« into the Search add-ons field and press Enter. A list of potential add-ons matching your search will appear.

4. Select an add-on you want to learn more about to open the description page. Scroll down to read reviews or scroll right and left to view screenshots and videos displaying the add-on in action.

5. Select Add.

   The Add button might have a price or the word «Free« on it.

6. Select or sign in to your Google account if prompted.

7. Select Allow to provide the requested permissions to the add-on.

8. Wait while the add-on is installed.

9. Select Add-ons to access and use the tool.

   Select Help in the add-on menu to get help using the tool you have downloaded.

Thanks for letting us know!

Get the Latest Tech News Delivered Every Day

Subscribe