Google excel повторяющиеся значения

При работе с данными в Google Таблицах рано или поздно вы столкнетесь с проблемой дублирования данных. Это могут быть повторяющиеся данные в одном столбце или повторяющиеся строки в наборе данных. Приложив немного условного форматирования, вы можете легко выделить дубликаты в Google Таблицах. После того, как вы их выделите, вы можете решить, сохранить их или удалить.

В этом уроке я покажу вам несколько простых способов выделить дубликаты в Google Таблицах .

Итак, приступим!

Выделите повторяющиеся ячейки в столбце

Наиболее распространенная ситуация — это когда у вас есть набор данных в столбце, и вы хотите быстро выделить дубликаты.

Например, предположим, что у вас есть набор данных, показанный ниже, где вы хотите выделить все имена, повторяющиеся в столбце A.

Ниже приведены шаги по выделению дубликатов в столбце:

Вышеупомянутые шаги выделят все ячейки с повторяющимися именами указанным цветом.

В условном форматировании замечательно то, что оно динамическое . Это означает, что если вы измените данные в любой из ячеек, форматирование обновится автоматически. Например, если вы удалите одно из имен, у которых есть дубликаты, выделение этого имени (в другой ячейке) исчезнет, ​​поскольку теперь оно стало уникальным.

Как это работает?

При использовании настраиваемой формулы в условном форматировании каждая ячейка проверяется по указанной формуле.

Если формула возвращает значение ИСТИНА для ячейки, она выделяется в указанном формате, а если она возвращает ЛОЖЬ, это не так.

В приведенном выше примере проверяется каждая ячейка, и если имя появляется в диапазоне более одного раза, для формулы СЧЁТЕСЛИ возвращается ИСТИНА, и ячейка выделяется. В остальном он остается без изменений.

Также обратите внимание, что я использовал диапазон $ A $ 2: $ A $ 10 (где перед алфавитом столбца и номером строки стоит знак доллара). Это действительно важно, так как гарантирует, что, когда формула переходит в следующую ячейку (в строке ниже), общий диапазон, который проверяется на количество имен, остается неизменным.

Если вы хотите удалить выделенные ячейки, вам необходимо удалить условное форматирование. Для этого выберите ячейки, к которым применено форматирование, щелкните параметр «Формат», щелкните «Условное форматирование» и удалите правило из панели, которая открывается справа.

Выделите повторяющиеся ячейки в нескольких столбцах

В приведенном выше примере у нас были все имена в одном столбце.

Но что, если имена находятся в нескольких столбцах (как показано ниже).

Вы по-прежнему можете использовать условное форматирование, чтобы выделить повторяющиеся имена (которые могут быть именем, которое встречается более одного раза во всех трех столбцах, вместе взятых.

Ниже приведены шаги по выделению дубликатов в нескольких столбцах:

Вышеупомянутые шаги будут выделять ячейку, если имя появляется более одного раза во всех трех выбранных столбцах вместе.

Как это работает?

Этот тоже работал последним.

В формуле СЧЁТЕСЛИ (COUNTIF) мы охватили все ячейки в трех столбцах. Таким образом, каждая ячейка в диапазоне проверяется с использованием указанной формулы и возвращает либо ИСТИНА, либо ЛОЖЬ.

Если есть имя, которое повторяется в любом из столбцов, оно будет выделено в указанном формате.

Опять же, обратите внимание, что я использовал диапазон $ A $ 2: $ C $ 10 (где перед алфавитом столбца и номером строки стоит знак доллара). Это действительно важно, так как гарантирует, что диапазон остается неизменным, в то время как условное форматирование проверяет количество имени в ячейке.

Выделите повторяющиеся строки / записи

Это немного сложно.

Предположим, у вас есть набор данных, как показано ниже, и вы хотите выделить все повторяющиеся записи.

В этом случае запись будет дубликатом, если она имеет точно такое же значение в каждой ячейке в строке (например, в строках 2 и 7 в приведенном выше примере).

Причина, по которой это немного сложно, заключается в том, что теперь вам не нужно проверять отдельные ячейки. Вы должны проверить всю строку и выделить только те строки, в которых повторяются все ячейки.

Но не волнуйтесь, это не так уж и сложно.

Ниже приведены шаги по выделению повторяющихся строк с использованием условного форматирования:

• Выберите набор данных (без заголовков)
• Выберите в меню опцию Формат.
• В появившихся параметрах щелкните Условное форматирование.
• Нажмите на опцию «Добавить другое правило».
• Щелкните раскрывающееся меню «Форматировать ячейки, если», а затем выберите параметр «Пользовательская формула есть».

• В поле ниже введите следующую формулу: =COUNTIF(ARRAYFORMULA($A$2:$A$10&$B$2:$B$10&$C$2:$C$10),$A2&$B2&$C2)>1

  

• В параметрах «Стиль форматирования» укажите форматирование, в котором вы хотите выделить повторяющиеся ячейки. По умолчанию он будет использовать зеленый цвет, но вы можете указать другие цвета, а также стили, такие как полужирный или курсив.
• Нажмите Готово

Вышеупомянутые шаги выделят все записи, которые повторяются в наборе данных (как показано ниже).

Как это работает?

Этот работает так же, как наш первый пример (где мы просто выделили ячейки в столбце, в котором были дубликаты).

Но поскольку есть целая строка, которую нам нужно сравнить со всеми другими строками, мы объединили содержимое всех строк и создали одну строку для каждой строки.

Следующая часть формулы создает массив строк, в котором объединено все содержимое ячеек в строке (выполняется конкатенация с использованием знака амперсанда).

ARRAYFORMULA ($ A $ 2: $ A $ 10 и $ B $ 2: $ B $ 10 и $ C $ 2: $ C $ 10)

Этот массив используется в формуле Countif, и используемое условие снова представляет собой объединенную строку, которая имеет все значения в строке. Это делается с использованием следующих критериев:

$ A2 и $ B2 и $ C2

Теперь это преобразовано в простую конструкцию типа столбца, в которой функция COUNTIF проверяет, сколько раз эта объединенная строка повторяется в созданном нами массиве строк.

В результате будут выделены все повторяющиеся записи.

Иногда может случиться так, что вы выполните все вышеперечисленные шаги и используете те же формулы, но Google Таблицы по-прежнему не выделяют дубликаты.

Вот несколько возможных причин, по которым вы можете проверить:

Лишние места в камерах

Есть ли лишние пробелы (начальные или конечные пробелы) в тексте в одной ячейке, а не в другой?

Поскольку мы ищем точное совпадение двух или более ячеек, которые будут считаться дубликатами, если в ячейках есть лишние пробелы, это приведет к несоответствию.

Поэтому, даже если вы видите дубликат, он может не выделиться.

Чтобы избавиться от этого, вы можете использовать функцию TRIM (и функцию CLEAN), чтобы избавиться от всех лишних пробелов.

Неправильная ссылка

В Google Таблицах есть три разных типа ссылок.

• Абсолютные ссылки (пример — $ A $ 1)
• Относительные ссылки (пример — A1)
• Смешанные ссылки (пример — A1 или A $ 1)

Если формула требует одного типа ссылки, а вы в конечном итоге используете другие, у вас, скорее всего, возникнет проблема.

Поэтому проверьте ссылки, чтобы убедиться, что Google Таблицы выделяют дубликаты должным образом.

Таким образом, вы можете выделить дубликаты в Google Таблицах с помощью условного форматирования.

Надеюсь, вы нашли этот урок полезным!

You can use one of three options to find duplicates: color, formulas, or add-ons.

Updated on September 16, 2022

What to Know

• Highlight a column. Select Format > Conditional Formatting. Select Custom formula is in the Format cells if menu.
• Then, enter =countif(A:A,A1)>1 (adjust the letters for the chosen column range). Choose a color in the Formatting Style section.
• Other methods: Use the UNIQUE formula or an add-on.

This article explains how to highlight duplicates in Google Sheets using three methods.

How to Find Duplicates in Google Sheets Columns

One way to identify duplicates is to highlight them with color. You can search by column for duplicates and automatically highlight them, either by filling the cells with color or changing the text color. 

1. Open the spreadsheet you want to analyze in Google Sheets.

2. Make sure the spreadsheet has data organized by columns and each column has a heading.

3. Highlight the column you want to search through.

4. Click Format > Conditional Formatting. The Conditional Formatting menu opens on the right.

5. Confirm the cell range is what you selected in Step 2.

6. In the Format cells if drop-down menu, select Custom formula is. A new field appears below it.

7. Enter the following formula in the new field, adjusting the letters for the column range you selected:

   =countif(A:A,A1)>1
   
   

8. In the Formatting style section, choose a fill color for the duplicate cells. In this example, we’ve chosen red.

   Alternatively, you could change the text color in the duplicate cells instead of filling it with a color. To do this, select the text color icon (the A in the menu bar) and choose your color.

9. Select Done to apply the conditional formatting. All duplicates should now have a red-filled cell.

Find Duplicates With Formulas

You can also use a formula to find the duplicate data in your spreadsheets. This method can work by column or by row and displays the duplicate data in a new column or sheet within your file.

Find Duplicates in Columns With a Formula

Finding duplicates in columns let you examine a single column of data to see if there is anything in that column that has been duplicated.

1. Open the spreadsheet you wish to analyze.

2. Click into an open cell in the same sheet (for example, the next empty column in the sheet).

3. In that empty cell, enter the following and then press Enter.

   =UNIQUE
   
   

   The formula feature is activated.

4. Select the column you want to find duplicates in by clicking the letter at the top of the column. The formula will automatically add the column range for you. Your formula will look something like this:

   =UNIQUE(C2:C25)
   
   

5. Type the closing parenthesis in the formula cell (or press Enter) to complete the formula.

6. The unique data is displayed in that column for you, starting in the cell where you entered the formula. 

Find Duplicate Rows Using a Formula

The method to find duplicate rows in your spreadsheet is similar, except the range of cells you select to analyze by the formula is different.

1. Open the spreadsheet you wish to analyze.

2. Click into an open cell in the same sheet (for example, the next empty column in the sheet).

3. In that empty cell, enter the following and then press Enter.

   =UNIQUE
   
   

   The formula feature is activated.

4. Select the rows you wish to analyze for duplicates.

5. Press Enter to complete the formula. The duplicate rows are displayed.

Find Duplicates With a Google Add-On

You can also use a Google add-on to find and highlight duplicates in Google Sheets. These add-ons will let you do more with your duplicates, such as identify and delete them; compare data across sheets; ignore header rows; automatically copying or moving unique data to another location; and more. 

If you need to address any of these situations or if your data set is more robust than three columns, download Remove Duplicates by Ablebits or a similar app that allows you to find and highlight your duplicate data, copy the duplicate data to another location, and clear duplicate values or delete duplicate rows.

FAQ

• How do I remove duplicates in Google Sheets?

  To remove duplicates in Google Sheets, open a spreadsheet and highlight a data range, then go to Data > Data Cleanup > Remove Duplicates.

• How do I compare different Google spreadsheets for duplicates?

  Install Ablebit’s Remove Duplicates add-on for Google Sheets and use the Compare Columns or Sheets tool. Go to Extensions > Remove Duplicates > Compare columns or sheets.

Thanks for letting us know!

Get the Latest Tech News Delivered Every Day

Subscribe

Повторяющиеся значения в Таблице Google

Часто необходимо найти повторяющиеся значения на текущей странице без вывода в
отдельный диапазон.

Для этого подойдет
условное форматирование. Возможно, оно покажется не совсем очевидным, но от этого не менее гибким и
полезным, чем в других редакторах.

Задача

Необходимо выделить цветом те ячейки, в которых значения повторяются более
одного раза.

Главное меню Таблицы — Формат — Условное форматирование …

Необходимо указать, что за контролем форматирования будет следить ваша
формула, и указать ее:

=AND(NOT(ISBLANK(A1)); COUNTIF($A$1:$F; "=" & A1) > 1)

Пояснения:

AND() — логическая сумма, которая «отсекает» пустые ячейки
NOT(ISBLANK(A1));
COUNTIF($A$1:$F; "=" & A1) > 1 — сравнивает в диапазоне
$A$1:$F количество значений равных A1 с единицей.
Эта формула вернет TRUE, если условие выполнится;

Почему TRUE? Условное форматирование сработает, если формула
вернула истину.

Пример

Задача, выделить цветом те ячейки, в которых значения повторяются более одного
раза. Если количество вхождений более 3, то назначить желтый цвет, если более
5, то цвет должен быть красным.

Подход будет несколько иным. Необходимо учитывать порядок, в котором
форматирование будет накладываться. Если программа будет выполнена на первом
условии, то остальные просто не будут проверены.

Главное меню Таблицы — Формат — Условное форматирование …

=COUNTIF($A$1:$F; "=" & A1) > 5
=COUNTIF($A$1:$F; "=" & A1) > 3
=COUNTIF($A$1:$F; "=" & A1) > 1

Пример Таблицы

Корректной выборки!

Из этой статьи вы узнаете, как удалить повторы данных в Google Sheets с помощью инструмента «Удалить повторы данных», функции UNIQUE, сводных таблиц, условного форматирования, сценария приложений Apps Script или надстроек.

Прежде всего, что такое дубликаты? И почему они — проблема? Повторы данных (или дублирующие записи, или дублирующие строки) — это случаи появления одной и той же записи в ваших данных более одного раза. Они представляют собой огромную проблем для любого аналитика данных. Очень важно найти и удалить их до начала анализа данных.

Представьте, что в вашей базе данных есть два экземпляра одной и той же клиентской транзакции на сумму $5 000. Когда вы обобщаете данные, вы можете подумать, что у вас есть доход от этого клиента в размере $10 000, в то время как на самом деле у вас есть только $5 000. Вы будете принимать решения на основе неверных данных. А мы все знаем, что это плохо для бизнеса.

Поэтому лучше всего, если вы будете бороться с ними в лоб. К счастью, их исправление не требует много сил, и это не очень энергозатратное занятие. В этом руководстве я покажу вам шесть различных методов поиска дубликатов в Google Sheets и удаления дубликатов в Google Sheets.

Рекомендации по очистке таблиц от повторяющихся ячеек (дубликатов)

В большинстве случаев я бы рекомендовал использовать инструмент «Удалить повторы данных», поскольку это быстрее и проще, чем другие методы. Тем не менее, вот краткое описание того, когда имеет смысл использовать различные методы:

Способ 1: Инструмент «Удалить повторы данных» — самый надежный и практичный метод удаления дубликатов.

Способ 2: Формулы. А) UNIQUE. Она отлично подходит для небольших, простых наборов данных или когда вам нужно удалить повторы данных внутри вложенной формулы.

Б) Формулы IF — надежный, но довольно старый подход. Их преимущество заключается в том, что вам придется испачкать руки в данных, чтобы увидеть повторы данных вблизи.

Способ 3: Сводные таблицы — отличный способ поиска дубликатов в Google Sheets. Сводные таблицы очень гибкие и быстрые в использовании, поэтому это отличный инструмент для использования, когда вы не уверены, есть ли у вас повторы данных, и проверяете свои данные.

Способ 4: Условное форматирование — отличный способ выделения дубликатов в Google Sheets.

Способ 5: сценарий приложений Apps Script полезен для разработчиков, которые хотят удалять повторы данных из таблиц как часть своих приложений, или для тех, кому нужно многократно и автоматически удалять повторы данных данных.

Способ 6: Дополнение дает больше возможностей для удаления дубликатов (например, создание свежей копии данных, выделение дублирующихся записей для просмотра и т.д.), поэтому это хороший вариант, если вам нужно разобраться в дубликатах. Однако это дополнение — платное, поэтому кажется ненужным, учитывая другие бесплатные инструменты в вашем распоряжении.

Способ 1: Как удалить повторы данных в Google Sheets с помощью инструмента «Удалить повторы»

Новая функция очень проста в использовании. Вы найдете эту функцию в меню: Данные > Удалить повторы данных

После того, как вы нажмете на кнопку «Удалить повторы данных», вы будете должны выбрать, в каком именно диапазоне ячеек искать повторы.

Затем повторы данных будут удалены, и вам будет представлен сводный отчет, в котором будет указано, сколько дубликатов было удалено

Способ 2: Как удалить повторы данных в Google Sheets с помощью формул

2.1. Формула UNIQUE()

Этот метод удаляет повторы данных в выбранном вами диапазоне данных.

При определении дубликатов учитываются все столбцы диапазона данных. Другими словами, он сравнивает каждую строку данных и удаляет все строки, которые дублируют друг друга (идентичными всем другим по всему ряду).

Это очень просто реализовать, поскольку для этого используется одна формула с одним аргументом — диапазон, который вы хотите очистить от дубликатов (де-дуплицировать)

=UNIQUE(A1:D11)

Вот пример функции UNIQUE в действии. Функция находится в ячейке F1 и ищет повторы данных в диапазоне данных A1:D11

Вы можете видеть, что в таблице справа стало меньше строк, потому что дублирующиеся строки были как бы отфильтрованы — в результате мы получили только уникальные значения.

2.2. Выделение дубликатов значений с помощью COUNTIF

Этот метод сначала выделяет повторы данных в вашем наборе данных.

Сначала создайте новый столбец рядом со столбцом данных, который вы хотите проверить на наличие дубликатов (например, номер счета).

Затем используйте эту формулу в ячейке B2, чтобы выделить повторы данных в столбце A:

=COUNTIF(A$2:A2;A2)>1

Обратите внимание, что диапазон — A$2:A2. Знак $ здесь ключевой, потому что он фиксирует диапазон в верхней части столбца. Иногда мы хотим зафиксировать ячейку, чтобы она не менялась при копировании формулы — для этого используется абсолютная адресация. Чтобы указать программе, что ссылку не нужно менять, используется абсолютная адресация — со знаком «$»:

Если данные в ячейке появляются в указанном диапазоне один раз и не повторяются — вернётся значение ЛОЖЬ. Если два раза и более — вернётся значение функции ИСТИНА.

Останется только выделить значения TRUE (повторы данных) и удалить их.

Примечание: если у вас большой набор данных с большим количеством дубликатов, то лучше всего превратить текст в столбце Duplicate в значения (Копировать > Вставить значения), затем отсортировать таблицу по этому столбцу, чтобы все повторы данных (TRUE) оказались в блоке в одной части набора данных, а затем удалить их одной большой группой. Это намного быстрее.

2.3. Как удалить повторы данных в Google Sheets с помощью формул IF

Именно так я впервые научился находить повторы данных и удалять их.

Это работает путем сортировки данных и сравнения соседних строк. Поначалу это довольно сложно, поскольку формулы немного запутаны. Однако, как только вы привыкнете, все становится просто, и это дает вам преимущество — вы сможете разобраться с данными. Вы увидите повторы данных вблизи и сможете выяснить, почему они возникают.

Это включает в себя использование формулы IF для проверки того, равно ли значение в текущей строке значению в предыдущей строке. Если они равны, то это дублирующая запись. Дублирующим записям присваивается значение 1, а уникальным (не дублирующим) — 0. Таким образом, вы можете легко подсчитать количество дубликатов (путем суммирования столбца).

Вот изображение, показывающее этот метод в действии. Формулы мы разберём чуть позже:

В данном примере для целей дублирования учитывается только первый столбец — номер счета.

Это означает, что если две строки имеют одинаковый номер счета, то они будут помечены как повторы данных, независимо от того, отличаются ли другие точки данных, например, дата.

Вы можете видеть, что номер счета-фактуры «196-X» в строке 4 был отмечен цифрой 1, чтобы указать, что это дублирующая строка. Если вы хотите рассмотреть больше столбцов или весь ряд, используйте один из других методов, описанных в этой статье.

Следующий шаг — выделение дублирующихся пар:

Это делается для того, чтобы вы могли сравнить уникальную запись и дублирующие записи бок о бок и исследовать, что происходит, прежде чем слепо удалять их.

Последний шаг — удаление дублирующихся строк.

Вот весь процесс, объясненный более подробно:

Шаг 1: Добавьте уникальный столбец

Этот шаг очень важен. Он позволяет сортировать данные по любому столбцу, а затем легко вернуться к исходному порядку. (Примечание: на скриншоте выше это не показано).

Шаг 2: Сортировка А-Я по тому столбцу, который является вашим «уникальным» столбцом

У вас есть номер счета-фактуры, который вы можете проверить на наличие дубликатов? Или номер ссылки на транзакцию? Или идентификатор студента? Определите столбец, который должен быть уникальным. Затем отсортируйте его от А до Я. Это отсортирует все совпадающие записи рядом друг с другом (поэтому дублирующие записи будут рядом с их уникальными аналогами).

Шаг 3: Вставьте два новых столбца справа от «уникального» столбца.

Примените цветовое кодирование, чтобы сообщить пользователям, что эти столбцы были добавлены и не являлись частью исходного набора данных.

Шаг 4: Определите дублирующиеся записи с помощью формулы IF

Основная формула для проверки дубликатов в столбце B выглядит следующим образом:

=IF(B3=B2;1;0)

Шаг 5: Выявление дублирующих группировок с помощью формул ИЛИ и ИЛИ

А затем формула в соседнем столбце, которая идентифицирует дублирующие группы (т.е. первую запись и последующие повторы данных):

=IF(OR(D3=1;D2=1);1;0) 

Шаг 6: Просмотр дубликатов записей

Этот шаг всегда стоит выполнять. Вы можете определить источник дубликатов. Возможно, все повторы данных относятся к определенной дате или клиенту, что можно устранить.

Шаг 7: Сохраните копии дублирующих формул для будущих справок (необязательно)

Если вы думаете, что, возможно, захотите использовать эти формулы снова, вы можете сохранить копии в строках над Листом, чтобы они были «живыми».

Шаг 8: Превратите повторы данных столбцов в значения

Выделите данные (состоящие из 0 и 1) в двух дублирующих столбцах.

Копировать > Вставить специальные > Вставить только значения

Шаг 9: Сортировка по повторяющимся столбцам для перемещения дубликатов

Переместите все повторы данных в нижнюю часть набора данных, чтобы их можно было легко удалить как единый непрерывный диапазон. Это намного быстрее, чем просто отфильтровать повторы данных и удалить их, особенно если набор данных большой.

Шаг 10: Отсортируйте набор данных по столбцу исходного порядка

Отсортируйте данные в исходном порядке, но теперь с удаленными дублирующимися строками.

Вкратце, этот метод:

• позволяет выделить повторы данных в Google Sheets;
• позволяет определить дублирующиеся группы в Google Sheets;
• сохраняет копии всех данных до тех пор, пока вы не будете готовы удалить строки;
• однако это довольно трудоемкая работа, связанная с хитрыми формулами;
• изменяет исходный набор данных (если вы не сделали копию).

2.4. Использование формул IF для нескольких столбцов

Это то же самое, что и метод выше, но применяется к нескольким столбцам. В этом случае вы хотите искать повторы данных в Google Sheets на основе двух (или более) столбцов. Возможно, номер счета-фактуры и идентификатор продукта.

Первое, что нужно сделать, — определить столбцы, которые вы хотите включить в рассмотрение дубликатов. На этот раз вставьте три новых столбца справа от последнего «уникального» столбца.

Используйте формулу сцепления всех «уникальных» столбцов, которые вы рассматриваете для выделения дубликатов:

=B2&C2

или вы также можете использовать формулу CONCATENATE (на этот раз включая больше столбцов):

=CONCATENATE(B2;C2;D2;E2)

Этот новый столбец состоит из всех «уникальных» столбцов, сложенных вместе. Теперь используйте способ 2.3 для удаления в этом новом «уникальном» столбце объединенных значений. Для выявления дубликатов и дублирующих групп пройдите те же 10 шагов, что и в способе 2.3.

Вот пример:

Способ 3: Как удалить повторы данных в Google Sheets с помощью сводных таблиц

Сводные таблицы чрезвычайно полезны для анализа данных. Это отличный инструмент для поиска дубликатов в Google Sheets. Они очень гибкие и быстрые в использовании, поэтому с них стоит начать, если вы не уверены, есть ли в ваших данных повторы данных.

Шаг 1. Выделите свой набор данных и создайте сводную таблицу (в меню «Данные»). Откроется новая вкладка с редактором сводных таблиц.

В разделе ROWS (строки) выберите тот столбец, который вы хотите проверить на наличие дубликатов (например, номер счета). Затем в VALUES (значения) выберите другой столбец (я часто использую один и тот же) и убедитесь, что он настроен на суммирование по функциям COUNT (СЧЁТ) или COUNTA (СЧЁТЗ) (если ваш столбец содержит текст), как показано ниже:

Выделение дубликатов в Google Sheets с помощью сводной таблицы будет выглядеть вот так:

Можно заметить, что повторы значений в ячейках имеют значение больше единицы. По этому показателю вы определяете повторы данных и действуете, исходя из ситуации. Как понимаете, данный метод подходит для тех людей, которые не хотят удалять все повторы, а изучить каждый конкретный случай в отдельности.

Способ 4: Как удалить повторы в Google Sheets с помощью условного форматирования

Этот метод состоит из двух шагов: 1) выделение дубликатов в Google Sheets и 2) удаление выделенных дубликатов (необязательно).

Шаг 1. Выберите набор данных и откройте боковую панель условного форматирования (в меню «Формат»). В разделе «Форматировать ячейки, если…» выберите пользовательскую формулу (последний вариант) и введите следующую формулу:

=COUNTIF($A$1:$A1;A1)>1

Эта формула проверяет наличие дубликатов в столбце A.

В результате к дублирующимся значениям применяется выделение:

Что если вы хотите применить выделение ко всей строке?

Нужно внести одно небольшое изменение в формулу (выделено красным), добавив знак $ перед конечным A:

=COUNTIF($A$1:$A1;$A1)>1

Теперь ваш результат будет выглядеть следующим образом: вся строка будет выделена:

Шаг 2. Это необязательный шаг для удаления дублирующихся строк. Добавьте фильтры к набору данных, а затем отсортируйте по цвету, чтобы собрать дублирующиеся строки вместе. Выделите блок дублирующихся строк и удалите его, вот и все дела.

Способ 5: Как удалить повторы данных в Google Sheets с помощью Apps Script

Создать небольшой файл сценария, который может удалять повторы данных строк из ваших наборов данных, относительно просто. Преимущество написания программы Apps Script в том, что вы можете запускать ее снова и снова, например, при каждом добавлении новых данных.

Образец программы-скрипта Apps: Как удалить повторы данных в Google Sheets

Эта программа удаляет повторы данных из набора данных в Листе 1. Она очень специфична для листа и диапазона данных, но ее легко создать и модифицировать.

Она работает следующим образом: (скриншот, код или видео)

• получите значения из диапазона данных в Sheet1, используя Apps Script;
• превратите строки массива в строки (блоки текста) для сравнения;
• отфильтруйте все дублирующиеся строки;
• проверьте, существует ли лист с дубликатами;
• если существует, удалите старые данные и вставьте новые дублированные данные;
• если такого листа не существует, создайте новый лист и вставьте в него новые дублированные данные;
• добавьте пользовательское меню для запуска из листа Google.

Таким образом, это очень специфично для данного случая использования, но при необходимости его можно легко адаптировать для различных наборов данных. Вот он в действии:

А вот код Apps Script для этой программы:

/**
* remove duplicate rows from Google Sheets data range
*/
function removeDupRows() {
  
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = ss.getSheetByName('Sheet1');
  
  // change the row number of your header row
  var startRow = 7;
  
  // get the data
  var range = sheet.getRange(startRow,1,sheet.getLastRow(),sheet.getLastColumn()).getValues();
  
  // remove duplicates with helper function
  var dedupRange = arrayUnique(range);
  Logger.log(dedupRange);
  
  // check if duplicate sheet exists already, if not create new one
  if (ss.getSheetByName('Sheet1 Duplicates Removed')) { 
    
    // case when dedup sheet already exists
    var dedupSheet = ss.getSheetByName('Sheet1 Duplicates Removed');
    var lastRow = Math.max(dedupSheet.getLastRow(),1);
    var lastColumn = Math.max(dedupSheet.getLastColumn(),1);
    
    // clear out any previous de-duplicate data
    dedupSheet.getRange(1,1,dedupSheet.getLastRow(),dedupSheet.getLastColumn()).clear();
    
    // replace with new de-duplicated data
    dedupSheet.getRange(1,1,dedupRange.length,sheet.getLastColumn()).setValues(dedupRange);
  }
  else {
    
    // case when there is no dedup sheet
    var dedupSheet = ss.insertSheet('Sheet1 Duplicates Removed',0);
    dedupSheet.getRange(1,1,dedupRange.length,dedupRange[0].length).setValues(dedupRange);
  }
  
  // make the de-duplicate sheet the active one
  dedupSheet.activate();
  
}

/** 
* helper function returns unique array
*/
function arrayUnique(arr) {
  
  var tmp = [];
  
  // filter out duplicates
  return arr.filter(function(item, index){
    
    // convert row arrays to strings for comparison
    var stringItem = item.toString(); 
    
    // push string items into temporary arrays
    tmp.push(stringItem);
    
    // only return the first occurrence of the strings
    return tmp.indexOf(stringItem) >= index;
    
  });
}

Кроме того, вы можете добавить пользовательское меню, чтобы запускать его из листа Google, а не из окна редактора сценариев:

/**
* add menu to run function from Sheet
*/
function onOpen() {
  var ui = SpreadsheetApp.getUi();
  ui.createMenu('Remove duplicates')
  .addItem('Highlight duplicate rows','highlightDupRows')
  .addItem('Remove duplicate rows','removeDupRows')
  .addToUi();
}

Чем этот метод лучше?

• возможно установка триггеров для запуска функции удаления дубликатов при определенных условиях (например, раз в день, при добавлении новых данных);
• можно улучшить контроль над выбором данных (т.е. какой лист, какой диапазон и т.д.);
• рассматривайте все столбцы или нет на предмет дубликатов;
• лучший контроль над выводом данных, чем в остальных методах

Я начал кодировать что-то в этом духе, но все усложняется, когда вы начинаете нагромождать все больше пользовательских опций. Довольно быстро я понял, что все, что я делаю, это изобретаю колесо, поскольку существует совершенно замечательное дополнение (см. способ 2).

Самое лучшее в Apps Script — это то, что он позволяет вам очень быстро создавать максимально жизнеспособные продукты, подходящие именно для вашей ситуации.

Как только вы освоите Apps Script, вам потребуется всего 15-30 минут, чтобы создать пользовательские сценарии, как, например, этот для удаления дубликатов в Google Sheets.

Способ 6: Как удалить повторы данных в Google Sheets с помощью надстроек

Дополнения или надстройки — это специализированные программы, которые вы добавляете в Google Sheets, чтобы получить дополнительную функциональность. Они разрабатываются сторонними разработчиками, но проходят проверку Google, прежде чем попасть в каталог надстроек.

Добавление надстроек в таблицу осуществляется через меню надстроек:

Как вы заметите, здесь много вариантов. Лучшая из них, которую я нашел, это надстройка Remove Duplicates Add-On от Ablebits, которая является первой на этом изображении:

Это платное дополнение, хотя вы можете использовать полную функциональность бесплатно в течение 30-дневного пробного периода.

Это дополнение выделяет повторы данных в Google Sheets, удаляет повторы данных в Google Sheets и даже может сравнивать два столбца для одного и того же значения.

Оно очень простое в использовании и очень удобно, если вы часто работаете с повторами данных или не уверены, где или почему в ваших данных есть повторы данных. Прежде чем удалить их, вы можете исследовать, в каких строках данных есть повторы данных, и посмотреть, можно ли выявить какие-либо проблемы.

Программа очень проста в использовании. У него много опций, например, нужно ли выделить повторы данных, удалить их, создать новую копию данных и т.д., поэтому я оставлю это на ваше усмотрение.

Вот GIF-изображение, показывающее шаги для выделения повторов в ячейках в вашем наборе данных:

Теперь вы знаете, как удалить повторы данных в Google Sheets с помощью шести различных методов, теперь можно идти и очищать свои таблицы от повторов!