Data analysis usually involves large data sets, and at some point, one may need to find out the number of values that appear only once in the dataset. In this case, you will be counting without duplicates. Unique values are values that appear only once in a dataset.
If you are faced with mountains of data, then counting without duplicates might be very arduous. More so, Excel does not have a special formula for counting without duplicates. However, there is always a way out! This tutorial will serve as a guide on how to count unique and distinct values without duplicating them.
Take a look at the numbers in the table above; the unique values are not duplicated. They don’t appear more than once. Whereas, distinct values are the different numbers in the collection. In the table below, we have separated the unique values from distinct values.
1. Using the array COUNTIF formula
The COUNTIF function counts the frequency of occurrence of each value within the range. To get the number of the unique values, you have to sum them up. You can do this efficiently by combining SUM and COUNTIF functions. A combo of two functions can count unique values without duplication.
Below is the syntax:
=SUM(IF(COUNTIF(data, data)=1,1,0)).
The formula contains three separate functions – SUM, IF, and COUNTIF.
COUNTIF function» counts how many times a particular number appears within the range.
«IF function» analysis the results returned by the «COUNTIF» function. It maintains the 1’s for unique values and replaces other values with «0.»
Note: Always press Ctrl + Shift + Enter when entering your array formula.
CTRL+SHIFT+ENTER allow excel to recognize the formula as an array function. unique value= =SUM(IF(COUNTIF(A2:A10, A2:A10)=1,1,0))
Alternatively, you can use the SUMPRODUCT formula to avoid the use of CTRL+SHIFT+ENTER.
Below is the syntax:
=SUMPRODUCT(1/COUNTIF(range, criteria)).
In the example below, we have a list of items with duplicates.
If we use the SUM formula to count the total number of items, there will be duplicates. To exclude the duplicates, you have to follow these steps.
Step 1: Go to cell D1 and enter this formula “=SUMPRODUCT(1/COUNTIF( B1:B11,B1:B11)). B1:B11 is the array range you want to count the total number of unique values in the list.
Step 2: Press enter and the results will be displayed in cell D1. From the displayed results (6) we can see there are no duplicates.
The above formula counts the values of the six items A/B/C/D/E/F.
2. Using a combination of SUM, IF, FREQUENCY, MATCH, and ROW Function
If we want to count unique values that exclude all duplicates (that appear in more than one product), use the combination of these functions.
- The sum function allows you to add the values.
- For each true condition of IF function, assign value 1.
- The FREQUENCY function allows you to count the number of values ignoring texts and zeros. In the first occurrence of the distinct value, it returns an equal number to the number of occurrences of that value. It returns zero for the occurrences that have the same value after the first occurrence.
- The MATCH function returns the position of the text value in an array range. The return value acts as the function argument for FREQUENCY.
- The ROW function returns the row reference number.
Example: Enter the following formula to count unique values by excluding all duplicates
=SUM(IF(FREQUENCY(MATCH(B1:B11,B1:B11,0),ROW(B1:B11)-ROW(B1)+1)=1,1))
Press enter. The unique value is 3 (Item D/E/F).
3. Using ISNUMBER Function to count numeric numbers
The function we used earlier counts, both texts and numbers, without duplicating. To count only numerals without duplicating, you have to include ISNUMBER function in the formula for finding unique values.
=SUM(IF(ISNUMBER(A2:A10)*COUNTIF(A2:A10,A2:A10)=1,1,0))
Note: Always press Ctrl + Shift + Enter when entering your array formula.
Meanwhile, the lowdown in this function is that it also counts dates and times.
4. Using ISTEXT Function to count text values
You can count the number of texts without duplicating by including the ISTEXT function in the array formula as stated below:
=SUM(IF(ISTEXT(A2:A10)*COUNTIF(A2:A10,A2:A10)=1,1,0))
This formula will display the number of unique texts. It excludes errors, blank cells, logical numbers, numbers, etc.
Always press Ctrl + Shift + Enter when entering your array formula.
5. Using Pivot Table to count text values
Easies way to count the value is by creating the pivot table and using the Count of items
1. Create a pivot table
2. Use Count of Items
3. Output Table
6. Using A Filter
The Filter method is the simplest approach that allows you to remove duplicates and remain with unique values. You can, therefore, use two tricks to get unique values as discussed below.
6.1: Filtering for Unique Values
Steps:
1. Select and make sure the range of cells you want to make unique is in a table.
2. Click on Data then select the Advanced option in the soft & filter group.
3. When the Advanced Filter box pops up, you can filter the range of cells or tables by clicking on the Filer the List, in-place option.
4. You can also copy the result of the filter to another location by clicking on the Copy to another location option.
5. Enter a cell reference in the Copy To box.
6. Alternatively, you can click the Collapse Dialog option to hide the popup window temporarily, select a cell on the worksheet, and then click the Expand option.
7. Finish by checking the Unique Records Only and click OK.
6.2: Removing The Duplicates
The method only affects the values in the range of cells or tables and not values outside. After removing the duplicates, you will keep the first occurrence of the value in the list, while the identical values will be deleted. Therefore, remember to copy the original range of cells to the table to another worksheet before deleting duplicates.
Steps:
1. Start by selecting the active range of cells in a table.
2. Select the Data Tab and click Remove Duplicates in the Data Tools group.
3. You can select one or more columns under the Columns face. Alternatively, you can click Select All to select all columns quickly or Unselect All to clear all columns quickly.
4. Click OK and a message will pop up showing how many duplicates you have removed or how many unique values remain. To dismiss the message, click OK.
5. You can undo the change by clicking Undo or pressing Ctrl + Z
7. Using Amazing Excel Tools
Another simple way to count without duplicates in excel is tools like Kutools by the following steps.
1. Select a blank cell to output the result.
2. Click Kutools>Formula>Helper>Formula Helper.
3. Do the following steps in the formula helper dialog;
- Check and select Count unique values in the Choose a formula box. You can check the filter box and type some words to filter the formula names.
- Then choose the range in which you want to count unique values in the range box.
- Press the OK button.
8. Using A Data Model with A Pivot Table to Count Unique Values
The method applies to newer versions of Microsoft Excel, including Microsoft 365, Excel 2019, Excel 2016, and Excel 2013. To count unique values using this approach, follow these steps:
1. Select any cell in the data and click on the Insert tab in the ribbon.
2. Click on Pivot Table to open a dialogue box.
3. Select the Add this data to the Data Model at the bottom and click OK.
4. In the resulting window, drag the Name column into the Name field and the Profession column or any other in the dataset into the Values field.
5. Click on the small arrow next to the Count of Profession option in the Pivot Table fields.
6. Select the Value Field Settings at the bottom.
7. Finish by selecting the Distinct Count or Unique Count option and click OK.
8. You will have your unique values in the Pivot Table.
9. Using Power Pivot
Power Pivot is also another powerful method you can use to count unique values. However, you will need an enabled Power Pivot tab in your ribbon. That means if your Excel version does not have an already-enabled Power Pivot add-in, you will have to enable it first. Once you have enabled it, you can proceed with the following steps:
1. Go to the Data Model and select the Manage Button.
2. This will open a new blank window if it is your first time importing data.
3. Click on Home Tab and select the “Get External Data” option.
4. You will see various sources and options to upload data. Since you want to upload simple Excel, select the «From Other Sources» option.
5. Scroll down to the end of a new dialogue box opened, select “Excel File”, and click Next.
6. You will need to rename the connection created. For simplicity, you can rename it “Excel”. After that, click on “Browse” to choose an Excel file path.
7. You can click on the “Use the first row as column header” option to make the top column the header. Click on the Next Button to finish.
8. You will see the file imported to the Data Model. Click the Finish button.
9. After importing all the rows successfully, hit the Close Button.
10. With your new worksheet, you will have to create a Pivot Table by clicking on Home and then Pivot Table.
11. Click on the small triangle next to it to expand the columns. That is because you already have the data on the first sheet.
12. After dragging and dropping all the data in their respective fields, you will get a simple Pivot Table.
13. Go back to the Power Pivot window and select the Measure option to create a New Measure.
14. Add your desired description name by typing in the box and the suggestions will pop up automatically. Since you want to count unique values, select the Unique Count function.
15. Press the Tab button or use the bracket to select which column you need the unique count for. For example, if you want the unique count for Profession, your formula will be like this;
=DISTINCTCOUNT (Sheet1[Profession]))
16. Select the Number category since you want to count unique values.
17. Change the format to “Whole Number’ and hit OK to create a new column with unique entries.
I hope this tutorial is comprehensive. Kindly share with friends & thanks for reading!
Filtering for unique values and removing duplicate values are two closely related tasks because the displayed results are the same — a list of unique values. The difference, however, is important. When you filter for unique values, you temporarily hide duplicate values, but when you remove duplicate values, you permanently delete duplicate values. A duplicate value is one where all values in the row are an exact match of all values in another row. Duplicate values are determined by the value displayed in the cell and not necessarily the value stored in the cell. For example, if you have the same date value in different cells, one formatted as «12/8/2017» and the other as «Dec 8, 2017», the values are unique. It’s a good idea to filter for or conditionally format unique values first to confirm that the results are what you want before removing duplicate values.
Note: If the formula in the cells is different, but the values are the same, they are considered duplicates. For example, if cell A1 contains the formula =2-1 and cell A2 contains the formula =3-2, as long as the value is formatted the same, they are considered to be duplicate values. If the same value is formatted using different number formats, they are not considered duplicates. For example, if the value in cell A1 is formatted as 1.00 and the value in cell A2 is formatted as 1, they are not considered duplicates.
Filter for unique values
-
Select the range of cells, or make sure that the active cell is in a table.
-
On the Data tab, in the Sort & Filter group, click Advanced.
-
Do one of the following:
To
Do this
Filter the range of cells or table in place
Select the range of cells, and then click Filter the list, in-place.
Copy the results of the filter to another location
Select the range of cells, click Copy to another location, and then in the Copy to box, enter a cell reference.
Note: If you copy the results of the filter to another location, the unique values from the selected range are copied to the new location. The original data is not affected.
-
Select the Unique records only check box, and then click OK.
More options
When you remove duplicate values, only the values in the selected range of cells or table are affected. Any other values outside the range of cells or table are not altered or moved. Because you are permanently deleting data, it’s a good idea to copy the original range of cells or table to another sheet or workbook before removing duplicate values.
Note: You cannot remove duplicate values from data that is outlined or that has subtotals. To remove duplicates, you must remove both the outline and the subtotals first.
-
Select the range of cells, or make sure that the active cell is in a table.
-
On the Data tab, in the Data Tools group, click Remove Duplicates.
-
Select one or more of the check boxes, which refer to columns in the table, and then click Remove Duplicates.
Tip: If the range of cells or table contains many columns and you want to only select a few columns, clear the Select All check box and select only the columns that you want.
You can apply conditional formatting to unique or duplicate values so that they can be seen easily. Color coding duplicate data, for example, can help you locate and, if necessary, remove that data.
-
Select one or more cells in a range, table, or PivotTable report.
-
On the Home tab, in the Styles group, click Conditional Formatting, point to Highlight Cells Rules, and then click Duplicate Values.
-
Select the options that you want in the New Formatting Rule dialog box, and then click OK.
You can create a rule to color code unique or duplicate data in your sheet. This is especially helpful when your data includes multiple sets of duplicate values.
-
Select one or more cells in a range, table, or PivotTable report.
-
On the Home tab, in the Styles group, click Conditional Formatting, and then click New Rule.
-
In the Style list, choose Classic, and then in the Format only top or bottom ranked values list, choose Format only unique or duplicate values.
-
In the values in the selected range list, choose either unique or duplicate.
-
In the Format with list, select an option for how you want the unique or duplicate values to be formatted.
You can edit an existing rule and modify it to apply conditional formatting to unique or duplicate data.
-
Select one or more cells in a range, table, or PivotTable report.
-
On the Home tab, in the Styles group, click Conditional Formatting, and then click Manage Rules.
-
Make sure that the appropriate sheet or table is selected in the Show formatting rules for list.
-
Select the rule, and then click Edit Rule.
-
Select the options that you want, and then click OK.
Filter for unique values
-
Select the range of cells, or make sure that the active cell is in a table.
-
On the Data tab, under Sort & Filter, click the arrow next to Filter, and then click Advanced Filter.
-
Do one of the following:
To
Do this
Filter the range of cells or table in place
Select the range of cells, and then click Filter the list, in-place.
Copy the results of the filter to another location
Select the range of cells, click Copy to another location, and then in the Copy to box, enter a cell reference.
Note: If you copy the results of the filter to another location, the unique values from the selected range are copied to the new location. The original data is not affected.
-
Select the Unique records only check box, and then click OK.
More options
When you remove duplicate values, only the values in the selected range of cells or table are affected. Any other values outside the range of cells or table are not altered or moved. Because you are permanently deleting data, it’s a good idea to copy the original range of cells or table to another sheet or workbook before removing duplicate values.
Note: You cannot remove duplicate values from data that is outlined or that has subtotals. To remove duplicates, you must remove both the outline and the subtotals first.
-
Select the range of cells, or make sure that the active cell is in a table.
-
On the Data tab, under Tools, click Remove Duplicates.
-
Select one or more of the check boxes, which refer to columns in the table, and then click Remove Duplicates.
Excel displays either a message indicating how many duplicate values were removed and how many unique values remain, or a message indicating that no duplicate values were removed.
Tip: If the range of cells or table contains many columns and you want to only select a few columns, clear the Select All check box and select only the columns that you want.
You can apply conditional formatting to unique or duplicate values so that they can be seen easily. Color coding duplicate data, for example, can help you locate and, if necessary, remove that data.
-
Select one or more cells in a range, table, or PivotTable report.
-
On the Home tab, under Format, click the arrow next to Conditional Formatting, point to Highlight Cells Rules, and then click Duplicate Values.
-
Select the options that you want, and then click OK.
You can create a rule to color code unique or duplicate data in your sheet. This is especially helpful when your data includes multiple sets of duplicate values.
-
Select one or more cells in a range, table, or PivotTable report.
-
On the Home tab, under Format, click the arrow next to Conditional Formatting, and then click New Rule.
-
On the Style pop-up menu, click Classic, and then on the Format only top or bottom ranked values pop-up menu, click Format only unique or duplicate values.
-
On the values in the selected range pop-up menu, click either unique or duplicate.
-
On the Format with pop-up menu, select an option for how you want the unique or duplicate values to be formatted.
You can edit an existing rule and modify it to apply conditional formatting to unique or duplicate data.
-
Select one or more cells in a range, table, or PivotTable report.
-
On the Home tab, under Format, click the arrow next to Conditional Formatting, and then click Manage Rules.
-
Make sure that the appropriate sheet or table is selected on the Show formatting rules for pop-up menu.
-
Select the rule, and then click Edit Rule.
-
Select the options that you want, and then click OK.
See also
Sort a list of data
Filter a list of data
Filter by font color, cell color, or icon sets
Find and replace text or numbers
Skip to content
В этой статье мы рассмотрим разные подходы к одной из самых распространенных и, по моему мнению, важных задач в Excel — как найти в ячейках и в столбцах таблицы повторяющиеся значения.
Работая с большими наборами данных в Excel или объединяя несколько небольших электронных таблиц в более крупные, вы можете столкнуться с большим числом одинаковых строк.
И сегодня я хотел бы поделиться несколькими быстрыми и эффективными методами выявления дубликатов в одном списке. Эти решения работают во всех версиях Excel 2016, Excel 2013, 2010 и ниже. Вот о чём мы поговорим:
- Поиск повторяющихся значений включая первые вхождения
- Поиск дубликатов без первых вхождений
- Определяем дубликаты с учетом регистра
- Как извлечь дубликаты из диапазона ячеек
- Как обнаружить одинаковые строки в таблице данных
- Использование встроенных фильтров Excel
- Применение условного форматирования
- Поиск совпадений при помощи встроенной команды «Найти»
- Определяем дубликаты при помощи сводной таблицы
- Duplicate Remover — быстрый и эффективный способ найти дубликаты
Самой простой в использовании и вместе с тем эффективной в данном случае будет функция СЧЁТЕСЛИ (COUNTIF). С помощью одной только неё можно определить не только неуникальные позиции, но и их первые появления в столбце. Рассмотрим разницу на примерах.
Поиск повторяющихся значений включая первые вхождения.
Предположим, что у вас в колонке А находится набор каких-то показателей, среди которых, вероятно, есть одинаковые. Это могут быть номера заказов, названия товаров, имена клиентов и прочие данные. Если ваша задача — найти их, то следующая формула для вас:
=СЧЁТЕСЛИ(A:A; A2)>1
Где А2 — первая ячейка из области для поиска.
Просто введите это выражение в любую ячейку и протяните вниз вдоль всей колонки, которую нужно проверить на дубликаты.
Как вы могли заметить на скриншоте выше, формула возвращает ИСТИНА, если имеются совпадения. А для встречающихся только 1 раз значений она показывает ЛОЖЬ.
Подсказка! Если вы ищите повторы в определенной области, а не во всей колонке, обозначьте нужный диапазон и “зафиксируйте” его знаками $. Это значительно ускорит вычисления. Например, если вы ищете в A2:A8, используйте
=СЧЕТЕСЛИ($A$2:$A$8, A2)>1
Если вас путает ИСТИНА и ЛОЖЬ в статусной колонке и вы не хотите держать в уме, что из них означает повторяющееся, а что — уникальное, заверните свою СЧЕТЕСЛИ в функцию ЕСЛИ и укажите любое слово, которое должно соответствовать дубликатам и уникальным:
=ЕСЛИ(СЧЁТЕСЛИ($A$2:$A$17; A2)>1;»Дубликат»;»Уникальное»)
Если же вам нужно, чтобы формула указывала только на дубли, замените «Уникальное» на пустоту («»):
=ЕСЛИ(СЧЁТЕСЛИ($A$2:$A$17; A2)>1;»Дубликат»;»»)
В этом случае Эксель отметит только неуникальные записи, оставляя пустую ячейку напротив уникальных.
Поиск неуникальных значений без учета первых вхождений
Вы наверняка обратили внимание, что в примерах выше дубликатами обозначаются абсолютно все найденные совпадения. Но зачастую задача заключается в поиске только повторов, оставляя первые вхождения нетронутыми. То есть, когда что-то встречается в первый раз, оно однозначно еще не может быть дубликатом.
Если вам нужно указать только совпадения, давайте немного изменим:
=ЕСЛИ(СЧЁТЕСЛИ($A$2:$A2; A2)>1;»Дубликат»;»»)
На скриншоте ниже вы видите эту формулу в деле.
Нетрудно заметить, что она не обозначает первое появление слова, а начинает отсчет со второго.
Чувствительный к регистру поиск дубликатов
Хочу обратить ваше внимание на то, что хоть формулы выше и находят 100%-дубликаты, есть один тонкий момент — они не чувствительны к регистру. Быть может, для вас это не принципиально. Но если в ваших данных абв, Абв и АБВ — это три разных параметра – то этот пример для вас.
Как вы могли уже догадаться, выражения, использованные нами ранее, с такой задачей не справятся. Здесь нужно выполнить более тонкий поиск, с чем нам поможет следующая функция массива:
{=ЕСЛИ(СУММ((—СОВПАД($A$2:$A$17;A2)))<=1;»»;»Дубликат»)}
Не забывайте, что формулы массива вводятся комбиинацией Ctrl + Shift + Enter.
Если вернуться к содержанию, то здесь используется функция СОВПАД для сравнения целевой ячейки со всеми остальными ячейками с выбранной области. Результат возвращается в виде ИСТИНА (совпадение) или ЛОЖЬ (не совпадение), которые затем преобразуются в массив из 1 и 0 при помощи оператора (—).
После этого, функция СУММ складывает эти числа. И если полученный результат больше 1, функция ЕСЛИ сообщает о найденном дубликате.
Если вы взглянете на следующий скриншот, вы убедитесь, что поиск действительно учитывает регистр при обнаружении дубликатов:
Смородина и арбуз, которые встречаются дважды, не отмечены в нашем поиске, так как регистр первых букв у них отличается.
Как извлечь дубликаты из диапазона.
Формулы, которые мы описывали выше, позволяют находить дубликаты в определенном столбце. Но часто речь идет о нескольких столбцах, то есть о диапазоне данных.
Рассмотрим это на примере числовой матрицы. К сожалению, с символьными значениями этот метод не работает.
При помощи формулы массива
{=ИНДЕКС(НАИМЕНЬШИЙ(ЕСЛИ(СЧЁТЕСЛИ($A$2:$E$11;$A$2:$E$11)>1;$A$2:$E$11);СТРОКА($1:$100)); НАИМЕНЬШИЙ(ЕСЛИОШИБКА(ЕСЛИ(ПОИСКПОЗ(НАИМЕНЬШИЙ(ЕСЛИ( СЧЁТЕСЛИ($A$2:$E$11;$A$2:$E$11)>1;$A$2:$E$11);СТРОКА($1:$100)); НАИМЕНЬШИЙ(ЕСЛИ(СЧЁТЕСЛИ($A$2:$E$11;$A$2:$E$11)>1;$A$2:$E$11); СТРОКА($1:$100));0)=СТРОКА($1:$100);СТРОКА($1:$100));»»);СТРОКА()-1))}
вы можете получить упорядоченный по возрастанию список дубликатов. Для этого введите это выражение в нужную ячейку и нажмите Ctrl+Alt+Enter.
Затем протащите маркер заполнения вниз на сколько это необходимо.
Чтобы убрать сообщения об ошибке, когда дублирующиеся значения закончатся, можно использовать функцию ЕСЛИОШИБКА:
=ЕСЛИОШИБКА(ИНДЕКС(НАИМЕНЬШИЙ(ЕСЛИ(СЧЁТЕСЛИ($A$2:$E$11;$A$2:$E$11)>1;$A$2:$E$11); СТРОКА($1:$100));НАИМЕНЬШИЙ(ЕСЛИОШИБКА(ЕСЛИ(ПОИСКПОЗ( НАИМЕНЬШИЙ(ЕСЛИ(СЧЁТЕСЛИ($A$2:$E$11;$A$2:$E$11)>1;$A$2:$E$11); СТРОКА($1:$100));НАИМЕНЬШИЙ(ЕСЛИ(СЧЁТЕСЛИ($A$2:$E$11;$A$2:$E$11)>1;$A$2:$E$11); СТРОКА($1:$100));0)=СТРОКА($1:$100);СТРОКА($1:$100));»»);СТРОКА()-1));»»)
Также обратите внимание, что приведенное выше выражение рассчитано на то, что оно будет записано во второй строке. Соответственно выше него будет одна пустая строка.
Поэтому если вам нужно разместить его, к примеру, в ячейке K4, то выражение СТРОКА()-1 в конце замените на СТРОКА()-3.
Обнаружение повторяющихся строк
Мы рассмотрели, как обнаружить одинаковые данные в отдельных ячейках. А если нужно искать дубликаты-строки?
Есть один метод, которым можно воспользоваться, если вам нужно просто выделить одинаковые строки, но не удалять их.
Итак, имеются данные о товарах и заказчиках.
Создадим справа от наших данных формулу, объединяющую содержание всех расположенных слева от нее ячеек.
Предположим, что данные хранятся в столбцах А:C. Запишем в ячейку D2:
=A2&B2&C2
Добавим следующую формулу в ячейку E2. Она отобразит, сколько раз встречается значение, полученное нами в столбце D:
=СЧЁТЕСЛИ(D:D;D2)
Скопируем вниз для всех строк данных.
В столбце E отображается количество появлений этой строки в столбце D. Неповторяющимся строкам будет соответствовать значение 1. Повторам строкам соответствует значение больше 1, указывающее на то, сколько раз такая строка была найдена.
Если вас не интересует определенный столбец, просто не включайте его в выражение, находящееся в D. Например, если вам хочется обнаружить совпадающие строки, не учитывая при этом значение Заказчик, уберите из объединяющей формулы упоминание о ячейке С2.
Обнаруживаем одинаковые ячейки при помощи встроенных фильтров Excel.
Теперь рассмотрим, как можно обойтись без формул при поиске дубликатов в таблице. Быть может, кому-то этот метод покажется более удобным, нежели написание выражений Excel.
Организовав свои данные в виде таблицы, вы можете применять к ним различные фильтры. Фильтр в таблице вы можете установить по одному либо по нескольким столбцам. Давайте рассмотрим на примере.
В первую очередь советую отформатировать наши данные как «умную» таблицу. Напомню: Меню Главная – Форматировать как таблицу.
После этого в строке заголовка появляются значки фильтра. Если нажать один из них, откроется выпадающее меню фильтра, которое содержит всю информацию по данному столбцу. Выберите любой элемент из этого списка, и Excel отобразит данные в соответствии с этим выбором.
Вы можете убрать галочку с пункта «Выделить все», а затем отметить один или несколько нужных элементов. Excel покажет только те строки, которые содержат выбранные значения. Так можно обнаружить дубликаты, если они есть. И все готово для их быстрого удаления.
Но при этом вы видите дубли только по отфильтрованному. Если данных много, то искать таким способом последовательного перебора будет несколько утомительно. Ведь слишком много раз нужно будет устанавливать и менять фильтр.
Используем условное форматирование.
Выделение цветом по условию – весьма важный инструмент Excel, о котором достаточно подробно мы рассказывали.
Сейчас я покажу, как можно в Экселе найти дубли ячеек, просто их выделив цветом.
Как показано на рисунке ниже, выбираем Правила выделения ячеек – Повторяющиеся. Неуникальные данные будут подсвечены цветом.
Но здесь мы не можем исключить первые появления – подсвечивается всё.
Но эту проблему можно решить, использовав формулу условного форматирования.
=СЧЁТЕСЛИ($B$2:$B2; B2)>1
Результат работы формулы выденения повторяющихся значений вы видите выше. Они выделены зелёным цветом.
Чтобы освежить память, можете руководствоваться нашим материалом «Как изменить цвет ячейки в зависимости от значения».
Поиск совпадений при помощи команды «Найти».
Еще один простой, но не слишком технологичный способ – использование встроенного поиска.
Зайдите на вкладку Главная и кликните «Найти и выделить». Откроется диалоговое окно, в котором можно ввести что угодно для поиска в таблице. Чтобы избежать опечаток, можете скопировать искомое прямо из списка данных.
Затем нажимаем «Найти все», и видим все найденные дубликаты и места их расположения, как на рисунке чуть ниже.
В случае, когда объём информации очень велик и требуется ускорить работу поиска, предварительно выделите столбец или диапазон, в котором нужно искать, и только после этого начинайте работу. Если этого не сделать, Excel будет искать по всем имеющимся данным, что, конечно, медленнее.
Этот метод еще более трудоемкий, нежели использование фильтра. Поэтому применяют его выборочно, только для отдельных значений.
Как применить сводную таблицу для поиска дубликатов.
Многие считают сводные таблицы слишком сложным инструментом, чтобы постоянно им пользоваться. На самом деле, не все так запутано, как кажется. Для новичков рекомендую к ознакомлению наше руководство по созданию и работе со сводными таблицами.
Для более опытных – сразу переходим к сути вопроса.
Создаем новый макет сводной таблицы. А затем в качестве строк и значений используем одно и то же поле. В нашем случае – «Товар». Поскольку название товара – это текст, то для подсчета таких значений Excel по умолчанию использует функцию СЧЕТ, то есть подсчитывает количество. А нам это и нужно. Если будет больше 1, значит, имеются дубликаты.
Вы наблюдаете на скриншоте выше, что несколько товаров дублируются. И что нам это дает? А далее мы просто можем щелкнуть мышкой на любой из цифр, и на новом листе Excel покажет нам, как получилась эта цифра.
К примеру, откуда взялись 3 дубликата Sprite? Щелкаем на цифре 3, и видим такую картину:
Думаю, этот метод вполне можно использовать. Что приятно – никаких формул не требуется.
Duplicate Remover — быстрый и эффективный способ найти дубликаты в Excel
Теперь, когда вы знаете, как использовать формулы для поиска повторяющихся значений в Excel, позвольте мне продемонстрировать вам еще один быстрый, эффективный и без всяких формул способ: инструмент Duplicate Remover для Excel.
Этот универсальный инструмент может искать повторяющиеся или уникальные значения в одном столбце или же сравнивать два столбца. Он может находить, выбирать и выделять повторяющиеся записи или целые повторяющиеся строки, удалять найденные дубли, копировать или перемещать их на другой лист. Я думаю, что пример практического использования может заменить очень много слов, так что давайте перейдем к нему.
Как найти повторяющиеся строки в Excel за 2 быстрых шага
Сначала посмотрим в работе наиболее простой инструмент — быстрый поиск дубликатов Quick Dedupe. Используем уже знакомую нам таблицу, в которой мы выше искали дубликаты при помощи формул:
Как видите, в таблице несколько столбцов. Чтобы найти повторяющиеся записи в этих трех столбцах, просто выполните следующие действия:
- Выберите любую ячейку в таблице и нажмите кнопку Quick Dedupe на ленте Excel. После установки пакета Ultimate Suite для Excel вы найдете её на вкладке Ablebits Data в группе Dedupe. Это наиболее простой инструмент для поиска дубликатов.
- Интеллектуальная надстройка возьмет всю таблицу и попросит вас указать следующие две вещи:
- Выберите столбцы для проверки дубликатов (в данном примере это все 3 столбца – категория, товар и заказчик).
- Выберите действие, которое нужно выполнить с дубликатами. Поскольку наша цель — выявить повторяющиеся строки, я выбрал «Выделить цветом».
Помимо выделения цветом, вам доступен ряд других опций:
- Удалить дубликаты
- Выбрать дубликаты
- Указать их в столбце статуса
- Копировать дубликаты на новый лист
- Переместить на новый лист
Нажмите кнопку ОК и подождите несколько секунд. Готово! И никаких формул 😊.
Как вы можете видеть на скриншоте ниже, все строки с одинаковыми значениями в первых 3 столбцах были обнаружены (первые вхождения не идентифицируются как дубликаты).
Если вам нужны дополнительные возможности для работы с дубликатами и уникальными значениями, используйте мастер удаления дубликатов Duplicate Remover, который может найти дубликаты с первыми вхождениями или без них, а также уникальные значения. Подробные инструкции приведены ниже.
Мастер удаления дубликатов — больше возможностей для поиска дубликатов в Excel.
В зависимости от данных, с которыми вы работаете, вы можете не захотеть рассматривать первые экземпляры идентичных записей как дубликаты. Одно из возможных решений — использовать разные формулы для каждого сценария, как мы обсуждали в этой статье выше. Если же вы ищете быстрый, точный метод без формул, попробуйте мастер удаления дубликатов — Duplicate Remover. Несмотря на свое название, он не только умеет удалять дубликаты, но и производит с ними другие полезные действия, о чём мы далее поговорим подробнее. Также умеет находить уникальные значения.
- Выберите любую ячейку в таблице и нажмите кнопку Duplicate Remover на вкладке Ablebits Data.
- Вам предложены 4 варианта проверки дубликатов в вашем листе Excel:
- Дубликаты без первых вхождений повторяющихся записей.
- Дубликаты с 1-м вхождением.
- Уникальные записи.
- Уникальные значения и 1-е повторяющиеся вхождения.
В этом примере выберем второй вариант, т.е. Дубликаты + 1-е вхождения:
- Теперь выберите столбцы, в которых вы хотите проверить дубликаты. Как и в предыдущем примере, мы возьмём первые 3 столбца:
- Наконец, выберите действие, которое вы хотите выполнить с дубликатами. Как и в случае с инструментом быстрого поиска дубликатов, мастер Duplicate Remover может идентифицировать, выбирать, выделять, удалять, копировать или перемещать повторяющиеся данные.
Поскольку цель этого примера – продемонстрировать различные способы определения дубликатов в Excel, давайте отметим параметр «Выделить цветом» (Highlight with color) и нажмите Готово.
Мастеру Duplicate Remover требуется всего лишь несколько секунд, чтобы проверить вашу таблицу и показать результат:
Как видите, результат аналогичен предыдущему. Но здесь мы выделили дубликаты, включая и первое появление повторяющихся записей.
Никаких формул, никакого стресса, никаких ошибок — всегда быстрые и безупречные результаты 
Итак, мы с вам научились различными способами обнаруживать повторяющиеся записи в таблице Excel. В следующих статьях разберем, что мы с этим можем полезного сделать.
Если вы хотите попробовать эти инструменты для поиска дубликатов в таблицах Excel, вы можете загрузить полнофункциональную ознакомительную версию программы. Будем очень признательны за ваши отзывы в комментариях!
Find Duplicates in Excel
It is very easy to find duplicates in Excel. We can use built in tools (Conditional Formats, Filters) or formula (COUNTIF or VLOOKUP) to find duplicates in Excel Columns or Rows. Let us see the best and easy methods to find duplicate values in Excel.
Find duplicates Using Conditional Formatting
We can easily identify the duplicates using Conditional Formatting Tools in Excel. We can select the range and highlight the duplicate values with color. Following are the different methods to find duplicate entries in excel and strikethrough the duplicates using Conditional Formatting.
Highlighting duplicate values in Excel
We can highlight the duplicate values in the Excel with specific color. We can change the fill color and font color for the duplicate values. Please follow the below steps to identify the duplicates.
- Select the required range of cell to find duplicates
- Go to ‘Home’ Tab in the Ribbon Menu
- Click on the ‘Conditional Formatting’ command
- Go to ‘Highlight Cells Rules’ and Click on ‘Duplicate Values…’
- And Choose the formatting Options from the drop down list and Click on ‘OK’
Now you can see that all the duplicate values are highlighted as shown in the screen-shot.
Strike through duplicate values in Excel
We can strike through the duplicate values in the Excel. It is very helpful to strike out all duplicate entries in a range of cells. We can use the conditional formatting command in Excel to strike through the duplicate Cells.
- Select the required range of cell to strike through the duplicates
- Go to ‘Home’ Tab in the Ribbon
- Click on the ‘Conditional Formatting’ command
- Go to ‘Highlight Cells Rules’ and Click on ‘Duplicate Values…’
- And Choose the Custom Format from formatting Options from the drop down list
- Select the Strikethrough option from Font effects and Click on ‘OK’
Now you can see that all the duplicate values are stroked out as shown in the screen-shot.
Formula for checking duplicates
We can create formula using COUNTIF or VLOOKUP Functions to check the duplicates in Excel. Following is the step by explanation for finding duplicate values using Excel Formula.
Finding Duplicates using COUNTIF Formula
We can use COUNTIF Formula in Excel Cells to identify duplicates in Excel. COUNTIF formula helps to find duplicates in One Column, returns the number of occurrences of a given value. We can identify the duplicates if the Count is greater than 1. We can create new column to mark the duplicates using Excel COUNTIF Formula.
You can see that we have enter the COUNTIF formula in Range B2 to check the total occurrences of A1 value in the entire Column A:A.This will return the frequency of each Cell value of Column A in Column B.
We can identify the duplicate Cells based on the value in the Column B. If the values is greater than 1, we confirm that the values contains duplicate entries in the specified range or column.
Mark Duplicates and Unique Entries using Formula
We can enhance the above formula to mark all duplicates in a Column. The following formula will return ‘Duplicate’ if the cell value contains duplicate values, otherwise returns ‘Unique’.
=IF(COUNTIF(A:A,A2)>1,"Duplicate","Unique")
Formula will return ‘Duplicate’ in the Column B if the value repeats (count >1).
It will return ‘Unique’ in the Column B if the count is 1.
Find duplicate values in excel using VLookup
We can use VLOOKUP formula to compare two columns (or lists) and find the duplicate values. Vlookup helps to find duplicates in Two Column and duplicate rows based on Multiple Columns. Following are steps to find duplicates using VLOOKUP function.
We have two lists in the Excel List 1 in Column A and List 2 in Column B. Let us find the duplicate values in the List 2 which are part of List 1.
=VLOOKUP(B2,$A$2:$A$15,1,FALSE)
VLOOKUP Formula will check for the Cell B2 value in the specified Range (A2:A5) and Returns the value if found, it will return #NA if it is not found in List 1. We can confirm if the the value is duplicated in List 1 and 2 if it returns the Value, it will be unique if it returns #NA.
How to find duplicate values in Excel using VlookUp?
You can use Excel formula to find the duplicate values in Excel by using vlookup formula as described below. You can use the Excel VlookUp to identify the duplicates in Excel.
=IF(ISNA(VLOOKUP(B2,$A$2:$A$15,1,FALSE)),"Unique","Duplicate")
We can enhance this formula to identify the duplicates and unique values in the Column 2. We can use the Excel IF and ISNA Formulas along with VLOOKUP to return the required Labels.
You can use this method to compare with other worksheets and find duplicate values in Different Excel Sheets.
How to find duplicate values in two columns in excel using VlookUp?
Follow the below steps to find the duplicate values in two columns in excel using VlookUp. We generally need this to compare two columns and check if a value is existing in two columns.
=IF(IF(ISNA(VLOOKUP(C2,$A$2:$A$15,1,FALSE)),0,1) +IF(ISNA(VLOOKUP(C2,$B$2:$B$15,1,FALSE)),0,1)=2,"Duplicated","Unique")
Here, we have Two Target Columns A and B , we check if the items in Column C are duplicated or not.
If you wants to compare two columns and check for values are repeated in both the columns or not, you can use this formula.
Share This Story, Choose Your Platform!
2 Comments
-
Guru
August 12, 2019 at 7:45 pm — ReplyThanks for very useful instructions to check duplicates in Excel.
-
Tom
August 12, 2019 at 7:48 pm — ReplyThis is very clear and simple! Thanks a lot for providing clear help to identify the duplicates in Excel.
© Copyright 2012 – 2020 | Excelx.com | All Rights Reserved
Page load link
Excel spreadsheets continue to represent a key tool for data storage and visualization. Functionalities such as Find & Replace or Sort help users speed up repetitive tasks that would otherwise be time-consuming and inefficient. Just like working on a spreadsheet with blank rows or cells that interfere with the correct application of rules and formulae, duplicate data can cause similar issues.
In this post, you will learn different ways to find duplicate values to either highlight this information or delete as many duplicates as needed. From more basic highlighting features to more advanced filtering options, you’ll learn how to work with the full potential of the desktop version of Excel.
If you want to avoid duplicate data entry in Google Sheets, you can do that easily using Layer. Layer is a free add-on that allows you to share sheets or ranges of your main spreadsheet with different people. On top of that, you get to monitor and approve edits and changes made to the shared files before they’re merged back into your master file, giving you more control over your data.
Install the Layer Google Sheets Add-On today and Get Free Access to all the paid features, so you can start managing, automating, and scaling your processes on top of Google Sheets!
How to find and remove duplicate rows in Excel?
The various methods shown in this article will first find the duplicate values to be removed and then show how to delete them. This two-step process is crucial, especially considering that you may not want to delete the duplicates automatically and keep only the unique value. Let’s look at the first method to remove all duplicates.
How to Check for Duplicates in Excel?
How to remove duplicates using the Remove Duplicates feature?
What is the shortcut to removing duplicates in Excel? The shortcut is actually a built-in command available in the ribbon, which you can use in the following way.
- 1. Open your Excel spreadsheet and select any range in your spreadsheet which you want to delete duplicate rows from.
How to Find and Remove Duplicates in Excel — Find duplicate rows
- 2. Go to Data > Remove duplicates.
How to Find and Remove Duplicates in Excel — Remove duplicates
If you haven’t selected all data in your spreadsheet, Excel will give you the option of expanding the search to the entire document, which is recommended. Click “OK”.
- 3. In case your data selection has headers, tick the column boxes that contain them so as not to be counted in the duplicate search. All columns in my example contain headers, so I’ll leave all boxes ticked. Click “OK”.
How to Find and Remove Duplicates in Excel — Remove headers from duplicate search
- 4. Excel prompts you with a dialog box informing you about the exact number of duplicate values it found and removed, as well as the number of unique values remaining in your spreadsheet.
How to Find and Remove Duplicates in Excel — Duplicate values found
How to Combine Multiple Excel Columns Into One?
There are many ways to combine multiple columns into a single column in Excel. Here’s how to do it without losing any data
READ MORE
How to delete duplicates in Excel but keep one?
Although the previous method is helpful at targeting all duplicates, this means that the unique data will also be permanently deleted. To avoid this, you may want to explore the following methods.
Here’s how to delete duplicates in Excel but keep one; we strongly recommend that you always keep a copy spreadsheet in case you want to go back to the original dataset.
How to remove duplicates using the Advanced Filter option?
This is a straightforward way to get rid of any duplicate content without deleting them entirely; instead, the Advanced filter option hides your duplicates from your dataset.
- 1. Select a cell in your dataset and go to Data > Advanced filter to the far right.
How to Find and Remove Duplicates in Excel — Advanced filter
- 2. Choose to “Filter the list, in-place” or “Copy to another location”. The first option will hide any row containing duplicates, while the second will make a copy of the data.
How to Find and Remove Duplicates in Excel — Filter list
Leave the “List range” field empty, if you want Excel to list it automatically. You can also leave the “Criteria range” empty. The only mandatory field to fill out is the “Copy to” if you selected the “Copy to another location” option.
- 3. Tick the “Unique records only” box to keep the unique values, and then “OK” to remove all duplicates.
How to Find and Remove Duplicates in Excel — How to keep unique values
Advanced filters are an excellent way to remove duplicate values while keeping a copy of the original data. Don’t forget that the Advanced filter option only applies to the entire table.
How to remove duplicates using Excel formulae?
Although you can combine various formulae to remove duplicates in Excel, in 2018, Microsoft integrated the UNIQUE formula to make this process much easier. First, let’s explore the syntax of the UNIQUE formula:
=UNIQUE (array, [by_col], [exactly_once])
- array refers to the range of cells we will extract unique values from and represents the only required argument.
- [by_col] is an optional parameter determining the search for unique values by rows or columns.
- [exactly_once] is the other optional parameter and sets the behavior for values that appear more than once. If you want the formula to return items that appear exactly once, then write “TRUE”; however, if you want it to return every distinct item, then write “FALSE”.
Let’s now apply the =UNIQUE formula to our dataset.
- 1. Enter the formula next to the set of data. You can either leave one column in between or place it directly next to the last data column. Like in most Excel formulae, as soon as you type at the beginning of the formula, the rest will prompt automatically. Select the range you want to apply the formula to.
How to Find and Remove Duplicates in Excel — UNIQUE formula
- 2. You can leave the second parameter [by_col] by simply including the comma before and after its place. Let’s first see what happens when we include “TRUE” for the [exactly_once] parameter.
How to Find and Remove Duplicates in Excel — UNIQUE function
- 3. As soon as you press the Return key, Excel removes all duplicates. In this example, it has removed rows 5 and 6.
How to Find and Remove Duplicates in Excel — TRUE UNIQUE formula
Let’s see how by including “FALSE” as the last parameter, Excel will keep the unique value.
- 1. Follow the previous steps, and now wrote “FALSE”, to return every distinct value.
How to Find and Remove Duplicates in Excel — FALSE UNIQUE formula
- 2. Now, the UNIQUE formula has returned row 5 and only deleted the duplicate value in row 6.
How to Find and Remove Duplicates in Excel — FALSE UNIQUE formula return
How to remove duplicates using conditional formatting?
Conditional formatting is an Excel feature that helps users filter, sort, and organize data according to built-in rules or custom ones created by the user. The most common feature is the “Highlight Cell Rules”, which allows you to format cell values according to color, font, and various other format styles. Although this method won’t directly remove duplicates, it will make them extremely clear to identify.
- 1. Select the range of cells you want to apply the conditional formatting rule to. Then go to Home > Conditional Formatting > Highlight Cell Rules > Duplicate Values.
How to Find and Remove Duplicates in Excel — Conditional formatting
- 2. Set the “Style” to “Classic” and then “Format only unique or duplicate values”. Don’t forget to leave the drop-down menu to “duplicate”. Finally, choose the formatting style using the “Format with” drop-down menu. Click “OK”.
How to Find and Remove Duplicates in Excel — Conditional formatting remove duplicates
- 3. You can see how Excel highlights all duplicate values, including the cells. This means that you will need to make sure to only remove rows unless you are actually interested in removing all duplicates.
How to Find and Remove Duplicates in Excel — Highlight duplicates conditional formatting]
In case you want to highlight rows, you can combine all row values in one cell using the =CONCAT formula; if you would like to learn more about this function, read this article on the Microsoft support page.
How to remove duplicates based on one or more columns in Excel?
As a more advanced use of Excel, you can remove duplicates based on one or more columns using Power Query. This feature allows you to select the columns you would like to remove the duplicates from. Let’s explore how to use Power Query to remove duplicates based on one or more columns.
- 1. Go to Data > Get Data (Power Query).
How to Find and Remove Duplicates in Excel — Power Query
- 2. Choose “Excel workbook” as your data source.
How to Find and Remove Duplicates in Excel — Power Query data source
- 3. Browse through your files and select the spreadsheet you want to apply the Power Query function to. Click “Next”.
How to Find and Remove Duplicates in Excel — Power Query load data
- 4. Tick the checkbox next to the worksheet containing your data (located in the left-side menu). Then, click “Load” in the bottom right-hand corner.
How to Find and Remove Duplicates in Excel — Power Query load data
- 5. As you can see, the dataset has been transformed into a table.
How to Find and Remove Duplicates in Excel — Power Query table
- 6. Select the columns to apply the Power Query to by pressing Ctrl/Cmd + click on the columns.
How to Find and Remove Duplicates in Excel — Power Query table
- 7. To delete duplicates, simply click on “Remove Duplicates” in the “Data” tab. Then click “OK” in the pop-up dialog box.
How to Find and Remove Duplicates in Excel — Remove Duplicates
- 8. Excel will inform you about the number of duplicates removed and how many unique values remain.
How to Find and Remove Duplicates in Excel — Final Alert message
Don’t worry about removing all duplicates, since the dataset you worked on is a copy created by the Power Query function. However, if you want to keep unique values, follow the steps outlined in the sections on the Advanced Filter option or =UNIQUE formula in Excel.
Want to Boost Your Team’s Productivity and Efficiency?
Transform the way your team collaborates with Confluence, a remote-friendly workspace designed to bring knowledge and collaboration together. Say goodbye to scattered information and disjointed communication, and embrace a platform that empowers your team to accomplish more, together.
Key Features and Benefits:
- Centralized Knowledge: Access your team’s collective wisdom with ease.
- Collaborative Workspace: Foster engagement with flexible project tools.
- Seamless Communication: Connect your entire organization effortlessly.
- Preserve Ideas: Capture insights without losing them in chats or notifications.
- Comprehensive Platform: Manage all content in one organized location.
- Open Teamwork: Empower employees to contribute, share, and grow.
- Superior Integrations: Sync with tools like Slack, Jira, Trello, and more.
Limited-Time Offer: Sign up for Confluence today and claim your forever-free plan, revolutionizing your team’s collaboration experience.
Conclusion
As we have seen, there are many ways to identify and eliminate duplicates in your data, depending on your needs. Not only can you now successfully organize your data correctly, but removing duplicates makes it easier to identify key patterns and create accurate reports, particularly when working with larger datasets.