Encoding in excel file

С потребностью менять кодировку текста часто сталкиваются пользователи, работающие браузерах, текстовых редакторах и процессорах. Тем не менее, и при работе в табличном процессоре Excel такая необходимость тоже может возникнуть, ведь эта программа обрабатывает не только цифры, но и текст. Давайте разберемся, как изменить кодировку в Экселе.

Урок: Кодировка в Microsoft Word

Работа с кодировкой текста

Кодировка текста – эта набор электронных цифровых выражений, которые преобразуются в понятные для пользователя символы. Существует много видов кодировки, у каждого из которых имеются свои правила и язык. Умение программы распознавать конкретный язык и переводить его на понятные для обычного человека знаки (буквы, цифры, другие символы) определяет, сможет ли приложение работать с конкретным текстом или нет. Среди популярных текстовых кодировок следует выделить такие:

• Windows-1251;
• KOI-8;
• ASCII;
• ANSI;
• UKS-2;
• UTF-8 (Юникод).

Последнее наименование является самым распространенным среди кодировок в мире, так как считается своего рода универсальным стандартом.

Чаще всего, программа сама распознаёт кодировку и автоматически переключается на неё, но в отдельных случаях пользователю нужно указать приложению её вид. Только тогда оно сможет корректно работать с кодированными символами.

Наибольшее количество проблем с расшифровкой кодировки у программы Excel встречается при попытке открытия файлов CSV или экспорте файлов txt. Часто, вместо обычных букв при открытии этих файлов через Эксель, мы можем наблюдать непонятные символы, так называемые «кракозябры». В этих случаях пользователю нужно совершить определенные манипуляции для того, чтобы программа начала корректно отображать данные. Существует несколько способов решения данной проблемы.

Способ 1: изменение кодировки с помощью Notepad++

К сожалению, полноценного инструмента, который позволял бы быстро изменять кодировку в любом типе текстов у Эксель нет. Поэтому приходится в этих целях использовать многошаговые решения или прибегать к помощи сторонних приложений. Одним из самых надежных способов является использование текстового редактора Notepad++.

1. Запускаем приложение Notepad++. Кликаем по пункту «Файл». Из открывшегося списка выбираем пункт «Открыть». Как альтернативный вариант, можно набрать на клавиатуре сочетание клавиш Ctrl+O.



2. Запускается окно открытия файла. Переходим в директорию, где расположен документ, который некорректно отобразился в Экселе. Выделяем его и жмем на кнопку «Открыть» в нижней части окна.



3. Файл открывается в окне редактора Notepad++. Внизу окна в правой части строки состояния указана текущая кодировка документа. Так как Excel отображает её некорректно, требуется произвести изменения. Набираем комбинацию клавиш Ctrl+A на клавиатуре, чтобы выделить весь текст. Кликаем по пункту меню «Кодировки». В открывшемся списке выбираем пункт «Преобразовать в UTF-8». Это кодировка Юникода и с ней Эксель работает максимально корректно.



4. После этого, чтобы сохранить изменения в файле жмем на кнопку на панели инструментов в виде дискеты. Закрываем Notepad++, нажав на кнопку в виде белого крестика в красном квадрате в верхнем правом углу окна.



5. Открываем файл стандартным способом через проводник или с помощью любого другого варианта в программе Excel. Как видим, все символы теперь отображаются корректно.

Несмотря на то, что данный способ основан на использовании стороннего программного обеспечения, он является одним из самых простых вариантов для перекодировки содержимого файлов под Эксель.

Способ 2: применение Мастера текстов

Кроме того, совершить преобразование можно и с помощью встроенных инструментов программы, а именно Мастера текстов. Как ни странно, использование данного инструмента несколько сложнее, чем применение сторонней программы, описанной в предыдущем методе.

1. Запускаем программу Excel. Нужно активировать именно само приложение, а не открыть с его помощью документ. То есть, перед вами должен предстать чистый лист. Переходим во вкладку «Данные». Кликаем на кнопку на ленте «Из текста», размещенную в блоке инструментов «Получение внешних данных».



2. Открывается окно импорта текстового файла. В нем поддерживается открытие следующих форматов:
   • TXT;
   • CSV;
   • PRN.

   Переходим в директорию размещения импортируемого файла, выделяем его и кликаем по кнопке «Импорт».



3. Открывается окно Мастера текстов. Как видим, в поле предварительного просмотра символы отображаются некорректно. В поле «Формат файла» раскрываем выпадающий список и меняем в нем кодировку на «Юникод (UTF-8)».
   

   Если данные отображаются все равно некорректно, то пытаемся экспериментировать с применением других кодировок, пока текст в поле для предпросмотра не станет читаемым. После того, как результат удовлетворит вас, жмите на кнопку «Далее».



4. Открывается следующее окно Мастера текста. Тут можно изменить знак разделителя, но рекомендуется оставить настройки по умолчанию (знак табуляции). Жмем на кнопку «Далее».



5. В последнем окне имеется возможность изменить формат данных столбца:
   • Общий;
   • Текстовый;
   • Дата;
   • Пропустить столбец.

   Тут настройки следует выставить, учитывая характер обрабатываемого контента. После этого жмем на кнопку «Готово».



6. В следующем окне указываем координаты левой верхней ячейки диапазона на листе, куда будут вставлены данные. Это можно сделать, вбив адрес вручную в соответствующее поле или просто выделив нужную ячейку на листе. После того, как координаты добавлены, в поле окна жмем кнопку «OK».



7. После этого текст отобразится на листе в нужной нам кодировке. Остается его отформатировать или восстановить структуру таблицы, если это были табличные данные, так как при переформатировании она разрушается.

Способ 3: сохранение файла в определенной кодировке

Бывает и обратная ситуация, когда файл нужно не открыть с корректным отображением данных, а сохранить в установленной кодировке. В Экселе можно выполнить и эту задачу.

1. Переходим во вкладку «Файл». Кликаем по пункту «Сохранить как».



2. Открывается окно сохранения документа. С помощью интерфейса Проводника определяем директорию, где файл будет храниться. Затем выставляем тип файла, если хотим сохранить книгу в формате отличном от стандартного формата Excel (xlsx). Потом кликаем по параметру «Сервис» и в открывшемся списке выбираем пункт «Параметры веб-документа».



3. В открывшемся окне переходим во вкладку «Кодировка». В поле «Сохранить документ как» открываем выпадающий список и устанавливаем из перечня тот тип кодировки, который считаем нужным. После этого жмем на кнопку «OK».



4. Возвращаемся в окно «Сохранения документа» и тут жмем на кнопку «Сохранить».

Документ сохранится на жестком диске или съемном носителе в той кодировке, которую вы определили сами. Но нужно учесть, что теперь всегда документы, сохраненные в Excel, будут сохраняться в данной кодировке. Для того, чтобы изменить это, придется опять заходить в окно «Параметры веб-документа» и менять настройки.

Существует и другой путь к изменению настроек кодировки сохраненного текста.

1. Находясь во вкладке «Файл», кликаем по пункту «Параметры».



2. Открывается окно параметров Эксель. Выбираем подпункт «Дополнительно» из перечня расположенного в левой части окна. Центральную часть окна прокручиваем вниз до блока настроек «Общие». Тут кликаем по кнопке «Параметры веб-страницы».



3. Открывается уже знакомое нам окно «Параметры веб-документа», где мы проделываем все те же действия, о которых говорили ранее.



Теперь любой документ, сохраненный в Excel, будет иметь именно ту кодировку, которая была вами установлена.

Как видим, у Эксель нет инструмента, который позволил бы быстро и удобно конвертировать текст из одной кодировки в другую. Мастер текста имеет слишком громоздкий функционал и обладает множеством не нужных для подобной процедуры возможностей. Используя его, вам придется проходить несколько шагов, которые непосредственно на данный процесс не влияют, а служат для других целей. Даже конвертация через сторонний текстовый редактор Notepad++ в этом случае выглядит несколько проще. Сохранение файлов в заданной кодировке в приложении Excel тоже усложнено тем фактом, что каждый раз при желании сменить данный параметр, вам придется изменять глобальные настройки программы.

Encoding your Excel files into a UTF format (UTF-8 or UTF-16) can help to ensure anything you upload into SurveyGizmo can be read and displayed properly. This is particularly important when working with foreign or special characters in Email Campaigns, Login/Password Actions, Contact Lists, Data Import and Text and Translations. All of those features have the ability to receive CSV file uploads.

There are a few different ways to get the proper UTF encoding so we will go over how to do this in older versions of Microsoft Excel, OpenOffice, LibreOffice, Google Drive and even how to use the Terminal application to do it!

How to Encode your Excel Files

Below are links to videos and step by step instructions on how to go about encoding your Excel files to UTF-8 and UTF-16. Excel 2011 and beyond do not have options to encode UTF files.

Depending on your version of Excel, you may be able to encode your file to UTF-8 during the Save As process. This will depend on the your Excel version as well as whether you are using a Mac or PC.

Excel Versions 1999 to 2010

Check out our quick step-by-step video: UTF-8 Encoding Video 

1. Go to your Excel document.
2. Click File (or the Colorful circle icon, depending on the version of Excel you have).
3. Select Save As and choose the format of the Excel file you’d like to use.
4. Name your file, and update your file path as needed.
5. Click Tools, then select Web options.
6. Go to the Encoding tab.
7. In the dropdown for Save this document as: choose Unicode (UTF-8).
8. Click Ok.
9. Click Save.
   

Excel for Mac

While there is not an option for UTF-8 encoding a CSV in older versions of Excel for Mac, an up to date version of Excel makes this fairly straightforward.

1. Click File > Save As.
2. You will see the Save dialog box. Via the File Format dropdown menu, select the CSV UTF-8 option.
   
3. Click Save.

LibreOffice

Another free open-source office alternative to Microsoft Office is LibreOffice. You can download it at http://www.libreoffice.org/.

1. Open LibreOffice and click Open File along the left. Select your file and Open.
2. Click File > Save As… The following window will appear, change the File Type to Text CSV and select the Edit filter settings option, then click Save.
3. An error window will pop up, but don’t worry about it. Just click Use Text CSV Format.
4. In the next window that appears, make sure that the Character set is Unicode (UTF-8). This should be the default.
   
5. One final error will pop up, saying that only the active sheet was saved. Just click OK and you’re good to go!

Google Drive

One widely available web-based solution for encoding XLS files as UTF-8 CSV is Google Drive aka Google Docs. You can upload an existing file and easily export it following these steps.

1. From the main Google Drive screen, click New > File Upload. Choose your XLS file and click Open.
2. Once the file is uploaded, double-click it in the menu to open a preview of the file. Then click Open along the top bar.
3. The spreadsheet will load, now you can click File > Download as > Comma-separated values (.csv, current sheet). The download will start immediately.

Using Terminal

As a last-ditch effort you can easily convert files to UTF-8 encoding using Terminal. You may need to download this library in order to use the iconv command.

To get started, save your CSV to your desktop with a concise file name.

Apple OSX Steps

1. Hit command+spacebar to get to Spotlight and search for «Terminal» and click Terminal to open.
2. At the prompt type the below and press Enter:

    cd desktop

3. Paste in the following:

    iconv -c -t utf8 filename.csv > filename.utf8.csv

4. Change your filenames to match the one on your desktop and press Enter.
5. Et Voila! Your file is UTF-8 encoded. Do not open file after you convert!

Windows Steps

1. Go to the Start menu and search «cmd» and click cmd to open.
2. At the prompt, enter the following (replacing username with your Windows username) and press Enter:

    cd C:Users(username)Desktop

3. Paste in the following:

    iconv -c -t utf8 filename.csv > filename.utf8.csv

4. Change your filenames to match the one on your desktop and press Enter.
5. Your file is now UTF-8 encoded. Do not open the file after you convert, go ahead and upload it to our system.

If instead of the necessary information in the table you see questions, hieroglyphs or other incomprehensible signs, it means you need to figure out how to change the encoding in Excel. This feature is available in the Microsoft Office itself. But you can get rid of the problem and other methods.

Sometimes we get weird hieroglyphs.

What is encoding?

The computer perceives any information as a set of numbers. Therefore, each printed mark has its own code. It consists of numbers and letters of the Latin alphabet. The characters and the corresponding numbers — this is the encoding.

She has several standards. For example, Koi-8, Unicode, Windows-1251, ASCII. And if the text file is saved, say, in Koi-8, in Excel it will be incorrectly displayed in Unicode. As in these sets different codes are assigned to the same characters.

How to change the encoding in the program?

To work with a table that uses a standard that is not set by default in the program, you need to change the encoding. There are several ways.

With Notepad

If in Excel it is not possible to turn the «cracks» into normal text, open the file in the program «Notepad ++». It is distributed free of charge. Set up the display of characters there, and then continue to work in Excel.

Open the file in the program «Notepad ++»

1. Create a backup copy of the document. Or save the information from it in some other table.
2. Launch Notepad.
3. Go to File — Open (File — Open) and specify the path to the table. In the «File Type» field, check «All types». Or specify a specific format. Tables have extensions .cvs, .xls, .xltm, xlam, .xlm. In Notepad, the text is displayed without a grid. It does not need to edit anything.
4. The standard used now will be displayed on the bottom right in the status bar.
5. Open the Encoding menu. It is located at the top of the window.
6. Click “Convert to UTF-8” (“Convert to UTF-8”). The document will be converted to the desired format. This standard Excel perceives normally and will not turn into an incoherent stream of strange characters.
7. Now choose which characters you want to use. In the same Encoding menu, hover the drop-down list. He is there alone.
8. For Russian, select Cyrillic — Windows-1251. If the text is, say, in Arabic or Greek, mark the corresponding set of characters. Different countries use different standards.
9. The program will ask to confirm the action.
10. If that doesn’t work, try other Cyrillic fonts.
11. You must also save the text in Excel format.

Open the file in utf-8

Through the program interface

Here’s how to change the encoding in Excel using the built-in features:

1. Run the program. Do not open the completed document. Need a «clean» sheet.
2. Click the “Data” tab in the menu bar.
3. On the Get External Data panel, click From Text.
4. In the «File Type» list (it is located next to the «Cancel» button) select «All» or «Any.» This will display Excel formats in the window, not just .txt.
5. Specify the path to the table.
6. The Import Wizard opens.
7. In the field «Format» you can choose the desired standard.
8. The Preview area shows how the text will appear with a marked set of characters. You can scroll through the list and look for which setting is suitable.
9. When you pick the right option, click «Finish».

You can use the built-in features

How to save a file in a specific encoding?

You can make it so that there is a certain Excel encoding in the file you saved.

1. Click on the green “File” button (in Office 2007, click on the logo in the upper left).
2. Options — Advanced.
3. Scroll down to the «General» section.
4. Button «Web Document Settings».
5. Encoding tab.
6. In the “Save Document As” field, specify the desired value and click “OK”.

You can also do this:

1. Click on the «File» or office logo.
2. Select «Save As …».
3. Click on “Service”. There will be the same item “Web Document Settings”.

How to add new coding to office programs?

If none of the standards fit your document, add new ones.

1. Start — Control Panel.
2. «Programs and components» or «Uninstall programs.»
3. Click on Office or Excel (depending on whether you have the entire package of Microsoft Office products or Excel only).
4. Change button. It is above the main work area.
5. Put a marker in the «Add or Remove» and click «Continue.»
6. Open the General Tools — Multilingual support branch.
7. Click on the black arrow next to the desired standard and enable the «Run on my computer» feature.
8. Click «Continue» and wait for the process to finish. New sets will be added.

In Excel, you can change the encoding if the characters are displayed incorrectly. This feature is available in the program toolkit. But sometimes third-party software is used.

hi i’m using ruby on rails for csv generation. In our application we plan to go for the multi language(I18n) and we faced an issue while viewing I18n content in the CSV file of windows excel.

Was fine with Linux (Ubuntu) and mac.

We identified that windows excel need to be imported the data again to view the actual data. While import we will get more options to choose character set.

But this can’t be educated for each and every user, so solution we looking for is to open just by double click.

Then we identified the way of showing data by open mode and bom in windows excel with the help of aghuddleston gist. Added at reference.

Example I18n content

In Mac and Linux

Swedish : Förnamn
English : First name

In Windows

Swedish : Förnamn
English : First name

def user_information_report(report_file_path, user_id)
    user = User.find(user_id)
    I18n.locale = user.current_lang
    open_mode = "w+:UTF-16LE:UTF-8"
    bom = "xEFxBBxBF"
    body user, open_mode, bom
  end

def headers
    headers = [
        "ID", "SDN ID",
        I18n.t('sys_first_name'), I18n.t('sys_last_name'), I18n.t('sys_dob'),
        I18n.t('sys_gender'), I18n.t('sys_email'), I18n.t('sys_address'),
        I18n.t('sys_city'), I18n.t('sys_state'), I18n.t('sys_zip'),
        I18n.t('sys_phone_number')
    ]
  end

def body tenant, open_mode, bom
    File.open(report_file_path, open_mode) do |f|
      csv_file = CSV.generate(col_sep: "t") do |csv|
        csv << headers
        tenant.patients.find_each(batch_size: 10) do |patient|
          csv <<  [
              patient.id, patient.patientid,
              patient.first_name, patient.last_name, "#{patient.dob}",
              "#{translate_gender(patient.gender)}", patient.email, "#{patient.address_1.to_s} #{patient.address_2.to_s}",
              "#{patient.city}", "#{patient.state}",  "#{patient.zip}",
              "#{patient.phone_number}"
          ]
        end
      end
      f.write bom
      f.write(csv_file)
    end
  end

Important things to note here is open mode and bom

open_mode = «w+:UTF-16LE:UTF-8»

bom = «xEFxBBxBF»

Before writing the CSV insert BOM

f.write bom

f.write(csv_file)

Windows and Mac

File can be opened directly by double clicking.

Linux (ubuntu)

While opening a file ask for the separator options -> choose “TAB”