Word document utf 8 encoding

MS Word заслужено является самым популярным текстовым редактором. Следовательно, чаще всего можно столкнуться с документами в формате именно этой программы. Все, что может в них отличаться, это лишь версия Ворда и формат файла (DOC или DOCX). Однако, не смотря на общность, с открытием некоторых документов могут возникнуть проблемы.

Урок: Почему не открывается документ Word

Одно дело, если вордовский файл не открывается вовсе или запускается в режиме ограниченной функциональности, и совсем другое, когда он открывается, но большинство, а то и все символы в документе являются нечитабельными. То есть, вместо привычной и понятной кириллицы или латиницы, отображаются какие-то непонятные знаки (квадраты, точки, вопросительные знаки).

Урок: Как убрать режим ограниченной функциональности в Ворде

Если и вы столкнулись с аналогичной проблемой, вероятнее всего, виною тому неправильная кодировка файла, точнее, его текстового содержимого. В этой статье мы расскажем о том, как изменить кодировку текста в Word, тем самым сделав его пригодным для чтения. К слову, изменение кодировки может понадобиться еще и для того, чтобы сделать документ нечитабельным или, так сказать, чтобы “конвертировать” кодировку для дальнейшего использования текстового содержимого документа Ворд в других программах.

Примечание: Общепринятые стандарты кодировки текста в разных странах могут отличаться. Вполне возможно, что документ, созданный, к примеру, пользователем, проживающим в Азии, и сохраненный в местной кодировке, не будет корректно отображаться у пользователя в России, использующего на ПК и в Word стандартную кириллицу.

Что такое кодировка

Вся информация, которая отображается на экране компьютера в текстовом виде, на самом деле хранится в файле Ворд в виде числовых значений. Эти значения преобразовываются программой в отображаемые знаки, для чего и используется кодировка.

Кодировка — схема нумерации, в которой каждому текстовому символу из набора соответствует числовое значение. Сама же кодировка может содержать буквы, цифры, а также другие знаки и символы. Отдельно стоит сказать о том, что в разных языках довольно часто используются различные наборы символов, именно поэтому многие кодировки предназначены исключительно для отображения символов конкретных языков.

Выбор кодировки при открытии файла

Если текстовое содержимое файла отображается некорректно, например, с квадратами, вопросительными знаками и другими символами, значит, MS Word не удалось определить его кодировку. Для устранения этой проблемы необходимо указать правильную (подходящую) кодировку для декодирования (отображения) текста.

1. Откройте меню “Файл” (кнопка “MS Office” ранее).

2. Откройте раздел “Параметры” и выберите в нем пункт “Дополнительно”.

3. Прокрутите содержимое окна вниз, пока не найдете раздел “Общие”. Установите галочку напротив пункта “Подтверждать преобразование формата файла при открытии”. Нажмите “ОК” для закрытия окна.

Примечание: После того, как вы установите галочку напротив этого параметра, при каждом открытии в Ворде файла в формате, отличном от DOC, DOCX, DOCM, DOT, DOTM, DOTX, будет отображаться диалоговое окно “Преобразование файла”. Если же вам часто приходится работать с документами других форматов, но при этом не требуется менять их кодировку, снимите эту галочку в параметрах программы.

4. Закройте файл, а затем снова откройте его.

5. В разделе “Преобразование файла” выберите пункт “Кодированный текст”.

6. В открывшемся диалоговом окне “Преобразование файла” установите маркер напротив параметра “Другая”. Выберите необходимую кодировку из списка.

Совет: В окне “Образец” вы можете увидеть, как будет выглядеть текст в той или иной кодировке.

7. Выбрав подходящую кодировку, примените ее. Теперь текстовое содержимое документа будет корректно отображаться.

В случае, если весь текст, кодировку для которого вы выбираете, выглядит практически одинаков (например, в виде квадратов, точек, знаков вопроса), вероятнее всего, на вашем компьютере не установлен шрифт, используемый в документе, который вы пытаетесь открыть. О том, как установить сторонний шрифт в MS Word, вы можете прочесть в нашей статье.

Урок: Как в Ворде установить шрифт

Выбор кодировки при сохранении файла

Если вы не указываете (не выбираете) кодировку файла MS Word при сохранении, он автоматически сохраняется в кодировке Юникод, чего в большинстве случаев предостаточно. Данный тип кодировки поддерживает большую часть знаков и большинство языков.

В случае, если созданный в Ворде документ вы (или кто-то другой) планируете открывать в другой программе, не поддерживающей Юникод, вы всегда можете выбрать необходимую кодировку и сохранить файл именно в ней. Так, к примеру, на компьютере с русифицированной операционной системой вполне можно создать документ на традиционном китайском с применением Юникода.

Проблема лишь в том, что в случае, если данный документ будет открываться в программе, поддерживающей китайский, но не поддерживающей Юникод, куда правильнее будет сохранить файл в другой кодировке, например, “Китайская традиционная (Big5)”. В таком случае текстовое содержимое документа при открытии его в любой программе с поддержкой китайского языка, будет отображаться корректно.

Примечание: Так как Юникод является самым популярным, да и просто обширным стандартном среди кодировок, при сохранении текста в других кодировках возможно некорректное, неполное, а то и вовсе отсутствующее отображение некоторых файлов. На этапе выбора кодировки для сохранения файла знаки и символы, которые не поддерживаются, отображаются красным цветом, дополнительно высвечивается уведомление с информацией о причине.

1. Откройте файл, кодировку которого вам необходимо изменить.

2. Откройте меню “Файл” (кнопка “MS Office” ранее) и выберите пункт “Сохранить как”. Если это необходимо, задайте имя файла.

3. В разделе “Тип файла” выберите параметр “Обычный текст”.

4. Нажмите кнопку “Сохранить”. Перед вами появится окно “Преобразование файла».

5. Выполните одно из следующих действий:

Примечание: Если при выборе той или иной (“Другой”) кодировки вы видите сообщение “Текст, выделенный красным, невозможно правильно сохранить в выбранной кодировке”, выберите другую кодировку (иначе содержимое файла будет отображаться некорректно) или же установите галочку напротив параметра “разрешить подстановку знаков”.

Если подстановка знаков разрешена, все те знаки, которые отобразить в выбранной кодировке невозможно, будут автоматически заменены на эквивалентные им символы. Например, многоточие может быть заменено на три точки, а угловые кавычки — на прямые.

6. Файл будет сохранен в выбранной вами кодировке в виде обычного текста (формат “TXT”).

На этом, собственно, и все, теперь вы знаете, как в Word сменить кодировку, а также знаете о том, как ее подобрать, если содержимое документа отображается некорректно.

Unicode consortium assigns a unique code point for each character you can type using keyboard. This is code point is in hexadecimal format like U+2714 for check mark ✔ symbol. However, individual applications use Character encoding to convert this Unicode code point to a binary computer code. When you type the code, your computer will convert it into a character using locale code page. So, character encoding of documents is important to view it in a readable format.

Are You Viewing Junk Characters in Word?

Microsoft Word uses default Windows or macOS character encoding for the file extensions like .doc and .docx. You will see junk characters when opening a plain text file having different character encoding. This does not mean the document is corrupted. It means the document was saved with different encoding standard and you need to change the encoding to view in Word.

Whenever you open an incompatible document, Word will show a file conversion dialog. However, if you are not seeing it, it is easy to enable that option. You can open any Word document to enable this setting, as it will be applied to all documents.

Enable File Format Conversion Dialog

• Open a document and navigate to “File > Options” menu.
• Click on the “Advanced” section and scroll down to “General” section on the right pane.
• By default, Word disables the setting for “Confirm file format conversion on open”.
• Check the box to enable this option.
• Click “OK” to apply the changes and close all open documents.

This option will help you to trigger a dialog box whenever you open file formats other than .doc or .docx. For example, if you use Word to open a plain text file with .txt extension, you will get a prompt for checking the file format.

Related: How to change embedded file name in Word?

Change Character Encoding

Now, open the file you want to change the character encoding. Word will show you the “Convert File” dialog box like below.

Select the file format if you know like plain text or HTML document. If you are not clear, select “Encoded Text” option and click on “OK” button. Next, you will see “File Conversion” dialog box. Generally, “Windows (Default)” will choose the encoding based on your locale settings. This may create problems when viewing special symbols and characters.

Choose “Other encoding” option to enable the list box beside. You will see a list of encoding options available in the list and choose “Unicode (UTF-8)” format. If required, choose insert line breaks and allow character substitution options. Click “OK” to complete the process. Now, you have successfully changed the file’s character encoding to UTF-8.

This will help you to view the file’s content in readable format, as UTF-8 should support most of the characters.

Disable File Conversion

Once you are done with changing character encoding of a file, ensure to disable the file conversion option. Go back to “File > Options” and change the settings under “Advanced” section. This will help you to disable the file conversion dialog in future.

Saving Files in Different Encoding

You can’t change the encoding of a file that you are saving as a .docx file. Word will assign the character encoding by default based on your regional language installation or UTF-8. However, you can change the encoding by changing the file into plain text format.

• Go to “File” menu and select “Save As” option.
• Click on the “Save as type” dropdown and select “Plain Text” option.

Click on the “Save” button and Word will open “File Conversion” dialog box as explained above. From there, you can change the encoding and save your document.

Change Encoding in Word Office 365 on Mac

Similar to Windows, Office 365 version on Mac also has options to enable file format check and offer conversion.

• Open Microsoft Word document and go to “Word > Preferences…” section.
• Click on “General” under “Authoring and Proofing Tools” section.
• Enable “Confirm file format conversion at Open” under “Settings” section.
• Close all open documents for the changes to take effect.

Whenever you open an incompatible file, Word will show you the convert file from options dialog box.

Choose “Encoded Text” or the file format if you know and click on “OK” button. On the next dialog box, you can select “Other encoding” option and choose “Unicode (UTF-8)” encoding.

Unlike Windows, here you can clearly see the warning message showing select the encoding that makes your document readable. Also, you can find the incompatible text are marked with red with a message indicating those text will not save correctly with the selected encoding.

In addition, you can also save the file in plain text format to change the encoding in Mac same like in Windows Word version.

These days a docx file is really a bunch of compressed xml files. One of these files, is the document.xml file, which starts with the following line (i.e. an xml prolog):

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>

As you can see, it’s an UTF-8 encoding.

EDIT

UTF-8 supports the full set of Unicode characters. Just for the sake of completeness, that does not mean that all UTF-8 characters can actually be used in an xml file. Even a CDATA block has its limitations. But having said all that, storing an ` or an ì isn’t a problem.

And more importantly, the file format does not really have anything to do with copy-paste behavior of the application itself.

Nevertheless, here’s how word would store an ` and ì symbol.

CORRECTION

A bit confusing, but I just realized that by «smart quote» you probably refer to the mechanism that Word has to represent the curly quotes. In my previous answer I thought you meant «backticks», which is a different thing. — Sorry for the confusion.

Well, anyway, here are the unicodes for these smart quotes:

Let’s put them in a simple UTF-8 encoded text file.
The result is not that spectacular:

• U+2018 is encoded in UTF-8 as E2 80 98
• U+2019 is encoded in UTF-8 as E2 80 99
• U+201C is encoded in UTF-8 as E2 80 9C
• U+201D is encoded in UTF-8 as E2 80 9D

So, I went 1 step further and put them in a word file.
I entered a line with regular quotes, and one with smart quotes.

“ this is a test “ 
“ this is another test ”

And then, I saved the thing and looked how it was stored in Word’s xml structure. And actually it is exactly stored as expected.

В этой статье мы поговорим о том, как изменить кодировку в Word. Будет рассмотрено само понятие и предложены способы, с помощью которых можно проделать данную манипуляцию. К слову, способов будет два, но они отличаются друг от друга довольно сильно, именно поэтому стоит дочитать статью до конца, чтобы определить для себя тот метод, который подойдет лучше всего.

В чем проблема?

Изначально стоит поговорить о том, почему пользователю приходится иногда прибегать к изменению кодировки текста, а лишь потом перейти к тому, как изменить ее в Word.

По сути, проблемы в этом нет. Просто одну кодировку программа определить может, а другую нет. Точнее сказать, программа определяет любую кодировку, однако в автоматическом режиме делает это она не всегда. Чтобы в полной мере представить саму суть вопроса, стоит привести пример. Допустим, один «вордовский» документ был создан в Китае, там он отлично открывается и никаких «закорючек» нет. Однако, скинув этот же документ пользователю из России, после открытия его невозможно будет прочитать. Все это потому, что в разных странах используется своя кодировка текста. Так, у нас преобладает «Юникод», который также называется UTF-8, именно поэтому в программе он выставлен по умолчанию, а в Азии пользуются Китайской традиционной под названием Big5, и там именно эта кодировка считается стандартной. Так и выходит, что файлы, созданные в одном регионе, зачастую невозможно открыть в другом без изменения кодировки в программе.

Определение

Мы подробно поговорили о сути проблемы, теперь можно переходить непосредственно к определению, а уже потом коснемся того, как изменить кодировку в Word.

Кодировкой называется схема символов (чаще — цифры), в которой определенный блок соответствует конкретному символу в языке. Документ же несет лишь одну схему, а программа уже преобразует ее в текст. К слову, региональная зависимость появляется также потому, что одну и ту же схему для различных языков сделать невозможно, именно поэтому было создано огромное множество различных кодировок.

Изменение при открытии

Теперь поговорим о том, как изменить кодировку в Word. Способ, который сейчас будет представлен, подразумевает проведение этого действия при открытии документа.

Итак, чтобы произвести все настройки, необходимо:

1. Открыть документ. Также можно открыть саму программу без него, это допустимо.

2. Нажать на кнопку «Файл».

3. Перейти в меню «Параметры». Данный пункт располагается в нижней части панели слева.

4. Перейти в раздел «Дополнительно».

5. В окне пролистать меню до группы «Общие», поставить отметку рядом с «Подтверждать преобразование формата файла при открытии».

6. Кликнуть «ОК».

Так мы сказали программе, что при открытии файлов хотим проводить с ними дополнительные настройки. Поэтому сейчас необходимо закрыть программу, запустить проблемный файл с неверным кодом.

В Word 2010 изменить кодировку можно точно так же, просто вместо меню «Файл» надо нажимать кнопку MS Office.

1. При открытии увидите окошко «Преобразование файла», необходимо в нем перейти в меню «Кодированный текст».

2. В верхней части окна поставьте пометку на пункте «Другая», чтобы список справа стал активен.

3. В списке надо выбрать кодировку файла. К слову, если вы не знаете, какая именно кодировка документа, то можно поочередно кликать каждую, просматривая результат в окошке «Образец». И когда текст станет читабелен, нажать «ОК».

Это был первый способ, как изменить кодировку текста в Word. А сейчас незамедлительно переходим ко второму.

Изменение при сохранении

Итак, перед нами открыт файл с неверной кодировкой в программе, чтобы это исправить, нужно:

1. Нажать «Файл».

2. Перейти в раздел «Сохранить как».

3. Задать имя файлу.

4. Выбрать тип файла «Обычный текст».

5. Нажать кнопку «Сохранить».

6. В появившемся окне, как и в предыдущем способе, указать верную кодировку.

7. Нажать «ОК».

Вот и все. Теперь знаете, как изменить кодировку в Word.