Word based что это

На основании Вашего запроса эти примеры могут содержать грубую лексику.

На основании Вашего запроса эти примеры могут содержать разговорную лексику.

Yet they claim their doctrine is Word-based.

And even the music I listen to is Word-based.

In the space of 500 years the church moved from word-based apostolic simplicity to Medieval ceremonial ostentation.

Nevertheless, it would appear that the automatic word-based filter used by the applicant company was relatively easy to circumvent.

Тем не менее, надо полагать, что автоматический словарный фильтр, который использовала Компания-заявитель, было относительно легко обойти.

It is necessary to notice the impossibility of performance of word-based translation of all trivial (not chemical) names of materials that are in daily use of producers.

Необходимо отметить невозможность дословного перевода всех бытовых (не химических) названий материалов, которыми пользуются производители в обиходе.

The findings indicate that the mind’s building blocks for constructing complex thoughts are formed by the brain’s various sub-systems and are not word-based.

Полученные данные показывают, что блоки построения ума для построения сложных мыслей формируются различными подсистемами мозга и не основаны на словах.

Please note that the search space restriction in this case is usually worse and the corresponding recognition accuracies are lower than with a word-based language model.

Обратите внимание, что ограничение пространства поиска в этом случае обычно хуже, а точность распознавания ниже, чем при использовании языковой модели на основе слов.

Thus, while there is no reason to doubt its usefulness, the Court considers that the word-based filter as such was insufficient for preventing harm being caused to third persons.

Таким образом, притом что нет причин ставить под сомнение его полезность, Суд считает, что одного только словарного фильтра было недостаточно для предотвращения вреда третьим лицам.

Due to the fact that so much of the internet is largely ‘word-based‘, it’s easier for us to think of it as one, incredibly long book (even though this isn’t the best metaphor for the internet) and SEO as the index.

Из-за того, что большая часть интернета в значительной степени «основана на словах», нам легче думать о ней как об одной невероятно длинной книге (даже если это не лучшая метафора для интернета) и SEO как индекс.

Women may be poised to dominate America’s word-based professions, like journalism, public relations, and law, but women’s preeminence gets more complicated when it comes to professions regarding The Word.

Возможно, они готовы доминировать в профессиях, требующих многословия, например, в журналистике, связях с общественностью и юриспруденции, но превосходство женщин малозаметно в профессиях, связанных со словом Божьим.

As the letter of the Internet Associations of Ukraine states, demanding that such resolution by Minstets to be canceled, even the very title of the document contains a word-based translation of phrases used by Roskomnadzor.

Как отмечают в письме Интернет ассоциации Украины, с требованием отменить такое решение «Минстеця», даже само название документа содержит подстрочный перевод фраз, используемых Роскомнадзором.

The transition from a word-based index to this knowledge graph is a fundamental shift that will radically increase power and complexity.

Переход от основанного на словах индекса к этому древу знаний — фундаментальный сдвиг, в результате которого способности системы и ее сложность увеличатся радикально.

The transition from a word-based index to this knowledge graph is a fundamental shift that will radically increase power and complexity.

Переход от индекса на основе последовательности букв к такой схеме знаний — это фундаментальный сдвиг, который резко увеличит возможности и сложность поиска.

If in mindfulness practice our mind is filled with word-based left-sided chatter at that moment, we could propose that there is a fundamental neural competition between right (body sense) and left (word-thoughts) for the limited resources of attentional focus at that moment.

Если в процессе выполнения практики внимательности наш ум заполнен словесным рассказом левого полушария, то это означает, что имеет место мощная нейрональная конкуренция между правым полушарием (ощущение тела) и левым (облеченные в слова мысли) за ограниченные ресурсы фокуса внимания, имеющиеся в этот момент.

In this new experimental study, the researchers compared the effectiveness of Tetris at reducing flashbacks with Pub Quiz Machine 2008, a word-based quiz game.

Чтобы убедиться, что подобного эффекта можно достичь только при игре в Тетрис, исследователи сравнили тетрис с другой игрой под названием Pub Quiz Machine 2008, которая представляет собой словесную викторину.

Nevertheless, and more importantly, the automatic word-based filter used by the applicant company failed to filter out odious hate speech and speech inciting violence posted by readers and thus limited its ability to expeditiously remove the offending comments.

Тем не менее, и это еще важнее, автоматическая система фильтрации по определенным словам, которую использовала компания-заявительница, не смогла отфильтровать размещенные читателями одиозные агрессивные высказывания и призывы к насилию и, следовательно, ограничила возможности компании-заявительницы по оперативному удалению оскорбительных комментариев.

To see if this effect was found only in Tetris or with other games as well, the researchers compared Tetris with Pub Quiz Machine 2008, a word-based quiz game.

Чтобы убедиться, что подобного эффекта можно достичь только при игре в Тетрис, исследователи сравнили тетрис с другой игрой под названием Pub Quiz Machine 2008, которая представляет собой словесную викторину.

The purpose of Cross+A is to simplify the solution of crosswords, word-based puzzles, anagrams, criptorithms, nonograms, sudokus and kakuro. Cross+A provides very flexible and powerful search tools.

Программа предназначена для решения кроссвордов, сканвордов, криптарифмов, судоку, какуро и японских кроссвордов (черно-белых и многоцветных нонограмм), а также для поиска анаграмм, словосочетаний, цепочек слов и метаграмм.

Другие результаты

The system ranks words based on how they make people feel.

Система проводит ранжирование слов на основании того, какие чувства они вызывают у людей.

As a result, you can argue against or interpret my words based on the filter of your current role.

В результате вы можете спорить или интерпретировать мои слова, основываясь на фильтре своей нынешней роли.

Ничего не найдено для этого значения.

Результатов: 390. Точных совпадений: 18. Затраченное время: 354 мс

Documents

Корпоративные решения

Спряжение

Синонимы

Корректор

Справка и о нас

Индекс слова: 1-300, 301-600, 601-900

Индекс выражения: 1-400, 401-800, 801-1200

Индекс фразы: 1-400, 401-800, 801-1200

Материал автора блога «Вастрик.ру» о типах машинного перевода и будущем этого направления.

В среднем за день я открываю Google Translate в два раза чаще, чем Facebook. Переводя очередной ценник в супермаркете, я уже не ощущаю тёплое дыхание киберпанка — это будничная реальность. А ведь исследователи почти столетие бились над алгоритмами машинного перевода, половину из этого периода — без особых успехов.

Однако именно их наработки теперь лежат в основе всех современных систем обработки языка: от поисковиков до микроволновок с голосовым управлением. Поговорим о том, как развивался и как устроен онлайн-перевод.

Наша история начинается в 1933 году. Советский ученый Пётр Троянский обращается в Академию наук СССР с изобретённой им «машиной для подбора и печатания слов при переводе с одного языка на другой». Машина была крайне проста: большой стол, печатная машинка с лентой и плёночный фотоаппарат. На столе лежали карточки со словами и их переводами на четырёх языках.

Оператор брал первое слово из текста, находил карточку с ним, фотографировал её, а на печатной машинке набирал его морфологическую информацию: существительное, множественное число, родительный падеж.

Её клавиши были модифицированы для удобства, каждая однозначно кодировала одно из свойств. Лента печатной машинки и плёнка камеры подавались параллельно, на выходе формируя набор кадров со словами и их морфологией:

Полученная лента отдавалась знающим конкретные языки лингвистам, которые превращали набор фотографий в связный литературный текст. Получается, чтобы переводить тексты, как оператору, так и лингвистам требовалось знать только свой родной язык.

Машина Троянского впервые на практике реализовала тот самый «промежуточный язык» (interlingua), о создании которого мечтали ещё Лейбниц и Декарт.

По классике в СССР изобретение признали ненужным, Троянский умер от стенокардии, 20 лет пытаясь доработать детище. Никто в мире так и не знал о машине, пока его патенты не откопали в архивах двое других советских учёных в 1956 году.

Произошло это неслучайно. Они искали ответ на вызов холодной войны, ведь 7 января 1954 года в штаб-квартире IBM в Нью-Йорке произошёл Джорджтаунсий эксперимент. Компьютер IBM 701 впервые в мире автоматически перевёл 60 предложений с русского языка на английский.

«Девушка, которая не понимает ни слова на языке Советов, набрала русские сообщения на перфокартах. Машинный мозг сделал их английский перевод и выдал его на автоматический принтер с бешеной скоростью — две с половиной строки в секунду», — сообщалось в пресс-релизе компании IBM.

Газеты пестрили ликующими заголовками, но никто не говорил, что примеры для перевода были тщательно подобраны и протестированы, чтобы исключить любую неоднозначность. Для повседневного использования эта система подходила не лучше карманного разговорника.

Но гонка вооружений была запущена. Канада, Германия, Франция и особенно Япония тоже подключились к гонке за машинный перевод. Сорок лет учёные бились в попытках улучшить машинный перевод, но тщетно. В 1966 году американский комитет ALPAC опубликовал свой знаменитый отчёт, в котором назвал машинный перевод дорогим, неточным и бесперспективным.

Отчёт рекомендовал больше сфокусироваться на разработке словарей, чем на машинном переводе, из-за чего исследователи из США практически на десятилетие выбыли из гонки.

Несмотря на всё, именно попытки учёных, их исследования и наработки впоследствии лягут в основу современной обработки естественного языка (Natural Language Processing). Поисковики, спам-фильтры, персональные ассистенты — всё это появится благодаря тому, что кучка стран сорок лет подряд пытались шпионить друг за другом.

Машинный перевод на основе правил — Rule-based Machine Translation (RBMT)

Идеи машинного перевода на основе правил начали появляться ещё в 1970-х годах. Учёные подсматривали за работой лингвистов-переводчиков и пытались запрограммировать свои большие и медленные «компуктеры» повторять за ними. Их системы состояли из:

В общем-то всё. По желанию они дополнялись списками имён, корректорами орфографии и транслитераторами.

Promt и Systran — самые известные примеры RBMT-систем. Например, фраза: «Охладите траханье, углепластик, я рассматриваю её пользу». Золотое время же. Aliexpress вон до сих пор так переводит. Но даже у них были свои нюансы и подвиды.

Системы дословного перевода (Direct Machine Translation)

Это самый простой способ машинного перевода, понятный любому пятикласснику. Делим текст по словам, переводим каждое, немножко правим морфологию, чтобы звучало не криво, согласуем падежи, окончания и остальной синтаксис.

Специально обученные лингвисты по ночам пишут правила под каждое слово. На выходе получаем что-то переведённое. Чаще всего полное говно. Только лингвистов зря попортили. В современных системах подход не используется вообще, рассказываю, чтоб чисто поржать.

Трансферные системы (Transfer-based Machine Translation)

В них мы не кидаемся сразу переводить по словарю, а немного готовимся. Разбираем текст на подлежащее, сказуемое, ищем определения и всё остальное, как учили в школе. Взрослые дядьки говорят: «Выделяем синтаксические конструкции». После этого в систему мы уже не закладываем правила перевода каждого слова, а манипулируем целыми конструкциями.

В теории даже можем добиться более-менее неплохой конвертации порядка слов в языках. На практике всё ещё тяжело, лингвисты по-прежнему гибнут от физического истощения, а перевод получается фактически дословный. С одной стороны, проще: можно задать общие правила согласования по роду и падежу. С другой — сложнее: сочетаний слов намного больше, чем самих слов. Каждый вариант не учтёшь вручную.

Интерлингвистические системы (Interlingua Machine Translation)

Полностью конвертируем исходное предложение в некое промежуточное представление, единое для всех языков мира — интерлингва (interlingua). В ту самую интерлингву, которой грезил сам Декарт. Специальный метаязык, правила которого едины и покрывают все языки мира, тем самым превращая перевод в техническую задачу перегона туда-сюда.

Специальные парсеры затем конвертируют эту интерлингву в нужный язык и вот она — сингулярность.Часто интерлингву путают с трансферными системами, ведь там тоже есть конвертация. Однако в трансферных системах правила конвертации пишутся под два конкретных языка, а в интерлингвистической между каждым языком и интерлингвой. Добавив в интерлингвистическую систему третий язык, мы сможем переводить между всеми тремя, а в трансферной — нет.

В реальной жизни всё оказалось не так радужно. Создать универсальную интерлингву вручную оказалось крайне сложно. Некоторые учёные жизни свои положили на это. Ничего не получилось, однако благодаря им у нас появились методы морфологического, синтаксического и даже иногда семантического анализа. Одна только модель «Смысл <-> Текст» чего стоит. Но сама идея промежуточного языка еще вернётся к нам позже. Надо будет подождать всего 30 лет.

Как можно заметить, все RBMT тупы, ужасны, поэтому сейчас редко используются. Разве что в специфических местах вроде перевода метеосводок. Среди плюсов RBMT отмечают морфологическую точность (не путает слова), воспроизводимость (все переводчики получат одинаковый результат) и возможность затюнить под предметную область (обучить специальным терминам экономистов или программистов).

Даже если представить, что учёным удалось бы создать идеальную RBMT, а лингвистам заложить в неё все правила правописания, за дверью их уже поджидало веселье — исключения. Неправильные глаголы в английском, плавающие приставки в немецком, суффиксы в русском, да и просто ситуации, когда «у нас так не говорят, надо вот так».

Попытка учесть все нюансы оборачивается миллионами потраченных зря человекочасов. Множество правил всё равно не решает главной проблемы — омонимии. Одно и то же слово может иметь разный смысл в зависимости от контекста, а значит, отличается и его перевод. Вспоминается пример с одной из старых лекций Сегаловича: «Эти типы стали есть на складе». Он говорил, что может найти четыре разных варианта прочтения этого предложения. А вы?

За сорок лет холодной войны учёные так и не смогли найти внятного решения. RBMT сдох.

Машинный перевод на примерах — Example-based Machine Translation (EBMT)

В битве за машинный перевод в те годы была особенно заинтересована Япония. Там не было холодной войны, но были свои причины: крайне мало кто в стране знал английский. Это сулило большие трудности на вечеринке наступающей глобализации, из-за чего японцы были мотивированы найти рабочий метод машинного перевода.

Англо-японский перевод на основе одних только правил сложен, строение языков отличается, почти все слова приходится переставлять и добавлять новые.

В 1984 году учёному университета Киото по имени Макото Нагао приходит идея. А что если не пытаться каждый раз переводить заново, а использовать уже готовые фразы?

Предположим, нам надо перевести предложение «я иду в магазин». Где-то в заначке у нас уже есть перевод похожей фразы «я иду в театр» и словарь с переводом слова «магазин». Мы ведь можем как-то попытаться вычислить разницу и перевести только одно слово в имеющемся примере, не похерив остальные конструкции. И чем больше у нас примеров — тем лучше перевод.

Историческая важность метода была в том, что учёные всего мира впервые прозрели: можно не тратить годы на создание правил и исключений, а просто взять множество уже имеющихся переводов и скормить их машине. Это была ещё не революция, но шаг к ней. До революции и изобретения статистического перевода оставалось пять лет.

Статистический машинный перевод — Statistical Machine Translation (SMT)

На рубеже 1990 года в исследовательском центре IBM впервые показали систему машинного перевода, которая ничего не знала о правилах и лингвистике. Учёные показали бездушному компьютеру очень много одинаковых текстов на двух языках и заставили его разбираться в закономерностях самому.

Идея была проста и одновременно красива: берём одно предложение на двух языках, разбиваем его по словам и пытаемся сопоставить каждое слово с его с переводом. Повторяем эту операцию где-то 500 млн раз, а машина считает, сколько раз у нас слово das Haus переводилось как house, building, construction, и так далее.

Наверное, чаще всего это был house, его и будем использовать. Заметьте, мы не задали ни правил, ни словарей. Машина сама всё нашла, руководствуясь чистой статистикой и логикой «люди переводят вот так, значит, и я буду». Так родился статистический перевод.

Точность таких переводчиков оказалась заметно выше всех предыдущих, а разработка не требовала никаких лингвистов. Находим больше текстов — улучшаем перевод. Одна проблема: как машина догадается, что для das Haus парой является именно house, а не любое другое слово из предложения? Порядок слов-то разный, откуда мы знаем как именно надо разбить и найти нужные слова?

Ответ: никак. В начале работы машина с равной долей вероятности считает, что слово das Haus переводится как любое из слов имеющегося предложения. Когда она встречает das Haus в других предложениях, то количество переводов das Haus как house начинает увеличиваться с каждым разом.

Это называется «алгоритмом выравнивания слов» (word aligment). Типичная задача машинного обучения, такие решают в университетах. Машине нужны миллионы предложений на двух языках, чтобы набрать статистику по каждому слову. И где столько взять? Так вон, в Европарламенте и совете ООН ведут конспекты заседаний на языках всех стран-членов, их и возьмём. Сейчас они даже открыли их для скачивания: UN Corpora и Europarl Corpora.

Статистический перевод по словам — Word-based SMT

Первые системы статистического перевода опять начали с деления по словам. Это казалось логично и просто. Первую изобретённую модель статистического перевода в IBM назвали IBM Model 1. Изящно, да. Догадайтесь, как назвали вторую?

Model 1: мешок слов

Классический подход — делим всё на слова и считаем статистику. Никакого учёта порядка или перестановок. Из хитростей разве что это: Model 1 умела переводить одно слово в несколько. Der Staubsauger (пылесос) легко превращался в Vacuum Cleaner, но обратно уже как повезёт. На Python можно найти простенькие реализации: shawa/IBM-Model-1.

Model 2: учёт порядка слов в предложении

Отсутствие знаний о порядке слов в языках стало проблемой для Model 1. В некоторых он очень важен. Поэтому в Model 2 стали запоминать, на каком месте слово появляется в переведённом предложении. Добавили промежуточный шаг — после перевода машина пыталась переставить слова местами так, как, она думала, будет звучать более естественно. Стало лучше, но всё ещё хреново.

Model 3: добавление отсутствующих слов

Часто при переводе появляются новые слова, которых не было в оригинальном тексте. В немецком языке внезапно вылезают артикли, в английском вставляют глагол do где ни попадя. «Я не хочу хурмы» → «I do not want persimmons». Чтобы решить эту проблему, в Model 3 добавили два промежуточных шага:

Model 4: перестановки слов

Model 2 хоть и учитывала порядок слов в предложении, но ничего не знала про перестановки слов между собой. Часто при переводе надо, например, поменять существительное и прилагательное местами.

Тут, сколько ни запоминай их порядок по всему предложению, — лучше не станет. Потому в Model 4 стали учитывать ещё и так называемый «относительный порядок». Если при переводе два слова постоянно менялись друг с другом — модель это запоминала.

Model 5: багфиксы

Особо ничего нового. В Model 5 добавили параметров для обучения и пофиксили проблемы, когда два слова конфликтовали за место в предложении.

Несмотря на всю революционность, Word-based системы по прежнему ничего не могли поделать с падежами, родом и омонимией. Каждое слово они переводили единственным, по их мнению, верным способом. Сейчас такие системы не используются, их заменил более продвинутый метод — перевод по фразам. Про омонимию у меня есть любимая шутка:

Статистический перевод по фразам — Phrase-based SMT

Взял за основу все принципы перевода по словам: статистика, перестановки и лексические хаки. Но для обучения он разбивал текст не только на слова, но и на целые фразы. Точнее, N-граммы или фраземы — пересекающиеся наборы из N слов подряд. Машина училась переводить устойчивые сочетания слов, что заметно улучшило точность.

Хитрость метода заключалась в том, что фразы не всегда были понятными нам со школы синтаксическими конструкциями. Как только в перевод пытался вмешиваться человек, знающий про лингвистику и строение предложений, качество перевода резко падало. Пионер компьютерной лингвистики Фредерик Йелинек однажды пошутил по этому поводу: «Каждый раз, когда из команды уходит лингвист, качество распознавания возрастает».

Помимо улучшения точности, перевод по фразам дал больше свободы в поиске двуязычных текстов для обучения. Для Word-based перевода было очень важно точное соответствие переводов, что исключало любые литературные или вольные переводы. Phrase-based прекрасно обучался даже на них. Многие даже начали парсить новостные сайты на разных языках и улучшать перевод текстами оттуда.

С 2006 года этот подход начали использовать все. Google, «Яндекс», Bing и другие качественные онлайн-переводчики работали именно как Phrase-based аж до самого 2016-го года. Каждый из вас может припомнить опыт, когда одно предложение Google переводил на отлично, литературно переставляя слова, а на другом начинал гнать полную околесицу. Такова особенность перевода по фразам.

Если старый добрый Rule-based подход стабильно давал хоть и ужасный, но предсказуемый результат, то статистические методы иногда удивляли и озадачивали. Можно вспомнить десяток шуток про Google Translate, когда он переводил «three hundred» как «300» и даже не смущался. Этот косяк назвали статистическими аномалиями.

Phrase-based перевод стал настолько популярным, что когда вы слышите «статистический машинный перевод», скорее всего, имеется в виду именно он. Вплоть до 2016 года во всех исследованиях Phrase-based перевод хвалебно называли the state-of-art. Тогда никто даже не подозревал, что в лаборатории Google уже завозят под это дело фуры с нейросетями, чтобы опять изменить наше представление о машинном переводе.

Статистический перевод на основе синтаксиса — Syntax-based SMT

Стоит кратенько упомянуть и этот метод. До прихода нейросетей про синтаксический перевод многие годы говорили как про «будущее переводчиков», но достичь успеха он так и не успел.

Адепты синтаксического перевода верили в объединение подходов SMT и старого трансферного перевода по правилам. Нужно научиться делать достаточно точный синтаксический разбор предложения — определять подлежащее, сказуемое, зависимые члены и вот это вот всё, а затем построить дерево.

Имея такое дерево, можно обучить машину правильно конвертировать фигуры одного языка в фигуры другого, выполняя остальной перевод по словам или фразам. Только делать это теперь не руками, а машинным обучением. В теории это решило бы проблему порядка слов навсегда.

Трудность в том, что хоть человечество и считает проблему синтаксического разбора давно решённой (для многих языков есть готовые библиотеки), по факту он работает весьма плохо. Я лично много раз пытался использовать синтаксические деревья для задач сложнее вычленения подлежащего и сказуемого и каждый раз отказывался от этого в пользу других методов.

Если у вас был хоть один успешный опыт с ними, расскажите в комментариях.

Нейронный машинный перевод — Neural Machine Translation (NMT)

В 2014 году выходит статья с кратким описанием идеи применения нейросетей глубокого обучения к машинному переводу. В интернете её вообще никто не заметил, а вот в лабораториях Google начали активно копать. Спустя два года, в ноябре 2016 года, в блоге Google появился анонс, который и перевернул игру.

Идея была похожа на перенос стиля между фотографиями. Помните приложения вроде Prisma, которые обрабатывали фоточки в стиле известного художника? Там не было особой магии — нейросеть обучили распознавать картины художника, а потом «оторвали» последние слои, где она принимает решение. Получившиеся кишочки — промежуточное представление сети — и были той самой стилизованной картинкой. Она так видит, а нам красиво.

Если с помощью нейросети мы можем перенести стиль на фото, то что если попытаться подобным образом наложить другой язык на наш текст? Представить язык текста как тот самый «стиль художника», попытавшись его перенести, сохранив суть изображения (то есть суть текста).

Представьте, что я на словах описываю вам, как выглядит моя собака: средний размер, острый нос, большие уши, короткий хвост и гавкает постоянно. Я передаю вам набор характеристик собаки и при достаточно точном описании вы сможете даже нарисовать её, хотя никогда вживую не встречали.

Что если представить исходный текст как набор таких же характерных свойств? То есть закодировать его так, чтобы затем другая нейросеть — декодер — расшифровала его обратно в текст, но уже на другом языке. Мы специально обучим декодер знать только свой язык. Он и понятия не имеет, откуда взялись характеристики, но умеет выразить их, скажем, на испанском.

Продолжая аналогию: какая вам разница, чем рисовать описанную мной собаку — карандашами, акварелью или пальцем по грязи. Рисуете как умеете.

Ещё раз: первая нейросеть умеет только кодировать предложение в набор цифр-характеристик, а вторая — только декодировать их обратно в текст. Обе понятия не имеют друг о друге, каждая знает только свой язык. Ничего не напоминает? К нам вернулась идея интерлингвы. Та-дам.

Но как найти эти характеристики? С собакой всё понятно, у неё лапки и другие части тела, а с текстами как? Учёные 30 лет назад уже пытались скрафтить универсальный языковой код, это закончилось полным провалом.

Но у нас теперь есть диплёрнинг, который как раз этим и занимается. Главное отличие диплёрнинга от классических нейросетей как раз и было в том, что его сети обучаются находить характерные свойства объектов, не понимая их природы. При наличии достаточно большой нейросети и пары тысяч видеокарт в заначке, можно попытаться найти такие характеристики и в тексте.

Вопрос только в том, какой вид нейросети использовать в кодере и декодере. Для картинок отлично подходят свёрточные нейросети (CNN), потому что они работают с независимыми блоками пикселей. Но в тексте не бывает независимых блоков, каждое следующее слово зависит от предыдущих и даже последующих. Текст, речь и музыка всегда последовательны.

Для их обработки лучше подходят реккурентные нейросети (RNN), ведь они помнят предыдущий результат. В нашем случае это предыдущие слова в предложении. RNN сейчас применяют много где: распознавание речи в Siri (парсим последовательность звуков, где каждый зависит от предыдущего), подсказки слов на клавиатуре (запоминаем предыдущие и угадываем следующее), генерация музыки, даже чат-боты.

За два года нейросети превзошли всё, что было придумано в переводе за последние 20 лет. Нейронный перевод делал на 50% меньше ошибок в порядке слов, на 17% меньше лексических и на 19% грамматических ошибок. Нейросети даже научались сами согласовывать род и падежи в разных языках, никто их этому не учил.

Самые заметные улучшения были там, где никогда не существовало прямого перевода. Методы статистического перевода всегда работали через английский язык. Если вы переводили, например, с русского на немецкий, машина сначала перегоняла текст в английский, а только потом переводила на немецкий. Двойные потери. Нейронному переводу это не нужно — подключай любой декодер и погнали. Впервые стало возможно напрямую переводить между языками, у которых не было ни одного общего словаря.

Google Translate (2016)

В 2016 году Google включила нейронный перевод девяти языков между собой, в 2017 году был добавлен и русский. Google разработала собственную систему под нехитрым названием Google Neural Machine Translation (GNMT), состоявшую аж из восьмислойного RNN на входе и на выходе и системы согласования контекста под названием Attention Model.

При обучении они не просто разбивали предложения по фразам и словам, они делили даже сами слова на части. Этим они пытались решить одну из главных проблем NMT — они беспомощны, когда слова нет в их словарном запасе.

Например, «Вастрик». Вряд ли кто-то обучал нейросеть переводить мой никнейм. В этом случае GMNT пытается собрать его и склеить как раз по этим частям. Хитро.

В онлайн-версии Google Translate сделали ещё и механизм краудсорсинга переводов. Сейчас пользователи могут выбрать наиболее правильную, по их мнению, версию перевода, и, если так многим она понравится, Google будет всегда переводить эту фразу именно так, помечая специальным значком.

Это круто работает на коротких повседневных фразах вроде «пойдём на обед» или «буду ждать внизу». Google знает разговорный английский лучше меня. Переводчик Bing от Microsoft работает как полная копия Google Translate. А вот «Яндекс» от них отличается.

«Яндекс.Переводчик» (2017)

«Яндекс» запустил свой нейросетевой перевод в 2017 году. Главным отличием они заявили гибридность. Переводчик «Яндекса» переводит предложение сразу двумя методами — статистическим и нейросетевым, а потом с помощью их любимого алгоритма CatBoost находит наиболее подходящий.

Дело в том, что нейронный перевод плохо справляется с короткими фразами. Когда вам надо перевести словосочетание вроде «сиреневая бетономешалка», нейросети могут нафантазировать лишнего, а простой статистический перевод найдёт оба слова тупо, быстро и без проблем.

Других подробностей «Яндекс» нам не рассказывает, отбиваясь нетехническими пресс-релизами.

Заключение и будущее

Всех по-прежнему будоражит идея «Вавилонской Рыбки» — синхронного перевода речи на лету. Google делала шаг в этом направлении, когда анонсировала Pixel Buds, но на поверку всё оказалось плохо. Синхронный перевод на лету отличается от обычного, ведь нужно знать места, когда начать переводить, а когда сидеть и слушать. Нормального решения я так и не встречал.

Вот ещё одно не паханное поле на мой взгляд: всё обучение по прежнему упирается в ограниченный набор параллельных корпусов с текстами. Хвалёные глубоченные нейросети всё равно обучаются именно на параллельных текстах.

Мы не можем обучить нейросеть, не давая ей оригинала. Но человек-то может, начиная с определённого уровня знаний языка, пополнять словарный запас просто от чтения книг или статей, даже не переводя их на свой родной язык.

Если может человек, то и нейросеть в теории тоже. Встречал только один прототип, где придумали, как заставить обученную одному языку нейросеть бросить на другие тексты, чтобы набралась побольше опыта. Я бы и сам попробовал, но я глупенький. Так что на этом всё.

Полезные ссылки

Предложения с «word based»

But many secondary sources continue to show 1909 as the earliest known example of the word based on the OED’s original entry.	Но многие вторичные источники продолжают показывать 1909 год как самый ранний известный пример слова , основанного на первоначальной записи OED.
Assigning time series pattern to a specific category, for example identify a word based on series of hand movements in sign language.	Присвоение паттерна временных рядов определенной категории, например определение слова на основе серии движений рук в языке жестов.
Click on a word is used to measure knowledge of vocabulary; in the paper-based test this language skill is examined by the multiple choice questions.	Тип вопроса click on a word может использоваться для проверки знания лексики; в письменном варианте TOEFL данный языковой навык проверялся с помощью вопросов multiple choice.
You’re asking me to seriously question the integrity of a police investigation based on the word of the accused and the mother of his child?	Ты просишь меня подвергнуть сомнению добросовестность полицейского расследования основываясь на словах обвиняемого и матери его ребенка?
And Sam is going to believe that a senior FBI agent is a mole, with no evidence, based solely on the word of a man he knows for certain has broken the law?	И Сэм поверит, что высокопоставленный агент ФБР — крот, без доказательств, основываясь только на словах человека, который, как он точно знает, нарушил закон?
Questioning Mark Fuhrman about the use of the N word… is it based on something you know or just your views of the LAPD in general?	Вопрос Марку Фюрману про слово на Н — на то есть причины или это просто общее представление о полиции?
So why was it so easy to question her integrity based on the word of a doctor you hardly knew?	Почему вы так легко засомневались в ее честности, основываясь на словах от едва знакомого врача?
Christine has been accused of something based on the word of a two-year-old whose neural connections haven’t fully formed yet.	Кристин обвинили в кое в чем, на основании слов двухлетнего, чьи нервные связи еще не полностью сформировались.
And now you’re asking a jury to believe these guys fabricated a report based on the word of a career whistle-blower.	И сейчас ты хочешь, чтобы присяжные поверили, что отчет фальшивый, основываясь на показаниях доносчика со стажем.
Additionally, another British physician, CJ Thomas, provided a summary of congenital word blindness based on 100 cases at special schools in England.	Кроме того, другой британский врач, Си Джей Томас, представил резюме врожденной слепоты слова на основе 100 случаев в специальных школах в Англии.
Over 320,000 VHS copies were shipped throughout the United States, and based on its award nominations and word of mouth, it became one of the top rented films of 1995.	Более 320 000 копий VHS были отправлены по всей территории Соединенных Штатов, и на основе его номинаций на премию и сарафанного радио он стал одним из лучших фильмов, взятых напрокат в 1995 году.
The primary sources typically coined only one word each in the set of age-based -philias.	Первоисточники, как правило, выдумывали только по одному слову в каждом наборе на основе возраста — philias.
Most approaches that produce multi-sense embeddings can be divided into two main categories for their word sense representation, i.e., unsupervised and knowledge-based.	Большинство подходов, которые производят многозначные вложения, можно разделить на две основные категории для их представления смысла слова , т. е. неконтролируемые и основанные на знаниях.
A passage deriving polis from a Greek root word for ploughing also returns us to Pound’s belief that society and economic activity are based on natural productivity.	Отрывок, производящий polis от греческого корня слова для пахоты, также возвращает нас к убеждению Паунда, что общество и экономическая деятельность основаны на естественной производительности.
The word was assimilated into English as orthopædics; the ligature æ was common in that era for ae in Greek- and Latin-based words.	Это слово было ассимилировано в английском языке как orthopædics; лигатура æ была распространена в ту эпоху для ae в греческих и латинских словах .
Whether to use these should be based on a balance between the width of column & the length of the word.	Следует ли использовать их, основываясь на балансе между шириной столбца и длиной слова .
Based on uses of the word in ancient Greek medical literature, several scholars suggest that the color reflects the sickly pallor of a corpse.	Основываясь на использовании этого слова в древнегреческой медицинской литературе, некоторые ученые предполагают, что цвет отражает болезненную бледность трупа.
Patel is best known for her book Migritude, based on the 90-minute spoken-word theatre show of the same name.	Патель наиболее известна своей книгой Migritude, основанной на 90 — минутном разговорном театральном шоу с тем же названием.
Based on a linear combination of such eigenvoices, a new voice pronunciation of the word can be constructed.	На основе линейной комбинации таких собственных звуков можно построить новое голосовое произношение слова .
If a specific word for resilience does not exist in a language, speakers of that language typically assign a similar word that insinuates resilience based on context.	Если в языке не существует определенного слова для обозначения устойчивости, носители этого языка обычно присваивают аналогичное слово , которое подразумевает устойчивость на основе контекста.
I doubt the word ‘Democracy’ is used but it is true that the Spartan political system was based on democratic principles.	Я сомневаюсь, что используется слово демократия, но это правда, что спартанская политическая система была основана на демократических принципах.
Edges are created based on word co-occurrence in this application of TextRank.	Ребра создаются на основе совпадения слов в этом приложении TextRank.
For more advanced programmers, there’s also the Gensim library, which focuses on word embedding-based text representations.	Для более продвинутых программистов есть также библиотека Gensim, которая фокусируется на текстовых представлениях на основе встраивания слов.
Only text-only pdf can be converted to text based formats like word, doc, html etc.	Только текст — только pdf может быть преобразован в текстовые форматы, такие как word, doc, html и т. д.
Most often, a character will be used for both sound and meaning, and it is simply a matter of choosing the correct reading based on which word it represents.	Чаще всего символ будет использоваться как для звука, так и для значения, и это просто вопрос выбора правильного чтения, основанного на том, какое слово он представляет.
Please understand that my request is not based on some puerile juvenile wish to see the naughty word on the main page.	Пожалуйста, поймите, что моя просьба не основана на каком — то ребяческом желании увидеть непослушное слово на главной странице.
The regular system for naming specific phobias to use prefix based on a Greek word for the object of the fear, plus the suffix -phobia.	В обычной системе наименования конкретных фобий используется префикс, основанный на греческом слове для обозначения объекта страха, плюс суффикс — фобия.
For example, Google Docs uses this technique to create a Web-based word processor.	Например, Google Docs использует этот метод для создания текстового процессора на основе Интернета.
The pre-trained network was trained using letter based representations of English monosyllabic words or English word pairs.	Предварительно обученная сеть обучалась с использованием буквенных представлений английских односложных слов или английских пар слов.
The needy get on Heart-to-Heart’s list based on good faith by word of mouth.	Нуждающиеся попадают в список от сердца к сердцу, основанный на добросовестности из уст в уста.
The word ‘I’ does not appear, based on word searches.	Вместо этого Бадды находили фекалии на одном и том же месте тротуара по крайней мере раз в неделю.
The doctrine of estoppel is based on the principle that consistency in word and action imparts certainty and honesty to human affairs.	Доктрина эстоппеля основана на принципе, согласно которому последовательность в словах и действиях придает уверенность и честность человеческим делам.
Also, a different word list is used for Literati based on dictionary.com.	Кроме того, для литераторов используется другой список слов, основанный на dictionary.com — да.
The problem is that some people use the word apartheid in an improper way to brand all kind of discrimination based on race or religion.	Проблема заключается в том, что некоторые люди неправильно используют слово апартеид, чтобы клеймить все виды дискриминации по признаку расы или религии.
According to dictionaries, the word is commonly used to describe prejudice and discrimination based on race.	Согласно словарям , это слово обычно используется для описания предрассудков и дискриминации по признаку расы.
Based on the sweetness, the Greek word for sweet, glykós, was Latinized.	Основываясь на сладости, греческое слово , обозначающее сладость, glykós, было латинизировано.
Some publishers produce dictionaries based on word frequency or thematic groups.	Некоторые издатели выпускают словари , основанные на частотности слов или тематических группах.
Your decision might be based on a single word that you happen to like.	Ваше решение может быть основано на одном — единственном слове , которое вам нравится.
This differs from email handling as email automated response is based on key word spotting and IM conversations are conversational.	Это отличается от обработки электронной почты, поскольку автоматизированный ответ электронной почты основан на распознавании ключевых слов, а разговоры в мгновенных сообщениях являются разговорными.
Words of this nature are borrowed from either Greek or Latin or have been newly coined based upon Greek and Latin word-formation processes.	Слова такого рода заимствованы либо из греческого, либо из латинского языка, либо были вновь придуманы на основе греческих и латинских словообразовательных процессов.
How do we know the word Africus was not based on a tribe the Romans conquered?	Откуда мы знаем, что слово Africus не было основано на племени, которое завоевали римляне?
The second pun in the canon is based on the single Latin word jonicu.	Второй каламбур в каноне основан на единственном латинском слове jonicu.
George Carlin created several literary works based upon the word.	Джордж Карлин создал несколько литературных произведений, основанных на этом слове .
The dictionary-based approach is quick and accurate, but completely fails if it is given a word which is not in its dictionary.	Подход, основанный на словаре , быстр и точен, но полностью терпит неудачу, если ему дают слово , которого нет в его словаре .
A French and consequently an English word emerged based on twisted perceptions of the Bogomils by the Catholic Church.	Французское, а следовательно, и английское слово возникло на основе искаженного восприятия Богомилов Католической Церковью.
Judgments based on the subjective associations of a word are more problematic.	Бакунина увезли в Петропавловскую крепость.
The word Spork accompanied by a stylised design is registered in the U.S. in relation to hand tools, in the name of a UK-based individual.	Слово Spork, сопровождаемое стилизованным рисунком, зарегистрировано в США по отношению к ручным инструментам на имя человека, проживающего в Великобритании.
A cult following grew for the band, based largely on word of mouth.	У группы вырос культ последователей, основанный в основном на сарафанном радио.
Typewriters and eventually computer based word processors and printers let people print and put together their own documents.	Пишущие машинки и в конечном итоге компьютерные текстовые процессоры и принтеры позволяют людям печатать и собирать свои собственные документы.
The term shiksa is the feminine form of sheigetz and, like the latter, is based on the biblical word sheketz.	Термин шикса является женской формой Шейгец и, как и последний, основан на библейском слове шекец.
But his modifications are based not on any logic or reason but on an agenda, the unilateral desire to see decapitalization of the word God.	Эта группа формировала отряды политической милиции, которые перемещались по деревням и проводили политическую деятельность по мобилизации местных крестьян.

Translation examples

• слово на основе
  

Похожие слова: word based

faith-based and community organizations — конфессиональные и общественные организации

based on industry standards — на основе отраслевых стандартов

ammonia based — аммиака на основе

ground-based telescopes — Наземные телескопы

mathematically based — математически на основе

based on documentary evidence — на основе документальных доказательств

asset based — на основе активов

funding based on — финансирование на основе

contract based — на контрактной основе

based on the objectives — на основе целей

company based in — Компания основана в

company based — компания основана

for space-based information — для космической информации

based on experiments — на основе экспериментов

based on evidence — на основе фактических данных

Синонимы & Антонимы: не найдено

Примеры предложений: word based
Christine has been accused of something based on the word of a two — year — old whose neural connections haven’t fully formed yet.	Кристину обвинили в чем-то, основанном на словах двухлетнего ребенка, чьи нервные связи еще не полностью сформировались.
And Sam is going to believe that a senior FBI agent is a mole, with no evidence, based solely on the word of a man he knows for certain has broken the law?	И Сэм поверит, что старший агент ФБР-это крот, не имеющий никаких доказательств, основанный исключительно на словах человека, который, как он точно знает, нарушил закон?
Some early observation — based ideas about language acquisition were proposed by Plato, who felt that word — meaning mapping in some form was innate.	Некоторые ранние идеи о усвоении языка, основанные на наблюдениях, были предложены Платоном, который считал, что сопоставление значений слов в той или иной форме было врожденным.
During this period, the computer market was moving from computer word lengths based on units of 6 bits to units of 8 bits, following the introduction of the 7 — bit ASCII standard.	В течение этого периода компьютерный рынок переходил от длины компьютерного слова, основанной на единицах из 6 бит, к единицам из 8 бит после введения 7-битного стандарта ASCII.
This is based on word association, an investigative technique in psychology which can be used as a game.	Поскольку Тед попросил его быть его ведомым, Барни встречает женщину по имени Куинн, которая видит все его пьесы насквозь.
In the United States, the word is sometimes used to refer to a prepared topping, sold in jars and usually tomato — based , instead of the bread, a sense which is unknown in Italian.	В Соединенных Штатах это слово иногда используется для обозначения готовой начинки, продаваемой в банках и обычно на основе томатов, а не хлеба, смысл которого неизвестен в итальянском языке.
Most often, a character will be used for both sound and meaning, and it is simply a matter of choosing the correct reading based on which word it represents.	Чаще всего символ будет использоваться как для звука, так и для значения, и это просто вопрос выбора правильного прочтения в зависимости от того, какое слово он представляет.
Internationalism, in the strict meaning of the word, is still based on the existence of sovereign nations.	Интернационализм в строгом понимании этого слова по-прежнему основан на существовании суверенных наций.
In computational linguistics, lemmatisation is the algorithmic process of determining the lemma of a word based on its intended meaning.	В компьютерной лингвистике лемматизация — это алгоритмический процесс определения леммы слова на основе его предполагаемого значения.
The novel’s title is based on the literal translation of Ukiyo — e, a word referring to the Japanese art of prints.	Название романа основано на дословном переводе слова укиё-э, обозначающего японское искусство гравюры.
The exemplar — based approaches claim listeners store information for both word — and talker — recognition.	Подходы, основанные на образцах, утверждают, что слушатели хранят информацию как для распознавания слов, так и для распознавания говорящего.
Spider’s vocal style is usually based in spoken word or chanting.	Вокальный стиль Паука обычно основан на устном слове или пении.
A rhyming dictionary is based on sorting words in alphabetical order starting from the last to the first letter of the word.	Словарь рифм основан на Сортировке слов в алфавитном порядке, начиная с последней и заканчивая первой буквой слова.
Assigning time series pattern to a specific category, for example identify a word based on series of hand movements in sign language.	Назначение шаблона временного ряда определенной категории, например, определение слова на основе серии движений рук на языке жестов.
Over 320,000 VHS copies were shipped throughout the United States, and based on its award nominations and word of mouth, it became one of the top rented films of 1995.	Более 320 000 копий VHS было отправлено по Соединенным Штатам, и, судя по номинациям на награды и молве, он стал одним из самых продаваемых фильмов 1995 года.
George Soros used the word reflexivity, to describe feedback in the financial markets and developed an investment theory based on this principle.	Джордж Сорос использовал слово «рефлексивность» для описания обратной связи на финансовых рынках и разработал теорию инвестиций, основанную на этом принципе.
The word vivāha originated as a sacred union of people as per Vedic traditions, i.e. what many call marriage, but based on cosmic laws and advanced ancient practices.	Слово виваха возникло как священный союз людей в соответствии с ведическими традициями, то есть то, что многие называют браком, но основанное на космических законах и передовых древних практиках.
Based on textual analysis, and the literal meaning of the Sanskrit word charak, Chattopadhyay speculated that charak does not refer to one person but multiple people.	Основываясь на текстовом анализе и буквальном значении санскритского слова чарак, Чаттопадхьяй предположил, что чарак относится не к одному человеку, а к нескольким людям.
Don’t Say a Word is a 2001 American crime thriller film starring Michael Douglas, Brittany Murphy and Sean Bean based on the novel Don’t Say a Word by Andrew Klavan.	«Не говори ни слова» — американский криминальный триллер 2001 года с Майклом Дугласом, Бриттани Мерфи и Шоном Бином в главных ролях, основанный на романе Эндрю Клавана «Не говори ни слова».
In some cases, incidental humor is produced when interlocutors erroneously use lexemes based on vague morpho — phonological similarity to the target word.	В некоторых случаях случайный юмор возникает, когда собеседники ошибочно используют лексемы, основанные на смутном морфофонологическом сходстве с целевым словом.
Both languages use the Latin alphabet, but Ido orthography is such that based on the spelling of a word, you can pronounce it unambiguously.	Оба языка используют латиницу, но орфография идо такова, что, исходя из написания слова, можно однозначно его произнести.
Bit — level parallelism is a form of parallel computing based on increasing processor word size.	Параллелизм на уровне битов — это форма параллельных вычислений, основанная на увеличении размера слова процессора.
An etymological fallacy is committed when an argument makes a claim about the present meaning of a word based exclusively on that word’s etymology.	Этимологическая ошибка совершается, когда в аргументе делается заявление о нынешнем значении слова, основанном исключительно на этимологии этого слова.
Each episode is based around Ramsay preparing a three — course meal at the F Word restaurant for 50 guests.	Каждый эпизод основан на том, что Рамзи готовит ужин из трех блюд в ресторане F Word на 50 гостей.
Edges are created based on word co — occurrence in this application of TextRank.	Края создаются на основе совпадения слов в этом приложении TextRank.

Примеры из текстов

«It is the same exactly as mine yesterday, when I said, ‘I am base, I am base,’——words, and nothing more!»

Точь-в-точь как и я вчера: «низок, низок», а ведь одни только слова-с!

Достоевский, Фёдор / ИдиотDostoevsky, Fyodor / Idiot

Idiot

Dostoevsky, Fyodor

© 2004 by Fine Creative Media, Inc.

Идиот

Достоевский, Фёдор

© Издательство «Художественная литература», 1971