What is word sense disambiguation

Word-sense disambiguation (WSD) is the process of identifying which sense of a word is meant in a sentence or other segment of context. In human language processing and cognition, it is usually subconscious/automatic but can often come to conscious attention when ambiguity impairs clarity of communication, given the pervasive polysemy in natural language. In computational linguistics, it is an open problem that affects other computer-related writing, such as discourse, improving relevance of search engines, anaphora resolution, coherence, and inference.

Given that natural language requires reflection of neurological reality, as shaped by the abilities provided by the brain’s neural networks, computer science has had a long-term challenge in developing the ability in computers to do natural language processing and machine learning.

Many techniques have been researched, including dictionary-based methods that use the knowledge encoded in lexical resources, supervised machine learning methods in which a classifier is trained for each distinct word on a corpus of manually sense-annotated examples, and completely unsupervised methods that cluster occurrences of words, thereby inducing word senses. Among these, supervised learning approaches have been the most successful algorithms to date.

Accuracy of current algorithms is difficult to state without a host of caveats. In English, accuracy at the coarse-grained (homograph) level is routinely above 90% (as of 2009), with some methods on particular homographs achieving over 96%. On finer-grained sense distinctions, top accuracies from 59.1% to 69.0% have been reported in evaluation exercises (SemEval-2007, Senseval-2), where the baseline accuracy of the simplest possible algorithm of always choosing the most frequent sense was 51.4% and 57%, respectively.

Variants[edit]

Disambiguation requires two strict inputs: a dictionary to specify the senses which are to be disambiguated and a corpus of language data to be disambiguated (in some methods, a training corpus of language examples is also required). WSD task has two variants: «lexical sample» (disambiguating the occurrences of a small sample of target words which were previously selected) and «all words» task (disambiguation of all the words in a running text). «All words» task is generally considered a more realistic form of evaluation, but the corpus is more expensive to produce because human annotators have to read the definitions for each word in the sequence every time they need to make a tagging judgement, rather than once for a block of instances for the same target word.

History[edit]

WSD was first formulated as a distinct computational task during the early days of machine translation in the 1940s, making it one of the oldest problems in computational linguistics. Warren Weaver first introduced the problem in a computational context in his 1949 memorandum on translation.^[1] Later, Bar-Hillel (1960) argued^[2] that WSD could not be solved by «electronic computer» because of the need in general to model all world knowledge.

In the 1970s, WSD was a subtask of semantic interpretation systems developed within the field of artificial intelligence, starting with Wilks’ preference semantics. However, since WSD systems were at the time largely rule-based and hand-coded they were prone to a knowledge acquisition bottleneck.

By the 1980s large-scale lexical resources, such as the Oxford Advanced Learner’s Dictionary of Current English (OALD), became available: hand-coding was replaced with knowledge automatically extracted from these resources, but disambiguation was still knowledge-based or dictionary-based.

In the 1990s, the statistical revolution advanced computational linguistics, and WSD became a paradigm problem on which to apply supervised machine learning techniques.

The 2000s saw supervised techniques reach a plateau in accuracy, and so attention has shifted to coarser-grained senses, domain adaptation, semi-supervised and unsupervised corpus-based systems, combinations of different methods, and the return of knowledge-based systems via graph-based methods. Still, supervised systems continue to perform best.

Difficulties[edit]

Differences between dictionaries[edit]

One problem with word sense disambiguation is deciding what the senses are, as different dictionaries and thesauruses will provide different divisions of words into senses. Some researchers have suggested choosing a particular dictionary, and using its set of senses to deal with this issue. Generally, however, research results using broad distinctions in senses have been much better than those using narrow ones.^[3][4] Most researchers continue to work on fine-grained WSD.

Most research in the field of WSD is performed by using WordNet as a reference sense inventory for English. WordNet is a computational lexicon that encodes concepts as synonym sets (e.g. the concept of car is encoded as { car, auto, automobile, machine, motorcar }). Other resources used for disambiguation purposes include Roget’s Thesaurus^[5] and Wikipedia.^[6] More recently, BabelNet, a multilingual encyclopedic dictionary, has been used for multilingual WSD.^[7]

Part-of-speech tagging[edit]

In any real test, part-of-speech tagging and sense tagging have proven to be very closely related, with each potentially imposing constraints upon the other. The question whether these tasks should be kept together or decoupled is still not unanimously resolved, but recently scientists incline to test these things separately (e.g. in the Senseval/SemEval competitions parts of speech are provided as input for the text to disambiguate).

Both WSD and part-of-speech tagging involve disambiguating or tagging with words. However, algorithms used for one do not tend to work well for the other, mainly because the part of speech of a word is primarily determined by the immediately adjacent one to three words, whereas the sense of a word may be determined by words further away. The success rate for part-of-speech tagging algorithms is at present much higher than that for WSD, state-of-the art being around 96%^[8] accuracy or better, as compared to less than 75%^{[citation needed]} accuracy in word sense disambiguation with supervised learning. These figures are typical for English, and may be very different from those for other languages.

Inter-judge variance[edit]

Another problem is inter-judge variance. WSD systems are normally tested by having their results on a task compared against those of a human. However, while it is relatively easy to assign parts of speech to text, training people to tag senses has been proven to be far more difficult.^[9] While users can memorize all of the possible parts of speech a word can take, it is often impossible for individuals to memorize all of the senses a word can take. Moreover, humans do not agree on the task at hand – give a list of senses and sentences, and humans will not always agree on which word belongs in which sense.^[10]

As human performance serves as the standard, it is an upper bound for computer performance. Human performance, however, is much better on coarse-grained than fine-grained distinctions, so this again is why research on coarse-grained distinctions^[11][12] has been put to test in recent WSD evaluation exercises.^[3][4]

Pragmatics[edit]

Some AI researchers like Douglas Lenat argue that one cannot parse meanings from words without some form of common sense ontology. This linguistic issue is called pragmatics.
As agreed by researchers, to properly identify senses of words one must know common sense facts.^[13] Moreover, sometimes the common sense is needed to disambiguate such words like pronouns in case of having anaphoras or cataphoras in the text.

Sense inventory and algorithms’ task-dependency[edit]

A task-independent sense inventory is not a coherent concept:^[14] each task requires its own division of word meaning into senses relevant to the task. Additionally, completely different algorithms might be required by different applications. In machine translation, the problem takes the form of target word selection. The «senses» are words in the target language, which often correspond to significant meaning distinctions in the source language («bank» could translate to the French «banque»—that is, ‘financial bank’ or «rive»—that is, ‘edge of river’). In information retrieval, a sense inventory is not necessarily required, because it is enough to know that a word is used in the same sense in the query and a retrieved document; what sense that is, is unimportant.

Discreteness of senses[edit]

Finally, the very notion of «word sense» is slippery and controversial. Most people can agree in distinctions at the coarse-grained homograph level (e.g., pen as writing instrument or enclosure), but go down one level to fine-grained polysemy, and disagreements arise. For example, in Senseval-2, which used fine-grained sense distinctions, human annotators agreed in only 85% of word occurrences.^[15] Word meaning is in principle infinitely variable and context-sensitive. It does not divide up easily into distinct or discrete sub-meanings.^[16] Lexicographers frequently discover in corpora loose and overlapping word meanings, and standard or conventional meanings extended, modulated, and exploited in a bewildering variety of ways. The art of lexicography is to generalize from the corpus to definitions that evoke and explain the full range of meaning of a word, making it seem like words are well-behaved semantically. However, it is not at all clear if these same meaning distinctions are applicable in computational applications, as the decisions of lexicographers are usually driven by other considerations. In 2009, a task – named lexical substitution – was proposed as a possible solution to the sense discreteness problem.^[17] The task consists of providing a substitute for a word in context that preserves the meaning of the original word (potentially, substitutes can be chosen from the full lexicon of the target language, thus overcoming discreteness).

Approaches and methods[edit]

There are two main approaches to WSD – deep approaches and shallow approaches.

Deep approaches presume access to a comprehensive body of world knowledge. These approaches are generally not considered to be very successful in practice, mainly because such a body of knowledge does not exist in a computer-readable format, outside very limited domains.^[18] Additionally due to the long tradition in computational linguistics, of trying such approaches in terms of coded knowledge and in some cases, it can be hard to distinguish between knowledge involved in linguistic or world knowledge. The first attempt was that by Margaret Masterman and her colleagues, at the Cambridge Language Research Unit in England, in the 1950s. This attempt used as data a punched-card version of Roget’s Thesaurus and its numbered «heads», as an indicator of topics and looked for repetitions in text, using a set intersection algorithm. It was not very successful,^[19] but had strong relationships to later work, especially Yarowsky’s machine learning optimisation of a thesaurus method in the 1990s.

Shallow approaches don’t try to understand the text, but instead consider the surrounding words. These rules can be automatically derived by the computer, using a training corpus of words tagged with their word senses. This approach, while theoretically not as powerful as deep approaches, gives superior results in practice, due to the computer’s limited world knowledge.

There are four conventional approaches to WSD:

• Dictionary- and knowledge-based methods: These rely primarily on dictionaries, thesauri, and lexical knowledge bases, without using any corpus evidence.
• Semi-supervised or minimally supervised methods: These make use of a secondary source of knowledge such as a small annotated corpus as seed data in a bootstrapping process, or a word-aligned bilingual corpus.
• Supervised methods: These make use of sense-annotated corpora to train from.
• Unsupervised methods: These eschew (almost) completely external information and work directly from raw unannotated corpora. These methods are also known under the name of word sense discrimination.

Almost all these approaches work by defining a window of n content words around each word to be disambiguated in the corpus, and statistically analyzing those n surrounding words. Two shallow approaches used to train and then disambiguate are Naïve Bayes classifiers and decision trees. In recent research, kernel-based methods such as support vector machines have shown superior performance in supervised learning. Graph-based approaches have also gained much attention from the research community, and currently achieve performance close to the state of the art.

Dictionary- and knowledge-based methods[edit]

The Lesk algorithm^[20] is the seminal dictionary-based method. It is based on the hypothesis that words used together in text are related to each other and that the relation can be observed in the definitions of the words and their senses. Two (or more) words are disambiguated by finding the pair of dictionary senses with the greatest word overlap in their dictionary definitions. For example, when disambiguating the words in «pine cone», the definitions of the appropriate senses both include the words evergreen and tree (at least in one dictionary). A similar approach^[21] searches for the shortest path between two words: the second word is iteratively searched among the definitions of every semantic variant of the first word, then among the definitions of every semantic variant of each word in the previous definitions and so on. Finally, the first word is disambiguated by selecting the semantic variant which minimizes the distance from the first to the second word.

An alternative to the use of the definitions is to consider general word-sense relatedness and to compute the semantic similarity of each pair of word senses based on a given lexical knowledge base such as WordNet. Graph-based methods reminiscent of spreading activation research of the early days of AI research have been applied with some success. More complex graph-based approaches have been shown to perform almost as well as supervised methods^[22] or even outperforming them on specific domains.^[3][23] Recently, it has been reported that simple graph connectivity measures, such as degree, perform state-of-the-art WSD in the presence of a sufficiently rich lexical knowledge base.^[24] Also, automatically transferring knowledge in the form of semantic relations from Wikipedia to WordNet has been shown to boost simple knowledge-based methods, enabling them to rival the best supervised systems and even outperform them in a domain-specific setting.^[25]

The use of selectional preferences (or selectional restrictions) is also useful, for example, knowing that one typically cooks food, one can disambiguate the word bass in «I am cooking basses» (i.e., it’s not a musical instrument).

Supervised methods[edit]

Supervised methods are based on the assumption that the context can provide enough evidence on its own to disambiguate words (hence, common sense and reasoning are deemed unnecessary). Probably every machine learning algorithm going has been applied to WSD, including associated techniques such as feature selection, parameter optimization, and ensemble learning. Support Vector Machines and memory-based learning have been shown to be the most successful approaches, to date, probably because they can cope with the high-dimensionality of the feature space. However, these supervised methods are subject to a new knowledge acquisition bottleneck since they rely on substantial amounts of manually sense-tagged corpora for training, which are laborious and expensive to create.

Semi-supervised methods[edit]

Because of the lack of training data, many word sense disambiguation algorithms use semi-supervised learning, which allows both labeled and unlabeled data. The Yarowsky algorithm was an early example of such an algorithm.^[26] It uses the ‘One sense per collocation’ and the ‘One sense per discourse’ properties of human languages for word sense disambiguation. From observation, words tend to exhibit only one sense in most given discourse and in a given collocation.^[27]

The bootstrapping approach starts from a small amount of seed data for each word: either manually tagged training examples or a small number of surefire decision rules (e.g., ‘play’ in the context of ‘bass’ almost always indicates the musical instrument). The seeds are used to train an initial classifier, using any supervised method. This classifier is then used on the untagged portion of the corpus to extract a larger training set, in which only the most confident classifications are included. The process repeats, each new classifier being trained on a successively larger training corpus, until the whole corpus is consumed, or until a given maximum number of iterations is reached.

Other semi-supervised techniques use large quantities of untagged corpora to provide co-occurrence information that supplements the tagged corpora. These techniques have the potential to help in the adaptation of supervised models to different domains.

Also, an ambiguous word in one language is often translated into different words in a second language depending on the sense of the word. Word-aligned bilingual corpora have been used to infer cross-lingual sense distinctions, a kind of semi-supervised system.^{[citation needed]}

Unsupervised methods[edit]

Unsupervised learning is the greatest challenge for WSD researchers. The underlying assumption is that similar senses occur in similar contexts, and thus senses can be induced from text by clustering word occurrences using some measure of similarity of context,^[28] a task referred to as word sense induction or discrimination. Then, new occurrences of the word can be classified into the closest induced clusters/senses. Performance has been lower than for the other methods described above, but comparisons are difficult since senses induced must be mapped to a known dictionary of word senses. If a mapping to a set of dictionary senses is not desired, cluster-based evaluations (including measures of entropy and purity) can be performed. Alternatively, word sense induction methods can be tested and compared within an application. For instance, it has been shown that word sense induction improves Web search result clustering by increasing the quality of result clusters and the degree diversification of result lists.^[29][30] It is hoped that unsupervised learning will overcome the knowledge acquisition bottleneck because they are not dependent on manual effort.

Representing words considering their context through fixed size dense vectors (word embeddings) has become one of the most fundamental blocks in several NLP systems.^[31][32][33] Even though most of traditional word embedding techniques conflate words with multiple meanings into a single vector representation, they still can be used to improve WSD.^[34] A simple approach to employ pre-computed word embeddings to represent word senses is to compute the centroids of sense clusters.^[35][36] In addition to word embeddings techniques, lexical databases (e.g., WordNet, ConceptNet, BabelNet) can also assist unsupervised systems in mapping words and their senses as dictionaries. Some techniques that combine lexical databases and word embeddings are presented in AutoExtend^[37][38] and Most Suitable Sense Annotation (MSSA).^[39] In AutoExtend,^[38] they present a method that decouples an object input representation into its properties, such as words and their word senses. AutoExtend uses a graph structure to map words (e.g. text) and non-word (e.g. synsets in WordNet) objects as nodes and the relationship between nodes as edges. The relations (edges) in AutoExtend can either express the addition or similarity between its nodes. The former captures the intuition behind the offset calculus,^[31] while the latter defines the similarity between two nodes. In MSSA,^[39] an unsupervised disambiguation system uses the similarity between word senses in a fixed context window to select the most suitable word sense using a pre-trained word embedding model and WordNet. For each context window, MSSA calculates the centroid of each word sense definition by averaging the word vectors of its words in WordNet’s glosses (i.e., short defining gloss and one or more usage example) using a pre-trained word embeddings model. These centroids are later used to select the word sense with the highest similarity of a target word to its immediately adjacent neighbors (i.e., predecessor and successor words). After all words are annotated and disambiguated, they can be used as a training corpus in any standard word embedding technique. In its improved version, MSSA can make use of word sense embeddings to repeat its disambiguation process iteratively.

Other approaches[edit]

Other approaches may vary differently in their methods:

• Domain-driven disambiguation;^[40][41]
• Identification of dominant word senses;^[42][43][44]
• WSD using Cross-Lingual Evidence.^[45][46]
• WSD solution in John Ball’s language independent NLU combining Patom Theory and RRG (Role and Reference Grammar)
• Type inference in constraint-based grammars^[47]

Other languages[edit]

• Hindi : Lack of lexical resources in Hindi have hindered the performance of supervised models of WSD, while the unsupervised models suffer due to extensive morphology. A possible solution to this problem is the design of a WSD model by means of parallel corpora.^[48][49] The creation of the Hindi WordNet has paved way for several Supervised methods which have been proven to produce a higher accuracy in disambiguating nouns.^[50]

Local impediments and summary[edit]

The knowledge acquisition bottleneck is perhaps the major impediment to solving the WSD problem. Unsupervised methods rely on knowledge about word senses, which is only sparsely formulated in dictionaries and lexical databases. Supervised methods depend crucially on the existence of manually annotated examples for every word sense, a requisite that can so far^[when?] be met only for a handful of words for testing purposes, as it is done in the Senseval exercises.

One of the most promising trends in WSD research is using the largest corpus ever accessible, the World Wide Web, to acquire lexical information automatically.^[51] WSD has been traditionally understood as an intermediate language engineering technology which could improve applications such as information retrieval (IR). In this case, however, the reverse is also true: web search engines implement simple and robust IR techniques that can successfully mine the Web for information to use in WSD. The historic lack of training data has provoked the appearance of some new algorithms and techniques, as described in Automatic acquisition of sense-tagged corpora.

External knowledge sources[edit]

Knowledge is a fundamental component of WSD. Knowledge sources provide data which are essential to associate senses with words. They can vary from corpora of texts, either unlabeled or annotated with word senses, to machine-readable dictionaries, thesauri, glossaries, ontologies, etc. They can be^[52][53] classified as follows:

Structured:

1. Machine-readable dictionaries (MRDs)
2. Ontologies
3. Thesauri

Unstructured:

1. Collocation resources
2. Other resources (such as word frequency lists, stoplists, domain labels,^[54] etc.)
3. Corpora: raw corpora and sense-annotated corpora

Evaluation[edit]

Comparing and evaluating different WSD systems is extremely difficult, because of the different test sets, sense inventories, and knowledge resources adopted. Before the organization of specific evaluation campaigns most systems were assessed on in-house, often small-scale, data sets. In order to test one’s algorithm, developers should spend their time to annotate all word occurrences. And comparing methods even on the same corpus is not eligible if there is different sense inventories.

In order to define common evaluation datasets and procedures, public evaluation campaigns have been organized. Senseval (now renamed SemEval) is an international word sense disambiguation competition, held every three years since 1998: Senseval-1 (1998), Senseval-2 (2001), Senseval-3 (2004), and its successor, SemEval (2007). The objective of the competition is to organize different lectures, preparing and hand-annotating corpus for testing systems, perform a comparative evaluation of WSD systems in several kinds of tasks, including all-words and lexical sample WSD for different languages, and, more recently, new tasks such as semantic role labeling, gloss WSD, lexical substitution, etc. The systems submitted for evaluation to these competitions usually integrate different techniques and often combine supervised and knowledge-based methods (especially for avoiding bad performance in lack of training examples).

In recent years ^2007-2012, the WSD evaluation task choices had grown and the criterion for evaluating WSD has changed drastically depending on the variant of the WSD evaluation task. Below enumerates the variety of WSD tasks:

Task design choices[edit]

As technology evolves, the Word Sense Disambiguation (WSD) tasks grows in different flavors towards various research directions and for more languages:

• Classic monolingual WSD evaluation tasks use WordNet as the sense inventory and are largely based on supervised/semi-supervised classification with the manually sense annotated corpora:^[55]
  • Classic English WSD uses the Princeton WordNet as it sense inventory and the primary classification input is normally based on the SemCor corpus.
  • Classical WSD for other languages uses their respective WordNet as sense inventories and sense annotated corpora tagged in their respective languages. Often researchers will also tapped on the SemCor corpus and aligned bitexts with English as its source language
• Cross-lingual WSD evaluation task is also focused on WSD across 2 or more languages simultaneously. Unlike the Multilingual WSD tasks, instead of providing manually sense-annotated examples for each sense of a polysemous noun, the sense inventory is built up on the basis of parallel corpora, e.g. Europarl corpus.^[56]
• Multilingual WSD evaluation tasks focused on WSD across 2 or more languages simultaneously, using their respective WordNets as its sense inventories or BabelNet as multilingual sense inventory.^[57] It evolved from the Translation WSD evaluation tasks that took place in Senseval-2. A popular approach is to carry out monolingual WSD and then map the source language senses into the corresponding target word translations.^[58]
• Word Sense Induction and Disambiguation task is a combined task evaluation where the sense inventory is first induced from a fixed training set data, consisting of polysemous words and the sentence that they occurred in, then WSD is performed on a different testing data set.^[59]

Software[edit]

• Babelfy,^[60] a unified state-of-the-art system for multilingual Word Sense Disambiguation and Entity Linking
• BabelNet API,^[61] a Java API for knowledge-based multilingual Word Sense Disambiguation in 6 different languages using the BabelNet semantic network
• WordNet::SenseRelate,^[62] a project that includes free, open source systems for word sense disambiguation and lexical sample sense disambiguation
• UKB: Graph Base WSD,^[63] a collection of programs for performing graph-based Word Sense Disambiguation and lexical similarity/relatedness using a pre-existing Lexical Knowledge Base^[64]
• pyWSD,^[65] python implementations of Word Sense Disambiguation (WSD) technologies

See also[edit]

• Ambiguity
• Controlled natural language
• Entity linking
• Lesk algorithm
• Lexical substitution
• Part-of-speech tagging
• Polysemy
• Semeval
• Semantic unification
• Judicial interpretation
• Sentence boundary disambiguation
• Syntactic ambiguity
• Word sense
• Word sense induction

References[edit]

Works cited[edit]

• Agirre, E.; Lopez de Lacalle, A.; Soroa, A. (2009). «Knowledge-based WSD on Specific Domains: Performing better than Generic Supervised WSD» (PDF). Proc. of IJCAI.
• Agirre, E.; M. Stevenson. 2006. Knowledge sources for WSD. In Word Sense Disambiguation: Algorithms and Applications, E. Agirre and P. Edmonds, Eds. Springer, New York, NY.
• Bar-Hillel, Y. (1964). Language and information. Reading, MA: Addison-Wesley.
• Buitelaar, P.; B. Magnini, C. Strapparava and P. Vossen. 2006. Domain-specific WSD. In Word Sense Disambiguation: Algorithms and Applications, E. Agirre and P. Edmonds, Eds. Springer, New York, NY.
• Chan, Y. S.; H. T. Ng. 2005. Scaling up word sense disambiguation via parallel texts. In Proceedings of the 20th National Conference on Artificial Intelligence (AAAI, Pittsburgh, PA).
• Edmonds, P. 2000. Designing a task for SENSEVAL-2. Tech. note. University of Brighton, Brighton. U.K.
• Fellbaum, Christiane (1997). «Analysis of a handwriting task». Proc. of ANLP-97 Workshop on Tagging Text with Lexical Semantics: Why, What, and How? Washington D.C., USA.
• Gliozzo, A.; B. Magnini and C. Strapparava. 2004. Unsupervised domain relevance estimation for word sense disambiguation. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP, Barcelona, Spain).
• Ide, N.; T. Erjavec, D. Tufis. 2002. Sense discrimination with parallel corpora. In Proceedings of ACL Workshop on Word Sense Disambiguation: Recent Successes and Future Directions (Philadelphia, PA).
• Kilgarriff, A. 1997. I don’t believe in word senses. Comput. Human. 31(2), pp. 91–113.
• Kilgarriff, A.; G. Grefenstette. 2003. Introduction to the special issue on the Web as corpus. Computational Linguistics 29(3), pp. 333–347
• Kilgarriff, Adam; Joseph Rosenzweig, English Senseval: Report and Results May–June, 2000, University of Brighton
• Lapata, M.; and F. Keller. 2007. An information retrieval approach to sense ranking. In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics (HLT-NAACL, Rochester, NY).
• Lenat, D. Archived at Ghostarchive and the Wayback Machine: «Computers versus Common Sense». YouTube. Retrieved 2008-12-10. (GoogleTachTalks on YouTube)
• Lenat, D.; R. V. Guha. 1989. Building Large Knowledge-Based Systems, Addison-Wesley
• Lesk; M. 1986. Automatic sense disambiguation using machine readable dictionaries: How to tell a pine cone from an ice cream cone. In Proc. of SIGDOC-86: 5th International Conference on Systems Documentation, Toronto, Canada.
• Litkowski, K. C. 2005. Computational lexicons and dictionaries. In Encyclopaedia of Language and Linguistics (2nd ed.), K. R. Brown, Ed. Elsevier Publishers, Oxford, U.K.
• Magnini, B; G. Cavaglià. 2000. Integrating subject field codes into WordNet. In Proceedings of the 2nd Conference on Language Resources and Evaluation (LREC, Athens, Greece).
• McCarthy, D.; R. Koeling, J. Weeds, J. Carroll. 2007. Unsupervised acquisition of predominant word senses. Computational Linguistics 33(4): 553–590.
• McCarthy, D.; R. Navigli. 2009. The English Lexical Substitution Task, Language Resources and Evaluation, 43(2), Springer.
• Mihalcea, R. 2007. Using Wikipedia for Automatic Word Sense Disambiguation. In Proc. of the North American Chapter of the Association for Computational Linguistics (NAACL 2007), Rochester, April 2007.
• Mohammad, S; G. Hirst. 2006. Determining word sense dominance using a thesaurus. In Proceedings of the 11th Conference on European chapter of the Association for Computational Linguistics (EACL, Trento, Italy).
• Navigli, R. 2006. Meaningful Clustering of Senses Helps Boost Word Sense Disambiguation Performance. Proc. of the 44th Annual Meeting of the Association for Computational Linguistics joint with the 21st International Conference on Computational Linguistics (COLING-ACL 2006), Sydney, Australia.
• Navigli, R.; A. Di Marco. Clustering and Diversifying Web Search Results with Graph-Based Word Sense Induction. Computational Linguistics, 39(3), MIT Press, 2013, pp. 709–754.
• Navigli, R.; G. Crisafulli. Inducing Word Senses to Improve Web Search Result Clustering. Proc. of the 2010 Conference on Empirical Methods in Natural Language Processing (EMNLP 2010), MIT Stata Center, Massachusetts, USA.
• Navigli, R.; M. Lapata. An Experimental Study of Graph Connectivity for Unsupervised Word Sense Disambiguation. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 32(4), IEEE Press, 2010.
• Navigli, R.; K. Litkowski, O. Hargraves. 2007. SemEval-2007 Task 07: Coarse-Grained English All-Words Task. Proc. of Semeval-2007 Workshop (SemEval), in the 45th Annual Meeting of the Association for Computational Linguistics (ACL 2007), Prague, Czech Republic.
• Navigli, R.;P. Velardi. 2005. Structural Semantic Interconnections: a Knowledge-Based Approach to Word Sense Disambiguation. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 27(7).
• Palmer, M.; O. Babko-Malaya and H. T. Dang. 2004. Different sense granularities for different applications. In Proceedings of the 2nd Workshop on Scalable Natural Language Understanding Systems in HLT/NAACL (Boston, MA).
• Ponzetto, S. P.; R. Navigli. Knowledge-rich Word Sense Disambiguation rivaling supervised systems. In Proc. of the 48th Annual Meeting of the Association for Computational Linguistics (ACL), 2010.
• Pradhan, S.; E. Loper, D. Dligach, M. Palmer. 2007. SemEval-2007 Task 17: English lexical sample, SRL and all words. Proc. of Semeval-2007 Workshop (SEMEVAL), in the 45th Annual Meeting of the Association for Computational Linguistics (ACL 2007), Prague, Czech Republic.
• Schütze, H. 1998. Automatic word sense discrimination. Computational Linguistics, 24(1): 97–123.
• Snow, R.; S. Prakash, D. Jurafsky, A. Y. Ng. 2007. Learning to Merge Word Senses, Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL).
• Snyder, B.; M. Palmer. 2004. The English all-words task. In Proc. of the 3rd International Workshop on the Evaluation of Systems for the Semantic Analysis of Text (Senseval-3), Barcelona, Spain.
• Weaver, Warren (1949). «Translation» (PDF). In Locke, W.N.; Booth, A.D. (eds.). Machine Translation of Languages: Fourteen Essays. Cambridge, MA: MIT Press.
• Wilks, Y.; B. Slator, L. Guthrie. 1996. Electric Words: dictionaries, computers and meanings. Cambridge, MA: MIT Press.
• Yarowsky, D. Word-sense disambiguation using statistical models of Roget’s categories trained on large corpora. In Proc. of the 14th conference on Computational linguistics (COLING), 1992.
• Yarowsky, D. 1995. Unsupervised word sense disambiguation rivaling supervised methods. In Proc. of the 33rd Annual Meeting of the Association for Computational Linguistics.

External links and suggested reading[edit]

• Computational Linguistics Special Issue on Word Sense Disambiguation (1998)
• Evaluation Exercises for Word Sense Disambiguation The de facto standard benchmarks for WSD systems.
• Roberto Navigli. Word Sense Disambiguation: A Survey, ACM Computing Surveys, 41(2), 2009, pp. 1–69. An up-to-date state of the art of the field.
• Word Sense Disambiguation as defined in Scholarpedia
• Word Sense Disambiguation: The State of the Art (PDF) A comprehensive overview By Prof. Nancy Ide & Jean Véronis (1998).
• Word Sense Disambiguation Tutorial, by Rada Mihalcea and Ted Pedersen (2005).
• Well, well, well … Word Sense Disambiguation with Google n-Grams, by Craig Trim (2013).
• Word Sense Disambiguation: Algorithms and Applications, edited by Eneko Agirre and Philip Edmonds (2006), Springer. Covers the entire field with chapters contributed by leading researchers. www.wsdbook.org site of the book
• Bar-Hillel, Yehoshua. 1964. Language and Information. New York: Addison-Wesley.
• Edmonds, Philip & Adam Kilgarriff. 2002. Introduction to the special issue on evaluating word sense disambiguation systems. Journal of Natural Language Engineering, 8(4):279-291.
• Edmonds, Philip. 2005. Lexical disambiguation. The Elsevier Encyclopedia of Language and Linguistics, 2nd Ed., ed. by Keith Brown, 607–23. Oxford: Elsevier.
• Ide, Nancy & Jean Véronis. 1998. Word sense disambiguation: The state of the art. Computational Linguistics, 24(1):1-40.
• Jurafsky, Daniel & James H. Martin. 2000. Speech and Language Processing. New Jersey, USA: Prentice Hall.
• Litkowski, K. C. 2005. Computational lexicons and dictionaries. In Encyclopaedia of Language and Linguistics (2nd ed.), K. R. Brown, Ed. Elsevier Publishers, Oxford, U.K., 753–761.
• Manning, Christopher D. & Hinrich Schütze. 1999. Foundations of Statistical Natural Language Processing. Cambridge, MA: MIT Press. Foundations of Statistical Natural Language Processing
• Mihalcea, Rada. 2007. Word sense disambiguation. Encyclopedia of Machine Learning. Springer-Verlag.
• Resnik, Philip and David Yarowsky. 2000. Distinguishing systems and distinguishing senses: New evaluation methods for word sense disambiguation, Natural Language Engineering, 5(2):113-133. [1]
• Yarowsky, David. 2001. Word sense disambiguation. Handbook of Natural Language Processing, ed. by Dale et al., 629–654. New York: Marcel Dekker.

Last Update: Jan 03, 2023

This is a question our experts keep getting from time to time. Now, we have got the complete detailed explanation and answer for everyone, who is interested!

Asked by: Miss Loraine Volkman Sr.

Score: 4.3/5
(68 votes)

Word-sense disambiguation is an open problem in computational linguistics concerned with identifying which sense of a word is used in a sentence. The solution to this issue impacts other computer-related writing, such as discourse, improving relevance of search engines, anaphora resolution, coherence, and inference.

What do you mean by word sense disambiguation?

Word sense disambiguation, in natural language processing (NLP), may be defined as the ability to determine which meaning of word is activated by the use of word in a particular context. … Lexical ambiguity, syntactic or semantic, is one of the very first problem that any NLP system faces.

What is word sense disambiguation give example?

Two (or more) words are disambiguated by finding the pair of dictionary senses with the greatest word overlap in their dictionary definitions. For example, when disambiguating the words in pine cone, the definitions of the appropriate senses both include the words evergreen and tree (at least in one dictionary).

What is lexical semantics and word sense disambiguation?

Word Sense Disambiguation ( WSD ) is about enabling computers to do the same. WSD involves the use of syntax, semantics and word meanings in context. It’s therefore a part of computational lexical semantics. WSD is considered an AI -complete problem, which means that it’s as hard as the most difficult problems in AI .

What is word sense disambiguation what kind of resources required for this?

Word sense disambiguation (WSD) is an open problem in natural language processing concerned with determining which sense (i.e., meaning) of a word is used in a particular context. This article provides provides links to important WSD-related publications, software, corpora, and other resources.

29 related questions found

«Устранение неоднозначности» перенаправляется сюда. Для получения информации о разрешении неоднозначности названий тем в Википедии см. Wikipedia: Disambiguation . Для использования в других целях, см. Значение (значения) .

Слово смысла неоднозначности ( WSD ) является открытой проблемой в компьютерной лингвистике касается определения того, какие чувства из слова используется в предложении . Решение этой проблемы влияет на другие виды компьютерного письма, такие как дискурс , повышение релевантности поисковых систем , разрешение анафор , согласованность и логический вывод .

В связи с тем, что естественный язык требует отражения неврологической реальности, определяемой способностями, предоставляемыми нейронными сетями мозга , компьютерная наука столкнулась с долгосрочной проблемой в развитии способности компьютеров выполнять обработку естественного языка и машинное обучение .

Были исследованы многие методы, в том числе методы на основе словаря, которые используют знания, закодированные в лексических ресурсах, методы контролируемого машинного обучения, в которых классификатор обучается для каждого отдельного слова в корпусе примеров с ручной смысловой аннотацией, и полностью неконтролируемые методы, объединяющие появления слов, тем самым вызывая чувство слова. Среди них подходы к обучению с учителем на сегодняшний день являются наиболее успешными алгоритмами .

Трудно заявить о точности существующих алгоритмов без множества оговорок. На английском языке точность на уровне крупнозернистого ( омографа ) обычно превышает 90%, а некоторые методы на определенных омографах достигают более 96%. Что касается более тонких различий чувств, максимальная точность от 59,1% до 69,0% была зафиксирована в оценочных упражнениях (SemEval-2007, Senseval-2), где базовая точность простейшего возможного алгоритма выбора всегда наиболее частого смысла составила 51,4%. и 57% соответственно.

О разрешении смысловой неоднозначности

Disambiguation требует два жестких входов: а словарных указать чувства , которые должны быть снята неоднозначностью и корпус из языковых данных для многозначных (в некоторых методах, обучение корпус примеров языка также требуется). Задача WSD имеет два варианта: «лексический образец» (устранение неоднозначности вхождения небольшой выборки целевых слов, которые были ранее выбраны) и задача «все слова» (устранение неоднозначности всех слов в текущем тексте). Задача «Все слова» обычно считается более реалистичной формой оценки, но создание корпуса обходится дороже, потому что аннотаторы-люди должны читать определения для каждого слова в последовательности каждый раз, когда им нужно сделать оценку тегов, а не один раз. для блока экземпляров одного и того же целевого слова.

История

WSD был впервые сформулирован как отдельная вычислительная задача на заре машинного перевода в 1940-х годах, что сделало его одной из старейших проблем компьютерной лингвистики. Уоррен Уивер впервые представил проблему в вычислительном контексте в своем меморандуме 1949 года о переводе. Позже Бар-Хиллель (1960) утверждал, что WSD не может быть решена с помощью «электронного компьютера» из-за необходимости в целом моделировать все мировые знания.

В 1970-х WSD была подзадачей систем семантической интерпретации, разработанной в области искусственного интеллекта, начиная с семантики предпочтений Уилкса . Однако, поскольку системы WSD в то время в основном основывались на правилах и кодировались вручную, они были склонны к узким местам в получении знаний.

К 1980-м годам стали доступны крупномасштабные лексические ресурсы, такие как Oxford Advanced Learner’s Dictionary of Current English (OALD): ручное кодирование было заменено знаниями, автоматически извлекаемыми из этих ресурсов, но устранение неоднозначности по-прежнему основывалось на знаниях или словарях. .

В 1990-х годах статистическая революция продвинула вычислительную лингвистику, и WSD превратилась в парадигму проблемы, к которой можно было применить методы контролируемого машинного обучения.

В 2000-х годах контролируемые методы достигли плато в точности, и поэтому внимание переключилось на более грубые смыслы, адаптацию предметной области , полу-контролируемые и неконтролируемые системы на основе корпусов, комбинации различных методов и возвращение систем, основанных на знаниях, через графы. -основные методы. Тем не менее, контролируемые системы продолжают работать лучше всего.

Трудности

Различия между словарями

Одна из проблем, связанных с устранением неоднозначности смысла слова, состоит в том, чтобы решить, что такое смыслы, поскольку разные словари и тезаурусы будут обеспечивать различное деление слов на смыслы. Некоторые исследователи предложили выбрать конкретный словарь и использовать его набор смыслов для решения этой проблемы. Однако в целом результаты исследований с использованием широких различий в чувствах были намного лучше, чем результаты исследований с использованием узких. Большинство исследователей продолжают работать над детализированным WSD.

Большинство исследований в области WSD выполняется с использованием WordNet в качестве справочного материала для английского языка. WordNet — это вычислительный лексикон, который кодирует понятия как наборы синонимов (например, понятие автомобиля кодируется как {автомобиль, авто, автомобиль, машина, автомобиль}). Другие ресурсы, используемые для устранения неоднозначности, включают Тезаурус Роджера и Википедию . Совсем недавно для многоязычного WSD использовался многоязычный энциклопедический словарь BabelNet .

Пометка части речи

В любом реальном тесте было доказано, что тегирование части речи и смысловое тегирование очень тесно связаны друг с другом, потенциально создавая ограничения для другого. Вопрос о том, должны ли эти задачи быть вместе или разделены, все еще не решен единогласно, но в последнее время ученые склонны тестировать эти вещи по отдельности (например, в соревнованиях Senseval / SemEval части речи предоставляются в качестве входных данных для устранения неоднозначности текста).

Обе части речи WSM включают устранение неоднозначности или тегирование словами. Однако алгоритмы, используемые для одного, не работают хорошо для другого, в основном потому, что часть речи слова в первую очередь определяется непосредственно соседними от одного до трех слов, тогда как смысл слова может определяться более удаленными словами. . Уровень успеха для алгоритмов тегирования части речи в настоящее время намного выше, чем для WSD, при этом точность современного уровня техники составляет около 96% или лучше, по сравнению с точностью менее 75% в устранении неоднозначности слов при обучении с учителем. . Эти цифры типичны для английского языка и могут сильно отличаться от данных для других языков.

Дисперсия между судьями

Другая проблема — это расхождения между судьями . Системы WSD обычно тестируются путем сравнения результатов выполнения задачи с результатами человека. Однако, несмотря на то, что связать части речи с текстом относительно легко, оказалось, что научить людей помечать чувства гораздо сложнее. В то время как пользователи могут запоминать все возможные части речи, которые может принимать слово, люди часто не могут запомнить все смыслы, которые может принимать слово. Более того, люди не согласны с поставленной задачей — приведите список смыслов и предложений, и люди не всегда согласятся, какое слово в каком смысле принадлежит.

Поскольку производительность человека является стандартом, это верхний предел производительности компьютера. Человек производительность, однако, гораздо лучше крупнозернистый , чем мелкозернистых различий, так это опять почему исследования крупнозернистых различий был поставлен на испытания в последнее время упражнений по оценке WSD.

Прагматика

Некоторые исследователи ИИ, такие как Дуглас Ленат, утверждают, что нельзя анализировать значения слов без какой-либо онтологии здравого смысла . Этот лингвистический вопрос называется прагматикой . По мнению исследователей, для правильного определения смысла слов необходимо знать факты здравого смысла. Более того, иногда требуется здравый смысл, чтобы устранить неоднозначность таких слов, как местоимения, в случае наличия в тексте анафор или катафор .

Смысловой инвентарь и зависимость алгоритмов от задач

Независимая от задачи инвентаризация смысла не является согласованной концепцией: каждая задача требует своего собственного разделения значения слова на смыслы, относящиеся к задаче. Кроме того, для разных приложений могут потребоваться совершенно разные алгоритмы. В машинном переводе проблема заключается в выборе целевого слова. «Смыслы» — это слова на целевом языке, которые часто соответствуют значительным различиям значений в исходном языке («банк» может переводиться с французского «banque» — то есть «финансовый банк» или «рив»), т. Е. «край реки»). При поиске информации инвентаризация смысла не обязательно требуется, потому что достаточно знать, что слово используется в одном и том же смысле в запросе и в извлеченном документе; какой это смысл, неважно.

Дискретность чувств

Наконец, само понятие « смысл слова » скользкое и противоречивое. Большинство людей могут согласиться в различиях на уровне грубого омографа (например, ручка как пишущий инструмент или корпус), но спускаются на один уровень вниз до мелкозернистой многозначности , и возникают разногласия. Например, в Senseval-2, в котором использовались тонкие смысловые различия, аннотаторы-люди соглашались только в 85% случаев появления слов. Значение слова в принципе бесконечно вариативно и зависит от контекста. Его нелегко разделить на отдельные или отдельные подзначения. Лексикографы часто обнаруживают в корпусах нечеткие и частично совпадающие значения слов, а также стандартные или общепринятые значения, расширяемые, модулируемые и используемые поразительным разнообразием способов. Искусство лексикографии состоит в том, чтобы делать обобщения от корпуса до определений, которые вызывают и объясняют весь диапазон значений слова, создавая впечатление, что слова имеют хорошее семантическое поведение. Однако совсем не ясно, применимы ли эти же различия значений в вычислительных приложениях , поскольку решения лексикографов обычно основываются на других соображениях. В 2009 году в качестве возможного решения проблемы смысловой дискретности была предложена задача — лексическая подстановка . Задача состоит в предоставлении замены для слова в контексте, сохраняющей значение исходного слова (потенциально, замены могут быть выбраны из полного лексикона целевого языка, таким образом преодолевая дискретность).

Подходы и методы

Есть два основных подхода к WSD — глубокие подходы и поверхностные подходы.

Глубинные подходы предполагают доступ к обширной совокупности мировых знаний . Эти подходы обычно не считаются очень успешными на практике, главным образом потому, что такая совокупность знаний не существует в машиночитаемом формате за пределами очень ограниченных областей. Кроме того, из-за давней традиции в компьютерной лингвистике пробовать такие подходы с точки зрения закодированных знаний, и в некоторых случаях бывает трудно провести различие между знаниями, связанными с лингвистическим или мировым знанием. Первая попытка была предпринята Маргарет Мастерман и ее коллегами из Кембриджского отделения языковых исследований в Англии в 1950-х годах. Эта попытка использовала в качестве данных перфокарточную версию Тезауруса Роджера и пронумерованные «заголовки» в качестве индикатора тем и искала повторы в тексте, используя заданный алгоритм пересечения. Он не был очень успешным, но имел прочные связи с более поздними работами, особенно с оптимизацией тезауруса методом машинного обучения Яровским в 1990-х годах.

Поверхностные подходы не пытаются понять текст, а вместо этого учитывают окружающие слова. Эти правила могут быть автоматически выведены компьютером с использованием обучающего корпуса слов, помеченных их смыслами слов. Этот подход, хотя теоретически и не так эффективен, как глубокие подходы, дает превосходные результаты на практике из-за ограниченного знания компьютера о мире.

Существует четыре стандартных подхода к WSD:

• Словарные и основанные на знаниях методы: они полагаются в первую очередь на словари, тезаурусы и лексические базы знаний , без использования каких-либо доказательств.
• Полу-контролируемые или минимально контролируемые методы : они используют вторичный источник знаний, такой как небольшой аннотированный корпус в качестве исходных данных в процессе начальной загрузки или выровненный по словам двуязычный корпус.
• Контролируемые методы : они используют аннотированные тела для обучения.
• Неконтролируемые методы : они избегают (почти) полностью внешней информации и работают непосредственно из необработанных неаннотированных корпусов. Эти методы также известны под названием распознавания смысла слов .

Почти все эти подходы работают путем определения окна из n слов содержания вокруг каждого слова, которое необходимо устранить в корпусе, и статистического анализа этих n окружающих слов. Два неглубоких подхода, используемых для обучения и устранения неоднозначности, — это наивные байесовские классификаторы и деревья решений . В недавних исследованиях методы на основе ядра, такие как машины опорных векторов , показали превосходную производительность при обучении с учителем . Подходы, основанные на графах, также привлекли большое внимание исследовательского сообщества и в настоящее время достигают производительности, близкой к современной.

Методы, основанные на словарях и знаниях

Метод леска является семенным словарем метода. Он основан на гипотезе о том, что слова, используемые вместе в тексте, связаны друг с другом и что эту связь можно наблюдать в определениях слов и их значений. Два (или более) слова устраняются путем нахождения пары словарных значений с наибольшим перекрытием слов в их словарных определениях. Например, при устранении неоднозначности слов в слове «сосновая шишка» определения соответствующих смыслов включают в себя слова «вечнозеленое растение» и «дерево» (по крайней мере, в одном словаре). Подобный подход ищет кратчайший путь между двумя словами: второе слово итеративно ищется среди определений каждого семантического варианта первого слова, затем среди определений каждого семантического варианта каждого слова в предыдущих определениях и так далее. Наконец, первое слово устраняется путем выбора семантического варианта, который минимизирует расстояние от первого до второго слова.

Альтернативой использованию определений является рассмотрение общего смыслового родства слов и вычисление семантического сходства каждой пары смыслов слова на основе данной лексической базы знаний, такой как WordNet . Графические методы, напоминающие распространяющиеся исследования активации первых дней исследований ИИ, применялись с некоторым успехом. Было показано, что более сложные подходы на основе графов работают почти так же хорошо, как контролируемые методы, или даже превосходят их в определенных областях. Недавно сообщалось, что простые меры связности графов , такие как степень , позволяют выполнять WSD по последнему слову техники при наличии достаточно богатой лексической базы знаний. Кроме того, было показано , что автоматическая передача знаний в форме семантических отношений из Википедии в WordNet способствует развитию простых методов, основанных на знаниях, позволяя им конкурировать с лучшими контролируемыми системами и даже превосходить их в параметрах предметной области.

Использование предпочтений выбора (или ограничений выбора) также полезно, например, зная, что обычно готовят еду, можно устранить неоднозначность слова «бас» в слове «Я готовлю басы» (т. Е. Это не музыкальный инструмент).

Контролируемые методы

Контролируемые методы основаны на предположении, что контекст сам по себе может предоставить достаточно доказательств, чтобы устранить неоднозначность слов (следовательно, здравый смысл и рассуждения считаются ненужными). Вероятно, каждый алгоритм машинного обучения был применен к WSD, включая связанные методы, такие как выбор функций , оптимизация параметров и ансамблевое обучение . Машины опорных векторов и обучение на основе памяти оказались на сегодняшний день наиболее успешными подходами, вероятно, потому, что они могут справиться с высокой размерностью пространства функций. Однако у этих контролируемых методов возникает новое узкое место в получении знаний, поскольку для обучения они полагаются на значительное количество корпусов, помеченных вручную сенсорными метками, создание которых трудоемко и дорого.

Полу-контролируемые методы

Из-за нехватки обучающих данных многие алгоритмы устранения неоднозначности слов используют полу-контролируемое обучение , которое позволяет использовать как помеченные, так и немаркированные данные. Алгоритм Yarowsky был ранним примером такого алгоритма с. Он использует свойства человеческих языков «Один смысл на словосочетание» и «Один смысл на дискурс» для устранения неоднозначности слов. По наблюдениям, слова имеют тенденцию проявлять только один смысл в большинстве данных дискурса и в данном словосочетании.

В самонастройки подход начинается с небольшого количества данных семян для каждого слова: либо вручную меченых обучающих примеров или небольшого числа решающих правил SUREFIRE (например, «играть» в контексте «баса» почти всегда указывает на музыкальном инструменте). Семена используются для обучения начального классификатора с использованием любого контролируемого метода. Затем этот классификатор используется в непомеченной части корпуса для извлечения большего обучающего набора, в который включены только самые надежные классификации. Процесс повторяется, каждый новый классификатор обучается на последовательно увеличивающемся учебном корпусе, пока не будет израсходован весь корпус или пока не будет достигнуто заданное максимальное количество итераций.

Другие полу-контролируемые методы используют большие количества непомеченных корпусов для предоставления информации о совместном появлении, которая дополняет помеченные корпуса. Эти методы могут помочь в адаптации контролируемых моделей к различным областям.

Кроме того, неоднозначное слово на одном языке часто переводится на разные слова на другом языке в зависимости от смысла слова. Word-выровненные двуязычные корпуса были использованы для вывода кросс-лингвальных смысловые различий, своего рода полуобучаемой системы.

Неконтролируемые методы

Обучение без учителя — самая большая проблема для исследователей WSD. Основное предположение состоит в том, что похожие смыслы возникают в аналогичных контекстах, и, таким образом, смыслы могут быть вызваны из текста путем кластеризации вхождений слов с использованием некоторой меры сходства контекста, задача, называемая индукцией или различением смысла слова . Затем новые вхождения слова можно классифицировать по ближайшим индуцированным группам / смыслам. Производительность была ниже, чем у других методов, описанных выше, но сравнения затруднены, поскольку индуцированные чувства должны отображаться в известном словаре значений слов. Если отображение на набор значений словаря нежелательно, могут быть выполнены оценки на основе кластеров (включая меры энтропии и чистоты). В качестве альтернативы, методы индукции смысла слова могут быть протестированы и сравнены в приложении. Например, было показано, что индукция смысла слов улучшает кластеризацию результатов веб-поиска за счет повышения качества кластеров результатов и степени диверсификации списков результатов. Есть надежда, что обучение без учителя преодолеет узкое место в получении знаний, поскольку оно не зависит от ручных усилий.

Представление слов с учетом их контекста через плотные векторы фиксированного размера ( вложения слов ) стало одним из самых фундаментальных блоков в нескольких системах НЛП. Несмотря на то, что большинство традиционных методов встраивания слов объединяют слова с несколькими значениями в одно векторное представление, их все же можно использовать для улучшения WSD. В дополнение к методам встраивания слов лексические базы данных (например, WordNet , ConceptNet , BabelNet ) также могут помочь неконтролируемым системам отображать слова и их значения в качестве словарей. Некоторые методы, сочетающие лексические базы данных и вложения слов, представлены в AutoExtend и наиболее подходящей смысловой аннотации (MSSA). В AutoExtend они представляют метод, который разделяет входное представление объекта на его свойства, такие как слова и их значения слов. AutoExtend использует структуру графа для сопоставления слов (например, текста) и объектов, не являющихся словами (например, синсеты в WordNet ), как узлов, а отношения между узлами как ребер. Отношения (ребра) в AutoExtend могут выражать сложение или сходство между его узлами. Первый отражает интуицию, лежащую в основе расчета смещения, а второй определяет сходство между двумя узлами. В MSSA неконтролируемая система устранения неоднозначности использует сходство между смыслами слов в фиксированном контекстном окне для выбора наиболее подходящего смысла слова с помощью предварительно обученной модели встраивания слов и WordNet . Для каждого контекстного окна MSSA вычисляет центроид определения смысла каждого слова путем усреднения векторов слов его слов в глоссах WordNet (т. Е. Кратком определяющем блеске и одном или нескольких примерах использования) с использованием предварительно обученной модели встраивания слов. Эти центроиды позже используются для выбора смысла слова с наибольшим сходством целевого слова с его непосредственно соседними соседями (т. Е. Словами-предшественниками и словами-преемниками). После того, как все слова аннотированы и устранены неоднозначности, их можно использовать в качестве обучающего корпуса в любой стандартной технике встраивания слов. В своей улучшенной версии MSSA может использовать вложения смысла слова для итеративного повторения процесса устранения неоднозначности.

Другие подходы

Другие подходы могут различаться по своим методам:

• Устранение неоднозначности на основе предметной области;
• Выявление доминирующих смыслов слова;
• WSD с использованием кросс-языковых доказательств.
• Решение WSD в независимом от языка NLU Джона Болла, сочетающем в себе теорию патома [1] и RRG (грамматику ролей и справочников)
  
• Вывод типа в грамматиках на основе ограничений

Другие языки

• Хинди  : Отсутствие лексических ресурсов на хинди препятствует работе контролируемых моделей WSD, в то время как неконтролируемые модели страдают из-за обширной морфологии. Возможное решение этой проблемы — создание модели WSD с помощью параллельных корпусов . Создание хинди WordNet проложило путь для нескольких контролируемых методов, которые, как было доказано, обеспечивают более высокую точность при устранении неоднозначности существительных.

Местные препятствия и резюме

Узкое место в получении знаний, возможно, является основным препятствием на пути решения проблемы WSD. Неконтролируемые методы полагаются на знания о значениях слов, которые очень редко сформулированы в словарях и лексических базах данных. Контролируемые методы в решающей степени зависят от наличия вручную аннотированных примеров для каждого смысла слова, требование, которое пока может быть выполнено только для нескольких слов в целях тестирования, как это делается в упражнениях Senseval .

Одна из самых многообещающих тенденций в исследованиях WSD — использование крупнейшего когда-либо доступного корпуса , всемирной паутины , для автоматического получения лексической информации. WSD традиционно понимается как технология разработки промежуточного языка, которая может улучшить такие приложения, как поиск информации (IR). В этом случае, однако, верно и обратное: поисковые машины реализуют простые и надежные методы IR, которые могут успешно добывать в Интернете информацию для использования в WSD. Исторически сложившаяся нехватка обучающих данных спровоцировала появление некоторых новых алгоритмов и методов, как описано в разделе « Автоматическое получение корпусов, помеченных смысловыми метками» .

Источники внешних знаний

Знания — фундаментальный компонент WSD. Источники знаний предоставляют данные, которые необходимы для связи смыслов со словами. Они могут варьироваться от корпусов текстов, как без надписей, так и с аннотациями слов, до машиночитаемых словарей, тезаурусов, глоссариев, онтологий и т. Д. Их можно классифицировать следующим образом:

Структурированный:

1. Машиночитаемые словари (MRD)
2. Онтологии
3. Тезаурусы

Неструктурированный:

1. Ресурсы для коллокации
2. Другие ресурсы (например, список частот слов , stoplists , метки доменных и т.д.)
3. Корпуса : необработанные корпуса и корпуса с сенсорными комментариями.

Оценка

Сравнивать и оценивать разные системы WSD чрезвычайно сложно из-за различных наборов тестов, аналитических обзоров и используемых ресурсов знаний. Перед организацией конкретных кампаний по оценке большинство систем оценивались на внутренних, часто небольших, наборах данных . Чтобы проверить свой алгоритм, разработчики должны тратить свое время на аннотирование всех вхождений слов. И сравнение методов даже в одном и том же корпусе недопустимо, если есть разные смысловые инвентаризации.

Для определения общих наборов данных и процедур оценки были организованы общественные оценочные кампании. Senseval (теперь переименованный в SemEval ) — это международный конкурс по устранению неоднозначности, который проводится каждые три года с 1998 года: Senseval-1 (1998 г.), Senseval-2 (2001 г.), Senseval-3 (2004 г.) и его преемник SemEval (2007 г.) . Целью конкурса является организация различных лекций, подготовка и ручное аннотирование корпуса для тестовых систем, проведение сравнительной оценки систем WSD в нескольких видах задач, включая полнословные и лексические образцы WSD для разных языков, а в последнее время , новые задачи, такие как обозначение семантических ролей , глянец WSD, лексическая замена и т. д. Системы, представленные для оценки на эти соревнования, обычно объединяют различные методы и часто сочетают контролируемые и основанные на знаниях методы (особенно для предотвращения плохой работы при отсутствии обучающих примеров) .

В последние годы ^{2007-2012 гг.} Количество вариантов оценочных задач WSD увеличилось, и критерий оценки WSD резко изменился в зависимости от варианта оценочной задачи WSD. Ниже перечислены различные задачи WSD:

Выбор дизайна задачи

По мере развития технологий задачи устранения неоднозначности слов (WSD) становятся все более разнообразными в разных направлениях исследований и для большего количества языков:

• Классические одноязычные оценочные задачи WSD используют WordNet в качестве инвентаризации смысла и в значительной степени основаны на контролируемой / полууправляемой классификации с аннотированными корпусами вручную:
  • Классический английский WSD использует Princeton WordNet, поскольку он учитывает инвентаризацию, а входные данные первичной классификации обычно основываются на корпусе

  SemCor .

• Классический WSD для других языков использует соответствующие WordNet в качестве смысловых инвентаризаций и смысловых аннотированных корпусов, помеченных на их соответствующих языках. Часто исследователи также обращаются к корпусу SemCor и выравнивают битексты с английским в качестве исходного языка.

Задача кросс-языковой оценки WSD также сосредоточена на WSD одновременно на 2 или более языках. В отличие от многоязычных задач WSD, вместо того, чтобы предоставлять вручную смысловые примеры для каждого смысла многозначного существительного, смысловой инвентарь строится на основе параллельных корпусов, например корпуса Europarl.

Задачи оценки многоязычного WSD были сосредоточены на WSD на 2 или более языках одновременно с использованием их соответствующих WordNets в качестве своего смыслового инвентаря или BabelNet в качестве многоязычного смыслового инвентаря. Он возник на основе оценочных задач Translation WSD, которые выполнялись в Senseval-2. Популярным подходом является выполнение одноязычного WSD с последующим отображением смыслов исходного языка в соответствующие переводы целевого слова.

Слово Чувство Индукция и задача Disambiguation представляет собой комбинированная оценку задачи , где инвентаризация смысла первые индуцированная из фиксированных обучающей выборки данных, состоящие из многозначных слов и фраз , что они произошли в, то WSD выполняется на другой наборе данных испытаний .

Программное обеспечение

• Babelfy, единая современная система для многоязычного устранения неоднозначности слов и связывания сущностей
• BabelNet API, Java API для многоязычного устранения неоднозначности Word Sense на 6 различных языках с использованием семантической сети BabelNet
  
• WordNet :: SenseRelate, проект, который включает бесплатные системы с открытым исходным кодом для устранения неоднозначности смысла слов и устранения неоднозначности с точки зрения лексических образцов.
• UKB: Graph Base WSD, набор программ для устранения неоднозначности слов и лексического сходства / родства на основе графов с использованием уже существующей базы лексических знаний.
• pyWSD, Python реализации технологий Word Sense Disambiguation (WSD)

Смотрите также

• Двусмысленность
• Контролируемый естественный язык
• Связывание сущностей
• Алгоритм Леска
• Лексическая подстановка
• Пометка части речи
• Полисемия
• Семевал
• Семантическая унификация
• Судебное толкование
• Устранение неоднозначности границы предложения
• Синтаксическая двусмысленность
• Смысл слова
• Индукция смысла слова

Примечания

Процитированные работы

• Agirre, E .; Lopez de Lacalle, A .; Сороа, А. (2009). «WSD, основанный на знаниях, в определенных доменах: более эффективный, чем общий контролируемый WSD» (PDF) . Proc. IJCAI .
• Agirre, E .; М. Стивенсон. 2006. Источники знаний для WSD. В устранении неоднозначности смысла слов: алгоритмы и приложения , Э. Агирре и П. Эдмондс, ред. Спрингер, Нью-Йорк, штат Нью-Йорк.
• Бар-Гилель Ю. (1964). Язык и информация . Ридинг, Массачусетс: Эддисон-Уэсли.
• Buitelaar, P .; Б. Маньини, К. Страппарава и П. Фоссен. 2006. Доменно-ориентированный WSD. В устранении неоднозначности смысла слов: алгоритмы и приложения, Э. Агирре и П. Эдмондс, ред. Спрингер, Нью-Йорк, штат Нью-Йорк.
• Чан, Ю.С.; HT Ng. 2005. Расширение масштабов устранения неоднозначности слов с помощью параллельных текстов. В материалах 20-й Национальной конференции по искусственному интеллекту (AAAI, Питтсбург, Пенсильвания).
• Эдмондс, П. 2000. Разработка задачи для СЕНСЕВАЛ-2 . Tech. Примечание. Брайтонский университет, Брайтон. Соединенное Королевство
• Феллбаум, Кристиана (1997). «Анализ рукописного задания». Proc. семинара ANLP-97 по тегированию текста с помощью лексической семантики: почему, что и как? Вашингтон, округ Колумбия, США .
• Gliozzo, A .; Б. Маньини и К. Страппарава. 2004. Неконтролируемая оценка релевантности предметной области для разрешения смысловой неоднозначности . В материалах конференции 2004 г. по эмпирическим методам обработки естественного языка (EMNLP, Барселона, Испания).
• Ide, N .; Т. Эрджавец, Д. Туфис. 2002. Смысловая дискриминация с параллельными телами . В материалах семинара ACL по устранению неоднозначности слов: недавние успехи и будущие направления (Филадельфия, Пенсильвания).
• Килгаррифф, А. 1997. Я не верю в смысл слов . Comput. Человек. 31 (2), стр. 91–113.
• Килгаррифф, А .; Г. Грефенштетте. 2003. Введение в специальный выпуск в Интернете в виде корпуса . Компьютерная лингвистика 29 (3), стр. 333–347.
• Килгаррифф, Адам; Джозеф Розенцвейг, English Senseval: отчет и результаты, май – июнь 2000 г., Брайтонский университет
• Лапата, М .; и Ф. Келлер. 2007. Информационно-поисковый подход к смысловому ранжированию . В материалах конференции по технологиям человеческого языка Североамериканского отделения Ассоциации компьютерной лингвистики (HLT-NAACL, Рочестер, штат Нью-Йорк).
• Ленат Д. Компьютеры против здравого смысла . Проверено 10 декабря 2008 . (GoogleTachTalks на YouTube)
• Ленат, Д .; RV Guha. 1989. Построение больших систем, основанных на знаниях, Аддисон-Уэсли.
• Леск; М. 1986. Автоматическое устранение неоднозначности с использованием машиночитаемых словарей: Как отличить сосновую шишку от рожка мороженого . В Proc. SIGDOC-86: 5-я Международная конференция по системной документации, Торонто, Канада.
• Литковски, KC 2005. Вычислительные лексиконы и словари. В Энциклопедии языка и лингвистики (2-е изд.), KR Brown, Ed. Издательство Elsevier, Оксфорд, Великобритания
• Magnini, B; Г. Кавалья. 2000. Интеграция кодов предметных полей в WordNet. В материалах 2-й конференции по языковым ресурсам и оценке (LREC, Афины, Греция).
• McCarthy, D .; Р. Кёлинг, Дж. Уидс, Дж. Кэрролл. 2007. Неконтролируемое приобретение преобладающих значений слов . Компьютерная лингвистика 33 (4): 553–590.
• McCarthy, D .; Р. Навильи. 2009. Задача лексической замены английского языка, языковые ресурсы и оценка, 43 (2), Springer.
• Михалча, Р. 2007. Использование Википедии для автоматического устранения неоднозначности слов . В Proc. Североамериканского отделения Ассоциации компьютерной лингвистики (NAACL 2007), Рочестер, апрель 2007 г.
• Мохаммад, S; Г. Херст. 2006. Определение доминирования смысла слова с помощью тезауруса . В материалах 11-й конференции Европейского отделения Ассоциации компьютерной лингвистики (EACL, Тренто, Италия).
• Навильи, Р. 2006. Значимая кластеризация смыслов помогает повысить эффективность устранения неоднозначности смысла слов . Proc. 44-го ежегодного собрания Ассоциации компьютерной лингвистики совместно с 21-й Международной конференцией по компьютерной лингвистике (COLING-ACL 2006), Сидней, Австралия.
• Navigli, R .; А. Ди Марко. Кластеризация и диверсификация результатов веб-поиска с помощью Word Sense Induction на основе графиков . Компьютерная лингвистика, 39 (3), MIT Press, 2013, стр. 709–754.
• Navigli, R .; Г. Крисафулли. Побуждение к пониманию слов для улучшения кластеризации результатов веб-поиска . Proc. конференции 2010 г. по эмпирическим методам обработки естественного языка (EMNLP 2010), MIT Stata Center, Массачусетс, США.
• Navigli, R .; М. Лапата. Экспериментальное исследование связности графов для устранения неоднозначности словесного смысла без учителя . IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 32 (4), IEEE Press, 2010.
• Navigli, R .; К. Литковски, О. Харгрейвс. 2007. СемЭвал-2007 Задание 07: Общее задание по английскому языку . Proc. семинара Semeval-2007 ( SemEval ) на 45-м ежегодном собрании Ассоциации компьютерной лингвистики (ACL 2007), Прага, Чешская Республика.
• Навильи, Р.; П. Веларди. 2005. Структурные семантические взаимосвязи: основанный на знаниях подход к устранению смысловой неоднозначности . IEEE Transactions по анализу шаблонов и машинному анализу (TPAMI), 27 (7).
• Palmer, M .; О. Бабко-Малая и Х. Т. Данг. 2004. Различная степень детализации для разных приложений . В материалах 2-го семинара по масштабируемым системам понимания естественного языка в HLT / NAACL (Бостон, Массачусетс).
• Понцетто, ИП; Р. Навильи. Богатый знаниями Word Sense Disambiguation, конкурирующий с контролируемыми системами . В Proc. 48-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL), 2010 г.
• Pradhan, S .; Э. Лопер, Д. Длигач, М. Палмер. 2007. SemEval-2007 Задание 17: Лексический образец английского языка, SRL и все слова . Proc. семинара Semeval-2007 (SEMEVAL) на 45-м ежегодном собрании Ассоциации компьютерной лингвистики (ACL 2007), Прага, Чешская Республика.
• Шютце, Х. 1998. Автоматическое распознавание смысла слова . Компьютерная лингвистика, 24 (1): 97–123.
• Snow, R .; С. Пракаш, Д. Джурафски, AY Ng. 2007. Обучение объединению смыслов слов , материалы совместной конференции 2007 года по эмпирическим методам обработки естественного языка и компьютерному изучению естественного языка (EMNLP-CoNLL).
• Снайдер, Б .; М. Палмер. 2004. Задание на все слова на английском языке . В Proc. 3-го Международного семинара по оценке систем семантического анализа текста (Senseval-3), Барселона, Испания.
• Уивер, Уоррен (1949). «Перевод» (PDF) . В Локке, WN; Бут, AD (ред.). Машинный перевод языков: четырнадцать эссе . Кембридж, Массачусетс: MIT Press.
• Wilks, Y .; Б. Слатор, Л. Гатри. 1996. Электрические слова: словари, компьютеры и значения. Кембридж, Массачусетс: MIT Press.
• Яровски, Д. Устранение смысловой неоднозначности с использованием статистических моделей категорий Роже, обученных на больших корпусах . В Proc. 14-й конференции по компьютерной лингвистике (COLING), 1992.
• Яровский, Д. 1995. Неконтролируемое устранение неоднозначности, соперничающее с контролируемыми методами . В Proc. 33-го ежегодного собрания Ассоциации компьютерной лингвистики.

Внешние ссылки и рекомендуемая литература

• Специальный выпуск компьютерной лингвистики по устранению неоднозначности слов (1998)
• Упражнения по оценке смысловой неоднозначности . Де-факто стандартные тесты для систем WSD.
• Роберто Навильи. Устранение неоднозначности слов: обзор , ACM Computing Surveys, 41 (2), 2009, стр. 1–69. Актуальное состояние дел в этой области.
• Устранение неоднозначности в словах, как это определено в Scholarpedia
• Устранение неоднозначности в словах : современное состояние (PDF) Всесторонний обзор Проф. Нэнси Ид и Жан Веронис (1998).
• Учебное пособие по устранению неоднозначности в словах, написанное Радой Михалча и Тедом Педерсеном (2005).
• Ну, ну, ну … Устранение неоднозначности в словах с помощью Google n-Grams , Крейг Трим (2013).
• Устранение неоднозначности словесного смысла: алгоритмы и приложения , под редакцией Энеко Агирре и Филиппа Эдмондса (2006), Springer. Охватывает всю область с главами, написанными ведущими исследователями. www.wsdbook.org сайт книги
  
• Бар-Гилель, Иегошуа. 1964. Язык и информация. Нью-Йорк: Эддисон-Уэсли.
• Эдмондс, Филип и Адам Килгаррифф. 2002. Введение в специальный выпуск об оценке систем устранения многозначности слов. Журнал инженерии естественного языка, 8 (4): 279-291.
• Эдмондс, Филипп. 2005. Лексическая неоднозначность. Энциклопедия языка и лингвистики Elsevier, 2-е изд., Изд. Кит Браун, 607–23. Оксфорд: Эльзевир.
• Иде, Нэнси и Жан Веронис. 1998. Значение слова: современное состояние. Компьютерная лингвистика, 24 (1): 1-40.
• Джурафски, Дэниел и Джеймс Х. Мартин. 2000. Обработка речи и языка. Нью-Джерси, США: Прентис Холл.
• Литковски, KC 2005. Вычислительные лексиконы и словари. В Энциклопедии языка и лингвистики (2-е изд.), KR Brown, Ed. Издательство Elsevier, Оксфорд, Великобритания, 753–761.
• Мэннинг, Кристофер Д. и Хинрих Шютце. 1999. Основы статистической обработки естественного языка. Кембридж, Массачусетс: MIT Press. Основы статистической обработки естественного языка
• Михалча, Рада. 2007. Значение слова. Энциклопедия машинного обучения. Springer-Verlag.
• Резник, Филипп и Давид Яровски. 2000. Различительные системы и различающие смыслы: новые методы оценки для устранения неоднозначности смысла слов, Natural Language Engineering, 5 (2): 113-133. [2]
• Яровский, Дэвид. 2001. Значение слова. Справочник по обработке естественного языка, под ред. Дейл и др., 629–654. Нью-Йорк: Марсель Деккер.

Определение смысла слова, которое используется

В компьютерная лингвистика, определение смысловой неоднозначности (WSD ) — это открытая проблема, связанная с определением смысла из слова используется в предложении . Решение этой проблемы влияет на другие виды компьютерного письма, такие как дискурс, повышенная релевантность поисковых систем, разрешение анафоры, согласованность, и вывод.

человеческий мозг довольно хорошо разбирается в словесной неоднозначности. Этот естественный язык сформирован способом, который требует от него очень многого, и является отражением этой неврологической реальности. Другими словами, человеческий язык развивался таким образом, чтобы отражать (а также помогать формировать) врожденные способности, используемые нейронными сетями мозга. В компьютерных науках и информационные технологии, которые позволяют выполнять долгосрочным вызовом способности компьютеров выполнять обработка естественного языка и машинное обучение.

Было исследовано набор разнообразных методов, методов на основе словаря, использующих, закодированных в лексических ресурсах, до контролируемых методов машинного обучения, в которых классификатор обучается для каждого отдельного слова на корпусе примеров с ручной смысловой аннотацией, полностью неконтролируемым методам, которые группируют вхождения слов, тем самым вызывающим смысловое восприятие слов. Среди них подходы к обучению с учителем были наиболее успешными алгоритмами на сегодняшний день.

Точность текущих алгоритмов сложно констатировать без основок. На английском языке точность на уровне грубого помола (гомограф ) некоторых обычно превышает 90%, а методы на определенных омографах достигают более 96%. Что касается более тонких различий чувств, максимальная точность от 59,1% до 69,0% была зафиксирована в оценочных упражнениях (SemEval-2007, Senseval-2), где базовая точность простейшего возможного алгоритма выбора всегда наиболее частого смысла составила 51,4%. и 57% соответственно.

Содержание

• 1 О компании
• 2 История
• 3 Трудности
  • 3.1 Различия между словарями
  • 3.2 Тегирование части речи
  • 3.3 Расхождения между судьями
  • 3.4 Прагматика
  • 3.5 Инвентаризация чувствительности и алгоритмов задач от задач
  • 3.6 Дискретность смыслов
• 4 Подходы и методы
  • 4.1 Методы, основанные на словарях и знаниях
  • 4.2 Контролируемые методы
  • 4.3 Полу-контролируемые методы
  • 4.4 Неконтролируемые методы
  • 4.5 Другие подходы
  • 4.6 Другие языки
  • 4.7 Местные препятствия и сводка
• 5 Внешние источники знаний
• 6 Оценка
  • 6.1 Варианты разработки задачи
• 7 Программное обеспечение
• 8 См.
• 9 Примечания
• 10 Процитированные работы
• 11 Внешние ссылки и рекомендуемая литература

О

Устранение неоднозначности требует двух строгих входов: словарь для определения смыслов, которые должны быть устранены, и корпус данных языка для устранения неоднозначностей (в некоторых методах также требуется обучающий корпус языковых примеров). Задача WSD имеет два варианта: «» и «» задача. Первый включает неоднозначности в сопоставлении небольшой выборки целевых слов, которые были ранее выбраны, в то время как во втором фрагменте фрагмента текста должны быть устранены. Согласно одному и тому же целевому слову, каждый раз, когда им нужно сделать оценки для каждого в каждом раз, когда им нужно сделать оценку тегов, а не один раз для блока экземпляры для одного и того же целевого слова.

Чтобы прояснить, как все это работает, рассмотрим три примера различных смыслов, которые существуют для (письменного) слова «bass »:

1. тип рыбы
2. низкочастотные тона
3. тип инструмента

и предложения:

1. Я ловил морского окуня.
2. Басовая линия песни слишком слабая.

Для людей, которые используют английский, в первом предложении, используется слово «bass (fish) », как в предыдущем смысле выше, так и во втором предложении., слово «бас (инструмент) » используется, как в последнем смысле, приведенном ниже. Разработка алгоритмов доказательств для воспроизведения этой способности человека часто может быть сложной сложной системой, о чем также неявная двусмысленность между «бас (звук) » и «бас (инструмент). «.

История

WSD была впервые сформулирована как отдельная вычислительная задача заре машинного перевода в 1940-х годах, что сделало ее одной из старейших проблем компьютерной лингвистики. Уоррен. Ранние исследователи хорошо понимали важность и сложность WSD. Фактически, Бар-Гиллель (1960) использовал приведенный выше пример, чтобы доказать, что Уивер в своем знаменитом меморандуме 1949 года впервые представил проблему в контексте вычислений. что WSD не может быть решена с помощью «электронного компьютера» из-за необходимости в целом моделировать все мировые знания.

В 1970-х годах WSD была подзадачей системной семантической интерпретации, разработанной в области искусственного интеллекта, начиная с семантики предпочтений Уилкса. Однако, поскольку системы WSD в основном основывались на правилах и кодировались вручную, они были склонны к узким местам в получении знаний.

К 1980-м годам стали доступн. ы крупномасштабные лексические ресурсы, такие как Oxford Advanced Learner’s Dictionary of Current English (OALD): ручное кодирование было заменено знаниями, автоматически извлеченными из этих ресурсов, но устранение неоднозначности по-прежнему основывалось на знаниях или словарях.

В 1990-х годах статистическая революция охватила вычислительную лингвистику, и WSD превратилась в парадигму проблемы, к которой можно было применить методы контролируемого машинного обучения.

В 2000-х годах контролируемые методы достижимости плато в точности, поэтому внимание переключилось на более грубые ощущения, адаптацию предметной области, полу-контролируемые и неконтролируемые системы на основе корпуса, комбинации различных методов и возвращение системы, основанные на знаниях, с помощью методов на основе графов. Тем не менее, контролируемые системы продолжают работать лучше всего.

Трудности

Различия между словарями

Одна проблема с устранением неоднозначности смысла слова — это определение, что такое чувства. По крайней мере, некоторые значения приведенному выше слову «бас». В других случаях, однако, различные смыслы через другое соединение (одно значение метафорическим или метонимическим расширением), и в таких случаях, слов на смыслы становится намного более сложным. трудно. Различные словари и тезаурусы обеспечат различное деление слов на значения. Одно из решений, которое использовали некоторые исследователи, — это выбрать конкретный словарь и просто использовать его набор смыслов. Однако в целом результаты исследований с использованием широких различий в чувствах были намного лучше, чем результаты исследований с использованием узких. Однако, учитывая отсутствие полноценной крупнозернистой системы чувств, большинство исследователей продолжают работать над мелкозернистой WSD.

Большинство исследований в области WSD выполняется с использованием WordNet в качестве справочного материала для английского языка. WordNet — это вычислительный лексикон, который кодирует понятия как наборы синонимов (например, понятие автомобиля кодируется как {автомобиль, авто, автомобиль, машина, автомобиль}). Другие ресурсы, использованные для устранения неоднозначности, включая Тезаурус Роджера и Википедию. Совсем недавно для многоязычного WSD использовался BabelNet, многоязычный энциклопедический словарь.

Теги части речи

В любом реальном тесте тегирование части-речи и смысловая маркировка очень связаны с другом, используемым созданием ограничения. И вопрос о том, должны ли эти задачи быть вместе или разделены, все еще не решены единогласно, но в последнее время ученые склонны проверять эти вещи по отдельности (например, в соревнованиях Senseval / SemEval части речи в качестве входных для текста для устранения неоднозначности).

Поучительно сравнить проблему неоднозначности смысла слова с проблемой тегирования части речи. Оба включают устранение неоднозначности или пометку слов, будь то чувства или части речи. Однако, используются для одного слова, не работают хорошо для другого, в основном потому, что часть речи слова в первую очередь определяется непосредственно соседними от одного до трех слов, как смысл слова может быть более удаленными словами.. Уровень для алгоритмов тегирования части речи в настоящее время намного выше, чем для WSD, при этом точность современного уровня техники составляет около 95% или лучше, по сравнению с точностью менее 75% в устранении неоднозначности слов с обучение с учителем. Эти цифры типичны для английского языка и могут сильно отличаться от данных для других языков.

Дисперсия между судьями

Другая проблема — Дисперсия между судьями дисперсия. Системы WSD обычно тестируются путем сравнения результатов выполнения задачи с результатами человека. Однако, в то время как связать части речи с текстом относительно легко, научить людей помечать чувства гораздо сложнее. Несмотря на то, что пользователи могут запоминать все случайные части речи, которые могут принимать, люди не могут запоминать все смыслы, которые может принимать слово. Более того, люди не согласны с поставленной задачей — приведите список смыслов и предложений, и люди не всегда соответствуются, какое слово принадлежит в каком смысле.

человеческая деятельность служит стандартом, это верхняя граница производительности компьютера. Однако эффективность человека намного лучше при крупнозернистых, чем мелкозернистых различий, так что это снова является причиной того, что исследования крупнозернистых различий были проверены в недавней оценке WSD.

Прагматика

Некоторые исследователи ИИ, такие как Дуглас Ленат, утверждают, что нельзя разбирать значения слов без здравого смысла. онтология. Этот лингвистический вопрос называется прагматикой. Например, сравнивая эти два предложения:

• «Джилл и Мэри — матери». — (каждый независимо друг от друга мать).
• «Джилл и Мэри — сестры». — (они сестры друг друга).

Чтобы правильно определить смысл слов, нужно знать факты здравого смысла. Более того, иногда требуется здравый смысл для устранения неоднозначности таких слов, как местоимения, в случае наличия в тексте анафор или катафор.

Смысловая инвентаризация и зависимость алгоритмов от задач

Смысловая инвентаризация, не зависящая от задачи, не является последовательной концепцией: каждая задача требует своего собственного разделения значений слова на смыслы, относящиеся к задаче. Например, двусмысленность «мышь » (животное или устройство) не актуальна для англо-французского машинного перевода, но актуальна в поиске информации. Обратное верно для слова «река», которое требует выбора во французском языке (fleuve «впадает в море» или rivière «впадает в реку»).

Кроме того, для разных приложений могут потребоваться совершенно разные алгоритмы. В машинном переводе проблема заключается в выборе целевого слова. Здесь «смыслы» — это слова на целевом языке, которые часто соответствуют различным значениям в исходном языке («банк» может переводиться с французского «банк», то есть «финансовый банк» или «рив»), то есть есть, «край реки »). При поиске информации инвентаризация смысла не обязательно требуется, потому что достаточно знать, что используется в одном и том же смысле в запросе и в извлеченном документе; какой это смысл, неважно.

Дискретность чувств

Наконец, само понятие «слово смысл » скользкий и неоднозначный. Большинство людей могут согласиться в различных на уровне крупнозернистого омографа (например, ручка как пишущий инструмент или корпус), но опускаются на один уровень до мелкозернистого многозначность, и возникает разногласия. Например, в Senseval-2, в котором использовались тонкие смысловые люди разные, аннотаторы-соглашались только в 85% случаев появления слов. Значение в принципе бесконечно вариативно и зависит от контекста. Его нелегко разделить на отдельные или отдельные подзначения. Лексикографы часто обнаруживают в корпусах нечеткие и частично совпадающие значения слов, а также стандартные или общепринятые значения, расширяемые, модулируемые и используемые пораз разнообразными способами. Искусство лексикографии состоит в том, чтобы делать обобщения от корпуса до определенных, которые создают и объясняют диапазон значений, создавая впечатление, что имеют слова хорошего семантического поведения. Совсем не ясно, применимы ли эти же различия значений в вычислительных приложениях, поскольку решения лексикографов обычно основываются на других соображениях. В 2009 году задача под названием лексическая замена была предложена как возможное решение проблемы дискретности смысла. Задача состоит в предоставлении замены для слова в контексте, сохраняющей значение исходного слова (раннее, могут быть выбраны из полного лексикона целевого языка, таким образом проходитьолевая дискретность).

Подходы и методы

Как и во всей обработки естественного языка, есть два основных подхода к WSD — и.

Глубинные подходы предполагают доступ к обширной совокупности мировых знаний. Такие знания, как «вы можете ловить рыбу, но не ловить низкочастотные звуки» и «песни содержат низкочастотные звуки как части, но не виды рыб», используемые для определения, в каком смысле «окунь». используется. Эти подходы не очень успешны на практике, как используется в машиночитаемом формате за пределами очень ограниченных областей. Однако, если бы такие знания действительно существовали, то глубокие подходы были намного точнее, чем поверхностные. В компьютерной лингвистике существует давняя традиция опробовать такие подходы с точки зрения закодированных знаний, а в некоторых случаях трудно четко сказать, является ли задействованное знание лингвистическим или мировым. Первая попытка была предпринята Маргарет Мастерман и ее коллегами в Англии в 1950-х годах. Эта попытка была использована в данных перфокарточной версии Тезауруса Роджера и его пронумерованные «главы» в индикаторе тем и искала повторы в тексте, используя в качестве заданного алгоритма пересечения. Он не был очень успешным, но имел прочные связи с более поздними работами, особенно с оптимизацией тезауруса методом машинного обучения Яровским в 1990-х годах.

Поверхностные подходы не пытаются понять текст. Они просто рассматривают окружающие слова, используя информацию, как «если у окуня есть слова море или рыбалка поблизости, это, вероятно, в смысле рыбы; если рядом с окунем есть слова музыка или песня, это, вероятно, в музыкальном смысле ». Эти правила могут быть автоматически выведены компьютером с использованием обучающего словаря, помеченных их смыслами. Этот подход, хотя теоретически не так эффективен, как глубокие подходы, на практике превосходные результаты из-за ограниченных знаний компьютера о мире. Однако его можно сбить с толку такими предложениями, как «Собаки лают на дерево», которые содержат слово «кора» рядом с деревом и собаками.

Существуют четыре стандартных подхода к WSD:

• Словарь — и методы, основанные на первых знаниях: они основаны в очереди на словарях, тезаурусах и лексических базах знаний, без использования каких-либо доказательства корпуса.
• Полу-контролируемые или минимально контролируемые методы : они используют вторичный источник знаний, такой как небольшой аннотированный корпус, в исходном процессе или выровненный по словам двуязычный корпус.
• Контролируемые методы : они используют аннотированные смысловые корпуса для обучения.
• Неконтролируемые методы : они избегают (почти) полностью внешней информации и работают непосредственно из необработанных неаннотированных корпусов. Эти методы также известны под названием . Смысла слов.

. Практически все эти подходы обычно работают, как они должны быть устранены в корпусе, и статистически анализируя эти n окружающих слов. Для обучения и устранения неоднозначности используются два неглубоких подхода: Наивные байесовские классификаторы и деревья решений. В недавнем исследовании методы на основе ядра, такие как вспомогательные векторные машины, показали превосходную производительность в контролируемом обучении. Подходы, основанные на графах, также привлекли большое внимание исследовательского сообщества и в настоящее время достигают показателей, близких к современным.

Словарные методы и методы, основанные на знаниях

Алгоритм Леска — это основанный на словарях метод. Он основан на гипотезе о том, что слова, используемые вместе в тексте, связаны друг с другом и что эту связь можно наблюдать в определениях слов и их значений. Два (или более) слова устраняются путем нахождения пары словарных смыслов с наибольшим перекрытием слов в их словарных определениях. Например, при устранении неоднозначности слов в слове «сосновая шишка» определения соответствующих смыслов включают слова вечнозеленое растение и дерево (по крайней мере, в одном словаре). Подобный подход ищет кратчайший путь между двумя словами: второе слово итеративно ищется среди определений каждого семантического варианта первого слова, затем среди определений каждого семантического варианта каждого слова в предыдущих определениях и так далее. Наконец, первое слово устраняется путем выбора семантического варианта, который минимизирует расстояние от первого до второго слова.

Альтернативой использованию определений является рассмотрение общего смысла родства и вычисление семантического сходства каждой пары значений слов на основе заданного лексическая база знаний, например WordNet. Графические методы, напоминающие исследования распространения активации первых дней исследований ИИ, применялись с некоторым успехом. Было показано, что более сложные подходы на основе графов работают почти так же хорошо, как контролируемые методы, или даже превосходят их в определенных областях. Недавно сообщалось, что простые меры связности графа, такие как степень, выполняют WSD на уровне современного уровня техники при наличии достаточно богатой лексической базы знаний. Кроме того, было показано, что автоматическая передача знаний в форме семантических отношений из Википедии в WordNet способствует развитию простых методов, основанных на знаниях, позволяя им конкурировать с лучшими контролируемыми системами и даже превосходить их. в настройках, зависящих от предметной области.

Использование предпочтений выбора (или) также полезно, например, зная, что обычно готовят еду, можно устранить неоднозначность слова «бас» в слове «Я готовлю басы» (т. е., это не музыкальный инструмент).

контролируемые методы

контролируемые методы основаны на предположении, что контекст сам по себе может предоставить достаточно свидетельств для устранения неоднозначности слов (отсюда здравыйсмысл и рассуждение считаются ненужными). Вероятно, каждый алгоритм машинного обучения был применен к WSD, включая связанные методы, такие как выбор функций и ансамблевое обучение. Машины опорных векторов и обучение на основе памяти оказались наиболее успешными подходами на сегодняшний день, вероятно, потому, что они могут справиться с высокой размерностью пространственных функций. Однако у этих контролируемых методов новое узкое место в получении знаний, созданных на основе огромного количества корпусов с ручными сенсорными метками, создается трудоемко и дорого.

Полу-контролируемые методы

Из-за отсутствия обучающих данных алгоритмы устранения неоднозначности словесного смысла использовать полу-контролируемое обучение, которое позволяет использовать как помеченные, так и немаркированные данные. Алгоритм Яровского был ранним примером такого алгоритма. Он использует свойства человеческих языков «Одно значение на словосочетание» и «Одно значение на словосочетание» для устранения неоднозначности слов. По наблюдениям, слова имеют тенденцию проявлять только один смысл в большей части данного дискурса и в данном словосочетании.

Подход начальной загрузки начинается с небольшого количества каждого слова: вручную помеченные обучающие примеры или небольшое количество верных правил принятия решений (например, «игра» в контексте «бас» почти всегда означает музыкальный инструмент). Начальные значения используются для обучения начального классификатора с использованием любого контролируемого метода. Затем этот классификатор используется в непомеченной части для извлечения большего обучающего набора, который включен только наиболее надежные классификации. Процесс повторяется, каждый новый классификатор обучается на последовательно увеличивающемся учебном корпусе, пока не будет израсходован весь корпус или пока не будет достигнуто заданное максимальное количество итераций.

Другие полу-контролируемые методы используют большие количества нетегированных корпусов для предоставления информации совместной работы, дополняющей помеченные корпуса. Эти методы могут помочь в адаптации контролируемых моделей к различным областям.

Кроме того, неоднозначное слово на одном языке часто переводится в разные слова на другом языке в зависимости от значения слова. Выровненные по словам двуязычные корпуса использовались для вывода частично межъязыковых смыслов различий, своего рода контролируемой системы.

Неконтролируемые методы

Неконтролируемое обучение — самая большая проблема для исследователей WSD. Основное предположение состоит в том, что существуют смыслы, которые могут быть вызваны из текста с помощью кластеризации в поисках слов с использованием некоторой меры сходства контекста, задача, называемая индукция смысла слова или различение. Затем новые вхождения слова можно классифицировать по ближайшим индуцированным группам / смыслам. Производительность ниже, чем у других методов, но сравнение способнены, индуцированные чувства, используемые в известном указанном слове значений. Если отображение на набор значений словаря нежелательно (включая энтропии и чистоты), может быть выполнено. В качестве альтернативы, методы индукции смысла слова могут быть протестированы и сравнены в приложении. Например, было показано, что индукция смысла улучшает кластеризацию результатов веб-поиска за счет повышения качества кластеров результатов и степени диверсификации списков результатов. Есть надежда, что обучение без учителя преодолеет узкое место приобретения знаний, потому что оно не зависит от ручных усилий.

Представление слов с учетом их контекста через плотные конструкции фиксированного размера (в словложения ) стало одним из самых фундаментальных блоков в нескольких системах НЛП. Несмотря на то, что большинство методов использует векторные изображения, которые можно использовать для улучшения WSD. В дополнение к методам встраивания слов лексические базы данных (например, WordNet, ConceptNet, BabelNet ) также могут помочь неконтролируемым системам отображать слова и их значения как словари. Некоторые методы, сочетающие лексические базы данных и наиболее подходящую для использования AutoExtend и подходящую смысловой аннотации (MSSA). В AutoExtend они предоставят метод, который разделяет входное представление объекта на его свойства, такие как слова и их значения слов. AutoExtend использует графа для сопоставления слов (например, текста) и объектов, не являющихся словами (например, synsets в WordNet ), как узлы, а отношения между узлами как ребер. Отношения (ребра) в AutoExtend могут выражать сложение или сходство между его узлами. Первый отражает интуицию, лежащую в основе расчета с ущербом, а второй определяет сходство между двумя узлами. В MSSA неконтролируемая система устранения неоднозначности использует контекстное контекстное меню для выбора наиболее подходящего смысла слова с помощью созданной модели встраивания слов и WordNet. Для каждого контекстного окна MSSA вычисляет центроид определения смысла каждого слова путем усреднения векторов его слов в Глоссы WordNet (т. Е. Краткий определяющий глянец и один или несколько примеров использования) с использованием использования обученного слова модель вложений. Эти центроиды позже используются для выбора смысла наиболее близкими соседями целевого слова с его ближайшими последователями (т. Е. Словами-предшественниками и последователями). После того, как все слова аннотированы и устранены неоднозначности, их можно использовать в обучающем корпусе в любой стандартной технике встраивания словосочетаний. В своей улучшенной версии MSSA может использовать вложения смысла слова для итеративного повторения процесса устранения неоднозначности.

Другие подходы

Другие подходы могут отличаться по своим методам:

• Устранение неоднозначности на основе операционной семантики логики по умолчанию.
• Устранение неоднозначности на основе предметной области;
• Идентификация доминирующих смыслов слов;
• WSD с использованием кросс- языковых свидетельств.
• Решение WSD в независимом от языка NLU Джона Болла, объединяющее теорию патома [1] и RRG (Role and Reference Grammar)
• Вывод типа в грамматиках на основе ограничений

Другие языки

• Хинди : Отсутствие лексические ресурсы на хинди препятствовали работе контролируемых моделей WSD, в то время как неконтролируемые модели страдают из-за обширной морфологии. Возможное решение этой проблемы — создание модели WSD с помощью параллельных корпусов. Создание хинди WordNet проложило путь для нескольких контролируемых методов, как было доказано, более высокой точности в устранении неоднозначности существительных.

Местные препятствия и краткое содержание

Узкое место получения знаний — возможно, главное препятствие на пути решения проблемы WSD. Неконтролируемые методы представлены на знания о смыслах слов, которые очень редко сформулированы в словарях и лексических базах данных. Контролируемые методы в решающей степени зависят от наличия вручную аннотированных примеров для каждого смысла, требование, которое может быть выполнено только для нескольких слов в тестировании, как это сделано в Senseval упражнений.

Одно из самых многообещающих тенденций в исследовании WSD — это использование самого большого корпуса, когда-либо доступного, World Wide Web, для автоматического получения лексической информации. WSD традиционно понимает как технология разработки промежуточного языка, которая может улучшить такие приложения, как поиск информации (IR). Однако в этом случае верно и обратное: поисковые системы реализуют простые и надежные методы IR, которые могут успешно добывать в Интернете информацию для использования в WSD. Историческая нехватка обучающих данных спровоцировала появление новых алгоритмов и методов, как описано в Автоматическое получение корпусов с тегами смысла.

Внешние источники <знания247>

Знания — фундаментальный компонент WSD. Источники предоставляют данные, которые необходимы для связи смыслов со словами. Они могут анализироваться от корпусов текстов, без надписей или аннотированных смыслами слов, до машиночитаемых словрей, тезаурусов, глоссариев, онтологий и т. Д. Можно классифицировать следующим образом:

Структурированные:

1. Машинные- читаемые словари (MRD)
2. Онтологии
3. Тезаурусы

Неструктурированные:

1. Ресурсы для совместного размещения
2. Другие ресурсы (например, списки частотности слов, списки стоп-слов и т. Д.)
3. Корпуса : необработанные корпуса и корпуса с сенсорными комментариями

Оценка

Сравнение и оценка различных систем WSD ужаснительны из-за различных наборов тестов, наборов чувств и т. д. и ресурсы знаний приняты. До организации оценочных систем оценивания на внутренних, часто небольших, наборах данных. Чтобы проверить свой алгоритм, разработчики должны тратить время на аннотирование всех в поисках слов. И сравнение методов даже в одном и том же корпусе недопустимо, если есть разные смысловые инвентаризации.

Для определения общих наборов данных и оценки были организованы общественные оценочные кампании. Senseval (теперь переименованный в SemEval ) — это международный конкурс по устранению неоднозначности, который проводится каждые три года с 1998 года: Senseval-1 (1998), Senseval-2 (2001), Senseval-3 (2004) и его преемник, SemEval (2007). Целью конкурса является организация различных лекций, подготовка и ручное аннотирование корпуса для тестовых систем, выполнение сравнительной оценки систем WSD в нескольких случаях, включая полнословный и лексический образец WSD для разных языков, а в последнее время, новые задачи, такие как обозначение семантических ролей, лексическая замена и т. д. Системы, представленные для оценки на эти соревнования, обычно объединяют различные методы и часто сочетаются контролируемые и основанные на знаниях методы (особенно для избегая плохой работы из-за отсутствия обучающих примеров).

В последние годы выбор задач оценки WSD увеличился, и критерий оценки WSD резко изменился в зависимости от варианта задачи оценки WSD. Ниже перечислено разнообразие задач WSD:

Выбор дизайна задачи

По мере развития технологий задачи устранения неоднозначности слов (WSD) становятся все более разнообразными в разных направлениях исследований и для большего количества языков:

• Классические одноязычные оценочные задачи WSD используют WordNet в инвентарного анализа и в степени основаны на контролируемой / полууправляемой классификации с аннотированными корпусами вручную:
  • Классический английский WSD использует Princeton WordNet, поскольку он обеспечивает инвентаризацию, входные данные первичной классификации обычно основаны на корпусе SemCor.
  • Классический WSD для других языков использует свои соответствующие WordNet в качестве реестров смысла и корпусов с комментариями, помеченными на соответствующих языках. Часто исследователи также обращаются к корпусу SemCor и выравнивают битексты с английским, поскольку его исходным языком
• Межъязыковая задача оценки WSD также сосредоточена на WSD на 2 или более языках одновременно. В отличие от многоязычных задач WSD, вместо предоставления вручную смысловых примеров для каждого смысла многозначного существительного, смысловой перечень строится на основе параллельных корпусов, например Europarl corpus.
• Многоязычные оценочные задания WSD были сосредоточены на WSD на 2 или более языках одновременно, с использованием соответствующих WordNets в качестве смысловой инвентаризации или BabelNet в качестве многоязычной смысловой инвентаризации. Он возник на основе оценочных задач Translation WSD, которые выполнялись в Senseval-2. Популярным подходом является выполнение одноязычного WSD с последующим отображением смыслов исходного языка в соответствующие переводы целевых слов.
• Задача наведения смысла слов и устранения неоднозначности — это комбинированная оценка задачи, при которой сначала индуцируется инвентаризация смысла из фиксированного обучающего набора данных, состоящего из многозначных слов и предложения, в котором они встречаются, затем WSD выполняется на другом наборе данных тестирования.

Программное обеспечение

• Babelfy, унифицированная современная система для многоязычного устранения неоднозначности в словах и связывания сущностей
• BabelNet API, Java API для многоязычного устранения неоднозначности в словах на основе знаний на 6 различных языках с использованием семантической сети BabelNet
• WordNet :: SenseRelate, проект, который включает бесплатные системы с открытым исходным кодом для устранения неоднозначности смысла слов и устранения неоднозначности лексического образца
• UKB: Graph Base WSD, набор программ для выполнения устранения неоднозначности в словах на основе графов и лексическое сходство / relatedness с использованием уже существующей базы лексических знаний
• pyWSD, python, реализации технологий Word Sense Disambiguation (WSD)

См. также

• Портал лингвистики

• Неоднозначность
• Контролируемый естественный язык
• Связывание сущностей
• Алгоритм Леска
• Лексическая подстановка
• Тегирование части речи
• Многозначность
• Семевал
• Семантическая унификация
• Судебная интерпретация
• Устранение неоднозначности границы предложения
• Синтаксис двусмысленность
• смысл слова
• индукция смысла слова

примечания

цитируемые работы

• Agirre, E.; Lopez de Lacalle, A.; Сороа, А. (2009). «WSD, основанный на знаниях, в определенных доменах: более эффективный, чем общий контролируемый WSD» (PDF). Proc. из IJCAI. CS1 maint: ref = harv (ссылка )
• Агирре, Э.; М. Стивенсон. 2006. Источники знаний для WSD. В Устранение неоднозначности в словах: алгоритмы и приложения, E. Agirre и P. Edmonds, Eds. Springer, New York, NY.
• Bar-Hillel, Y. (1964). Язык и информация. Reading, MA: Addison-Wesley. CS1 maint: ref = harv (ссылка )
• Buitelaar, P.; B. Magnini, C. Strapparava и P. Vossen. 2006. WSD для конкретных доменов. Устранение неоднозначности в словесном смысле: алгоритмы и приложения, Э. Агирре и П. Эдмондс, Eds. Springer, New York, NY.
• Chan, YS; HT Ng. 2005. Расширение масштабов устранения неоднозначности слов с помощью параллельных текстов. In Proceedings of the 20th National Conference on Artificial Intelligence (AAAI, Pittsburgh, PA).
• Эдмондс, П. 2000. Разработка задания для SENSEVAL-2. Техническое примечание. Университет Брайтона, Брайтон. Великобритания
• Феллбаум, Кристиан (1997 «Анализ рукописного задания». Материалы семинара ANLP-97 по разметке текста с помощью лексической семантики: Why, Wh у, а как? Вашингтон, округ Колумбия, США. CS1 maint: ref = harv (ссылка )
• Gliozzo, A.; B. Magnini and C. Strapparava. 2004. Неконтролируемая оценка релевантности предметной области для устранения неоднозначности смысла слов. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing (EMNLP, Barcelona, ​​Spain).
• Ide, N.; T. Erjavec, D. Tufis. 2002. Смысловая дискриминация с параллельные корпуса. In Proceedings of ACL Workshop on Word Sense Disambiguation: Recent Successes and Future Directions (Philadelphia, PA).
• Kilgarriff, A. 1997. Я не верю в смысл слов. Comput. Human. 31 (2), pp. 91–113.
• Kilgarriff, A.; G. Grefenstette. 2003. Введение в специальный выпуск в Интернете как корпус. Computational Linguistics 29 (3), pp. 333–347
• Килгаррифф, Адам; Джозеф Розенцвейг, English Senseval: Report and Results, май – июнь, 2000 г., Брайтонский университет
• Lapata, M.; and F. Keller. 2007. Информационно-поисковый подход к смысловому рангу Инж. In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics (HLT-NAACL, Rochester, NY).
• Ленат, Д. «Компьютеры против здравого смысла. «. Проверено 10 декабря 2008 г. (GoogleTachTalks на YouTube)
• Lenat, D.; Р. В. Гуха. 1989. Построение больших систем, основанных на знаниях, Эддисон-Уэсли
• Леск; М. 1986. Автоматическое устранение неоднозначности с использованием машиночитаемых словарей: Как отличить сосновую шишку от рожка мороженого. В Proc. SIGDOC-86: 5-я Международная конференция по системной документации, Торонто, Канада.
• Литковски, К. С. 2005. Вычислительные лексиконы и словари. В Энциклопедии языка и лингвистики (2-е изд.), К. Р. Браун, под ред. Elsevier Publishers, Оксфорд, Великобритания
• Магнини, Б. Г. Кавалья. 2000. Интеграция кодов предметных полей в WordNet. В материалах 2-й конференции по языковым ресурсам и оценке (LREC, Афины, Греция).
• McCarthy, D.; Р. Кёлинг, Дж. Уидс, Дж. Кэрролл. 2007. Неконтролируемое приобретение преобладающих значений слов. Компьютерная лингвистика 33 (4): 553–590.
• McCarthy, D.; Р. Навильи. 2009. The English Lexical Substitution Task, Language Resources and Evaluation, 43 (2), Springer.
• Mihalcea, R. 2007. Использование Википедии для автоматического устранения неоднозначности слов. В Proc. Североамериканского отделения Ассоциации компьютерной лингвистики (NAACL 2007), Рочестер, апрель 2007 г.
• Mohammad, S; Г. Херст. 2006. Определение преобладания смысла слов с использованием тезауруса. В материалах 11-й конференции Европейского отделения Ассоциации компьютерной лингвистики (EACL, Тренто, Италия).
• Navigli, R. 2006. Значимая кластеризация смыслов помогает повысить эффективность устранения неоднозначности слов. Proc. 44-го ежегодного собрания Ассоциации компьютерной лингвистики совместно с 21-й Международной конференцией по компьютерной лингвистике (COLING-ACL 2006), Сидней, Австралия.
• Navigli, R.; А. Ди Марко. Кластеризация и диверсификация результатов веб-поиска с помощью Word Sense Induction на основе графиков. Компьютерная лингвистика, 39 (3), MIT Press, 2013, стр. 709–754.
• Navigli, R.; Г. Крисафулли. Использование словесных чувств для улучшения кластеризации результатов веб-поиска. Proc. конференции 2010 г. по эмпирическим методам обработки естественного языка (EMNLP 2010), MIT Stata Center, Массачусетс, США.
• Navigli, R.; М. Лапата. Экспериментальное исследование связности графов для неконтролируемого устранения неоднозначности смысла слов. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 32 (4), IEEE Press, 2010.
• Navigli, R.; К. Литковски, О. Харгрейвс. 2007. SemEval-2007 Задание 07: Общее задание на английском языке со всеми словами. Proc. семинара Semeval-2007 (SemEval ) на 45-м ежегодном собрании Ассоциации компьютерной лингвистики (ACL 2007), Прага, Чешская Республика.
• Navigli, R.; P. Веларди. 2005. Структурные семантические взаимосвязи: основанный на знаниях подход к устранению смысловой неоднозначности. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 27 (7).
• Palmer, M.; О. Бабко-Малая и Х. Т. Данг. 2004. Различная степень детализации для разных приложений. В материалах 2-го семинара по масштабируемым системам понимания естественного языка в HLT / NAACL (Бостон, Массачусетс).
• Ponzetto, S.P.; Р. Навильи. Богатый знаниями Word Sense Disambiguation, конкурирующий с контролируемыми системами. В Proc. 48-го Annual Meeting of the Association for Computational Linguistics (ACL), 2010.
• Pradhan, S.; E. Loper, D. Dligach, M. Palmer. 2007. SemEval-2007 Task 17: English lexical sample, SRL and all words. Proc. of Semeval-2007 Workshop (SEMEVAL), in the 45th Annual Meeting of the Association for Computational Linguistics (ACL 2007), Prague, Czech Republic.
• Schütze, H. 1998. Automatic word sense discrimination. Computational Linguistics, 24(1): 97–123.
• Snow, R.; S. Prakash, D. Jurafsky, A. Y. Ng. 2007. Learning to Merge Word Senses, Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning (EMNLP-CoNLL).
• Snyder, B.; M. Palmer. 2004. The English all-words task. In Proc. of the 3rd International Workshop on the Evaluation of Systems for the Semantic Analysis of Text (Senseval-3), Barcelona, Spain.
• Weaver, Warren (1949). «Translation» (PDF). In Locke, W.N.; Booth, A.D. (eds.). Machine Translation of Languages: Fourteen Essays. Cambridge, MA: MIT Press.CS1 maint: ref=harv (link)
• Wilks, Y.; B. Slator, L. Guthrie. 1996. Electric Words: dictionaries, computers and meanings. Cambridge, MA: MIT Press.
• Yarowsky, D. Word-sense disambiguation using statistical models of Roget’s categories trained on large corpora. In Proc. of the 14th conference on Computational linguistics (COLING), 1992.
• Yarowsky, D. 1995. Unsupervised word sense disambiguation rivaling supervised methods. In Proc. of the 33rd Annual Meeting of the Association for Computational Linguistics.

External links and suggested reading

• Computational Linguistics Special Issue on Word Sense Disambiguation (1998)
• Evaluation Exercises for Word Sense Disambiguation The de facto standard benchmarks for WSD systems.
• Roberto Navigli. Word Sense Disambiguation: A Survey, ACM Computing Surveys, 41(2), 2 009, pp. 1–69. An up-to-date state of the art of the field.
• Word Sense Disambiguation as defined in Scholarpedia
• Word Sense Disambiguation: The State of the Art (PDF) A comprehensive overview By Prof. Nancy Ide Jean Véronis (1998).
• Word Sense Disambiguation Tutorial, by Rada Mihalcea and Ted Pedersen (2005).
• Well, well, well… Word Sense Disambiguation with Google n-Grams, by Craig Trim (2013).
• Word Sense Disambiguation: Algorithms and Applications, edited by Eneko Agirre and Philip Edmonds (2006), Springer. Covers the entire field with chapters contributed by leading researchers. www.wsdbook.org site of the book
• Bar-Hillel, Yehoshua. 1964. Language and Information. New York: Addison-Wesley.
• Edmonds, Philip Adam Kilgarriff. 2002. Introduction to the special issue on evaluating word sense disambiguation systems. Journal of Natural Language Engineering, 8(4):279-291.
• Edmonds, Philip. 2005. Lexical disambiguation. The Elsevier Encyclopedia of Language and Linguistics, 2nd Ed., ed. by Keith Brown, 607-23. Oxford: Elsevier.
• Ide, Nancy Jean Véronis. 1998. Word sense disambiguation: The state of the art. Computational Linguistics, 24(1):1-40.
• Jurafsky, Daniel James H. Martin. 2000. Speech and Language Processing. New Jersey, USA: Prentice Hall.
• Litkowski, K. C. 2005. Computational lexicons and dictionaries. In Encyclopaedia of Language and Linguistics (2nd ed.), K. R. Brown, Ed. Elsevier Publishers, Oxford, U.K., 753–761.
• Manning, Christopher D. Hinrich Schütze. 1999. Foundations of Statistical Natural Language Processing. Cambridge, MA: MIT Press. Foundations of Statistical Natural Language Processing
• Mihalcea, Rada. 2007. Word sense disambiguation. Encyclopedia of Machine Learning. Springer-Verlag.
• Resnik, Philip and David Yarowsky. 2000. Distinguishing systems and distinguishing senses: New evaluation methods for word sense disambiguation, Natural Language Engineering, 5(2):113-133. [2]
• Yarowsky, David. 2001. Word sense disambiguation. Handbook of Natural Language Processing, ed. by Dale et al., 629-654. New York: Marcel Dekker.

Word sense disambiguation (WSD)  in Natural Language Processing (NLP) is the problem of identifying which “sense” (meaning) of a word is activated by the use of the word in a particular context or scenario. In people, this appears to be a largely unconscious process. The challenge of correctly identifying words in NLP systems is common, and determining the specific usage of a word in a sentence has many applications. The application of Word Sense Disambiguation involves the area of Information Retrieval, Question Answering systems, Chat-bots, etc.

Word Sense Disambiguation (WSD) is a subfield of Natural Language Processing (NLP) that deals with determining the intended meaning of a word in a given context. It is the process of identifying the correct sense of a word from a set of possible senses, based on the context in which the word appears. WSD is important for natural language understanding and machine translation, as it can improve the accuracy of these tasks by providing more accurate word meanings. Some common approaches to WSD include using WordNet, supervised machine learning, and unsupervised methods such as clustering.

The noun ‘star’ has eight different meanings or senses. An idea can be mapped to each sense of the word. For example,

• “He always wanted to be a Bollywood star.” The word ‘star’ can be described as “A famous and good singer, performer, sports player, actor, personality, etc.”
• “The Milky Way galaxy contains between 200 and 400 billion stars”. In this, the word star means “a big ball of burning gas in space that we view as a point of light in the night sky.”

Difficulties in Word Sense Disambiguation

There are some difficulties faced by Word Sense Disambiguation (WSD).

• Different Text-Corpus or Dictionary: One issue with word sense disambiguation is determining what the senses are because different dictionaries and thesauruses divide words into distinct senses. Some academics have proposed employing a specific lexicon and its set of senses to address this problem. In general, however, research findings based on broad sense distinctions have outperformed those based on limited ones. The majority of researchers are still working on fine-grained WSD.
• PoS Tagging: Part-of-speech tagging and sense tagging have been shown to be very tightly coupled in any real test, with each potentially constraining the other. Both disambiguating and tagging with words are involved in WSM part-of-speech tagging. However, algorithms designed for one do not always work well for the other, owing to the fact that a word’s part of speech is mostly decided by the one to three words immediately adjacent to it, whereas a word’s sense can be determined by words further away. 

Sense Inventories for Word Sense Disambiguation

Sense Inventories are the collection of abbreviations and acronyms with their possible senses. Some of the examples used in Word Sense Disambiguation are: 

• Princeton WordNet: is a vast lexicographic database of English and other languages that is manually curated. For WSD, this is the de facto standard inventory. Its well-organized Synsets, or clusters of contextual synonyms, are nodes in a network.
• BabelNet: is a multilingual dictionary that covers both lexicographic and encyclopedic terminology. It was created by semi-automatically mapping numerous resources, including WordNet, multilingual versions of WordNet, and Wikipedia.
• Wiktionary: a collaborative project aimed at creating a dictionary for each language separately, is another inventory that has recently gained popularity.

Approaches for Word Sense Disambiguation

There are many approaches to Word Sense Disambiguation. The three main approaches are given below: 

1. Supervised: The assumption behind supervised approaches is that the context can supply enough evidence to disambiguate words on its own (hence, world knowledge and reasoning are deemed unnecessary). 

Supervised methods for Word Sense Disambiguation (WSD) involve training a model using a labeled dataset of word senses. The model is then used to disambiguate the sense of a target word in new text. Some common techniques used in supervised WSD include:

1. Decision list: A decision list is a set of rules that are used to assign a sense to a target word based on the context in which it appears.
2. Neural Network: Neural networks such as feedforward networks, recurrent neural networks, and transformer networks are used to model the context-sense relationship.
3. Support Vector Machines: SVM is a supervised machine learning algorithm used for classification and regression analysis.
4. Naive Bayes: Naive Bayes is a probabilistic algorithm that uses Bayes’ theorem to classify text into predefined categories.
5. Decision Trees: Decision Trees are a flowchart-like structure in which an internal node represents feature(or attribute), the branch represents a decision rule, and each leaf node represents the outcome.

Random Forest: Random Forest is an ensemble learning method for classification, regression, and other tasks that operate by constructing a multitude of decision trees at training time and outputting the class that is the mode of the classes.

• Supervised WSD Exploiting Glosses: Textual definitions are a prominent source of information in sense inventories (also known as glosses). Definitions, which follow the format of traditional dictionaries, are a quick and easy way to clarify sense distinctions
• Purely Data-Driven WSD: In this case, a token tagger is a popular baseline model that generates a probability distribution over all senses in the vocabulary for each word in a context.
• Supervised WSD Exploiting Other Knowledge: Additional sources of knowledge, both internal and external to the knowledge base, are also beneficial to WSD models. Some researchers use BabelNet translations to fine-tune the output of any WSD system by comparing the output senses’ translations to the target’s translations provided by an NMT system. 

2. Unsupervised: The underlying assumption is that similar senses occur in similar contexts, and thus senses can be induced from the text by clustering word occurrences using some measure of similarity of context. Using fixed-size dense vectors (word embeddings) to represent words in context has become one of the most fundamental blocks in several NLP systems. Traditional word embedding approaches can still be utilized to improve WSD, despite the fact that they conflate words with many meanings into a single vector representation. Lexical databases (e.g., WordNet, ConceptNet, BabelNet) can also help unsupervised systems map words and their senses as dictionaries, in addition to word embedding techniques.

3. Knowledge-Based: It is built on the idea that words used in a text are related to one another, and that this relationship can be seen in the definitions of the words and their meanings. The pair of dictionary senses having the highest word overlap in their dictionary meanings are used to disambiguate two (or more) words.  Lesk Algorithm is the classical algorithm based on Knowledge-Based WSD. Lesk algorithm assumes that words in a given “neighborhood” (a portion of text) will have a similar theme. The dictionary definition of an uncertain word is compared to the terms in its neighborhood in a simplified version of the Lesk algorithm. 

Subtopics:

1. Supervised methods for WSD
2. Unsupervised methods for WSD
3. Knowledge-based methods for WSD
4. Distributional methods for WSD
5. Hybrid methods for WSD
6. Evaluation metrics for WSD
7. Applications of WSD in NLP tasks such as machine translation, information retrieval, and text summarization.
8. Limitations and challenges in WSD research
9. Recent developments and future directions in WSD
10. Annotation schemes and tools for WSD

Example:

For example, consider the word “bank” in the sentence “I deposited my money in the bank.” Without WSD, it would be difficult for a computer to determine whether the word “bank” refers to a financial institution or the edge of a river. However, with WSD, the computer can use context clues such as “deposited” and “money” to determine that the intended meaning of “bank” in this sentence is a financial institution. This will improve the accuracy of natural language understanding and machine translation, as the computer will understand that the sentence is talking about depositing money in a bank account, not at the edge of a river.

Word Sense Disambiguation (WSD) is the task of associating meanings or senses (from an existing collection of meanings) with words, given the context of the words. (The word sense is a synonym for meaning.)

For example, consider the noun «tie» in the following two sentences

1. He wore a vest and a tie.
2. Their record was 3 wins, 6 losses, and one tie.

In these two sentences, the meaning of the word tie is different. In sentence 1, the word tie refers to a necktie, which is a piece of cloth. In sentence 2, the word tie is a synonym for a draw, so it refers to a situation of a game. Therefore, we could associate the meaning (or sense) «neckwear consisting of a long narrow piece of material» to the word tie in the first sentence and the meaning «the finish of a contest in which the winner is undecided» to the same word in the second sentence.

The goal of WSD is thus to predict the appropriate sense or meaning of a word, given the context of the word.

Why is WSD important in NLP? Of course, there are many words that change meaning depending on the context, so WSD is important because you expect NLP algorithms and models to be able to correctly give meanings to words, given their context.

---

We understand that words have different meanings based on the context of its usage in the sentence. If we talk about human languages, then they are ambiguous too because many words can be interpreted in multiple ways depending upon the context of their occurrence.

Word sense disambiguation, in natural language processing (NLP), may be defined as the ability to determine which meaning of word is activated by the use of word in a particular context. Lexical ambiguity, syntactic or semantic, is one of the very first problem that any NLP system faces. Part-of-speech (POS) taggers with high level of accuracy can solve Word’s syntactic ambiguity. On the other hand, the problem of resolving semantic ambiguity is called WSD (word sense disambiguation). Resolving semantic ambiguity is harder than resolving syntactic ambiguity.

For example, consider the two examples of the distinct sense that exist for the word “bass” −

• I can hear bass sound.

• He likes to eat grilled bass.

The occurrence of the word bass clearly denotes the distinct meaning. In first sentence, it means frequency and in second, it means fish. Hence, if it would be disambiguated by WSD then the correct meaning to the above sentences can be assigned as follows −

• I can hear bass/frequency sound.

• He likes to eat grilled bass/fish.

Evaluation of WSD

The evaluation of WSD requires the following two inputs −

A Dictionary

The very first input for evaluation of WSD is dictionary, which is used to specify the senses to be disambiguated.

Test Corpus

Another input required by WSD is the high-annotated test corpus that has the target or correct-senses. The test corpora can be of two types &minsu;

• Lexical sample − This kind of corpora is used in the system, where it is required to disambiguate a small sample of words.

• All-words − This kind of corpora is used in the system, where it is expected to disambiguate all the words in a piece of running text.

Approaches and Methods to Word Sense Disambiguation (WSD)

Approaches and methods to WSD are classified according to the source of knowledge used in word disambiguation.

Let us now see the four conventional methods to WSD −

Dictionary-based or Knowledge-based Methods

As the name suggests, for disambiguation, these methods primarily rely on dictionaries, treasures and lexical knowledge base. They do not use corpora evidences for disambiguation. The Lesk method is the seminal dictionary-based method introduced by Michael Lesk in 1986. The Lesk definition, on which the Lesk algorithm is based is “measure overlap between sense definitions for all words in context”. However, in 2000, Kilgarriff and Rosensweig gave the simplified Lesk definition as “measure overlap between sense definitions of word and current context”, which further means identify the correct sense for one word at a time. Here the current context is the set of words in surrounding sentence or paragraph.

Supervised Methods

For disambiguation, machine learning methods make use of sense-annotated corpora to train. These methods assume that the context can provide enough evidence on its own to disambiguate the sense. In these methods, the words knowledge and reasoning are deemed unnecessary. The context is represented as a set of “features” of the words. It includes the information about the surrounding words also. Support vector machine and memory-based learning are the most successful supervised learning approaches to WSD. These methods rely on substantial amount of manually sense-tagged corpora, which is very expensive to create.

Semi-supervised Methods

Due to the lack of training corpus, most of the word sense disambiguation algorithms use semi-supervised learning methods. It is because semi-supervised methods use both labelled as well as unlabeled data. These methods require very small amount of annotated text and large amount of plain unannotated text. The technique that is used by semisupervised methods is bootstrapping from seed data.

Unsupervised Methods

These methods assume that similar senses occur in similar context. That is why the senses can be induced from text by clustering word occurrences by using some measure of similarity of the context. This task is called word sense induction or discrimination. Unsupervised methods have great potential to overcome the knowledge acquisition bottleneck due to non-dependency on manual efforts.

Applications of Word Sense Disambiguation (WSD)

Word sense disambiguation (WSD) is applied in almost every application of language technology.

Let us now see the scope of WSD −

Machine Translation

Machine translation or MT is the most obvious application of WSD. In MT, Lexical choice for the words that have distinct translations for different senses, is done by WSD. The senses in MT are represented as words in the target language. Most of the machine translation systems do not use explicit WSD module.

Information Retrieval (IR)

Information retrieval (IR) may be defined as a software program that deals with the organization, storage, retrieval and evaluation of information from document repositories particularly textual information. The system basically assists users in finding the information they required but it does not explicitly return the answers of the questions. WSD is used to resolve the ambiguities of the queries provided to IR system. As like MT, current IR systems do not explicitly use WSD module and they rely on the concept that user would type enough context in the query to only retrieve relevant documents.

Text Mining and Information Extraction (IE)

In most of the applications, WSD is necessary to do accurate analysis of text. For example, WSD helps intelligent gathering system to do flagging of the correct words. For example, medical intelligent system might need flagging of “illegal drugs” rather than “medical drugs”

Lexicography

WSD and lexicography can work together in loop because modern lexicography is corpusbased. With lexicography, WSD provides rough empirical sense groupings as well as statistically significant contextual indicators of sense.

Difficulties in Word Sense Disambiguation (WSD)

Followings are some difficulties faced by word sense disambiguation (WSD) −

Differences between dictionaries

The major problem of WSD is to decide the sense of the word because different senses can be very closely related. Even different dictionaries and thesauruses can provide different divisions of words into senses.

Different algorithms for different applications

Another problem of WSD is that completely different algorithm might be needed for different applications. For example, in machine translation, it takes the form of target word selection; and in information retrieval, a sense inventory is not required.

Inter-judge variance

Another problem of WSD is that WSD systems are generally tested by having their results on a task compared against the task of human beings. This is called the problem of interjudge variance.

Word-sense discreteness

Another difficulty in WSD is that words cannot be easily divided into discrete submeanings.