Что такое stop word

From Wikipedia, the free encyclopedia

Not to be confused with Safeword.

Stop words are the words in a stop list (or stoplist or negative dictionary) which are filtered out (i.e. stopped) before or after processing of natural language data (text) because they are insignificant.^[1] There is no single universal list of stop words used by all natural language processing tools, nor any agreed upon rules for identifying stop words, and indeed not all tools even use such a list. Therefore, any group of words can be chosen as the stop words for a given purpose. The «general trend in [information retrieval] systems over time has been from standard use of quite large stop lists (200–300 terms) to very small stop lists (7–12 terms) to no stop list whatsoever».^[2]

History of stop words[edit]

A predecessor concept was used in creating some concordances. For example, the first Hebrew concordance, Isaac Nathan ben Kalonymus’s Me’ir Nativ, contained a one-page list of unindexed words, with nonsubstantive prepositions and conjunctions which are similar to modern stop words.^[3]

Hans Peter Luhn, one of the pioneers in information retrieval, is credited with coining the phrase and using the concept when introducing his Keyword-in-Context automatic indexing process.^[4] The phrase «stop word», which is not in Luhn’s 1959 presentation, and the associated terms «stop list» and «stoplist» appear in the literature shortly afterward.^[5]

Although it is commonly assumed that stoplists include only the most frequent words in a language, it was C.J. Van Rijsbergen who proposed the first standardized list which was not based on word frequency information. The «Van list» included 250 English words. Martin Porter’s word stemming program developed in the 1980s built on the Van list, and the Porter list is now commonly used as a default stoplist in a variety of software applications.

In 1990, Christopher Fox proposed the first general stop list based on empirical word frequency information derived from the Brown Corpus:

This paper reports an exercise in generating a stop list for general text based on the Brown corpus of 1,014,000 words drawn from a broad range of literature in English. We start with a list of tokens occurring more than 300 times in the Brown corpus. From this list of 278 words, 32 are culled on the grounds that they are too important as potential index terms. Twenty-six words are then added to the list in the belief that they may occur very frequently in certain kinds of literature. Finally, 149 words are added to the list because the finite state machine based filter in which this list is intended to be used is able to filter them at almost no cost. The final product is a list of 421 stop words that should be maximally efficient and effective in filtering the most frequently occurring and semantically neutral words in general literature in English.^[6]

In SEO terminology, stop words are the most common words that many search engines used to avoid for the purposes of saving space and time in processing of large data during crawling or indexing.

For some search engines, these are some of the most common, short function words, such as the, is, at, which, and on. In this case, stop words can cause problems when searching for phrases that include them, particularly in names such as «The Who», «The The», or «Take That». Other search engines remove some of the most common words—including lexical words, such as «want»—from a query in order to improve performance.^[7]

In recent years the SEO best practices around stop words have evolved along with the fields of machine learning and natural language processing. In February 2021, John Mueller, Webmaster Trends Analyst at Google, Tweeted the following, «I wouldn’t worry about stop words at all; write naturally. Search engines look at much, much more than individual words. «To be or not to be» just is a collection of stop words, but stop words alone don’t do it any justice.»^[8][9]

See also[edit]

• Concept mining
• Filler (linguistics)
• Function words
• Index (search engine)
• Information extraction
• Natural language processing
• Query expansion
• Stemming
• Text mining

References[edit]

External links[edit]

• List of English Stop Words (PHP array, CSV)
• Full-Text Stopwords in MySQL
• English Stop Words (CSV)
• Stop Words Indonesia Query PHP Array
• German Stop Words,German Stop Words and phrases, another list of German stop words
• Polish Stop Words
• Collection of stop words in 29 languages (archive)
• List of Hindi Stop Words

Статья обновлена 01.09.2022

Те, кто сталкивался с копирайтингом и продвижением в поисковых системах, знакомы с термином stop word или стоп-слово. Что это такое? Применительно к SEO это означает любые «лишние» слова — в основном, служебные части речи, не учитываемые при формировании страницы результатов поиска. В случае с копирайтингом стоп-слова отвечают за такой показатель, как «водность» текста. Помимо морфологических признаков, которые входят в SEO, важную роль играет синтаксис — например, модальные глаголы и даже оценочные суждения. Чем чаще в тексте встречаются такие конструкции, тем больше его «водность» и тем меньше в нем пользы и смысла.

Стоп-слова на поиске

В понимании SEO стоп-словами считают частично или полностью игнорируемые части речи как в поисковых запросах, так и в результатах. Например, служебные — частицы, предлоги и союзы вроде «точно», «просто», «как», «когда», «и». Они обычно составляют около 25% от общего текста. Почему поисковые системы, в том числе Яндекс и Google, блокируют стоп-слова? Причин несколько — убрать любую двусмысленность, увеличить скорость загрузки и предоставить мгновенные результаты по запросу.

Специалисты советуют — если стоп-слова не имеют ничего общего с поиском результатов, имеет смысл отфильтровать их из поисковых запросов. Например, если фраза ранжируется по ключевым словам: «Что обозначает стоп-слово», то она также будет показываться по запросу: «Что такое стоп-слово». «Стоп-слово» здесь — определяющее. Поисковые системы экономят много времени на обработку, игнорируя все остальные части фразы.

Но есть и случаи, когда стоп-слова в SEO бывают значимыми. Общее правило: если при отфильтровывании таких речевых конструкций наблюдается различие в значении, стоп-слова следует принудительно включить в ключевой запрос. Пример — проведение ТО, если имеется в виду техническое обслуживание.

В Яндексе это можно сделать, добавив оператор + перед нужным стоп-словом: «проведение +ТО», или оператор [ ], который зафиксирует всю фразу целиком: «путешествие [из Петербурга в Бологое]».

В Google такие операторы тоже есть — этот тот же +, который ставится перед стоп-словом, а также заключение всей фразы в прямые кавычки — «путешествие из Москвы».

Подробный список стоп-слов существует для любого поисковика, включая такие мало популярные в России как Bing или Yahoo. Их можно легко найти поиском. А при работе с Яндексом — еще и сразу проверить, входит ли в «запрещенные» нужное слово.

Это можно сделать на этапе подбора ключевых слов для рекламной кампании либо с помощью сервиса по прогнозу бюджета. Нужно просто вбить интересующее слово в поле поиска и нажать на кнопку подсчета. Если во всплывающем окне появится предупреждение, что запрос не может состоять только из стоп-слова, это точно оно.

У Google алгоритм работает несколько иначе и вычислить стоп-слово самостоятельно нельзя. Поисковик сам интерпретирует значение поискового запроса, просматривая слова по основному ключевому слову. Если без стоп-слова значение становится совершенно другим, то искусственный интеллект включает его в запрос по умолчанию.

Может возникнуть вопрос, как Google различает типы запросов. Все просто — поисковик постоянно поддерживает список фраз, в которых не следует отфильтровывать стоп-слова. Если результаты поиска по двум запросам — со стоп-словами и без них — различаются, система включает эти два запроса в лист исключений. Это происходит одновременно с поиском пользователя. Но отфильтровать абсолютно все не удается — иногда Google возвращает нерелевантные результаты по некоторым поисковым запросам. Это означает, что стоп-слова пока не попали в его список исключений.

Основной лайфхак при работе с Google — выполнить поиск по основному ключевому слову сначала со стоп-словами, а затем без них. Если результаты в обоих случаях различаются, то очевидно, что Google принимает стоп-слова во внимание. Так что имеет смысл их сохранить.

Основные советы по использованию стоп-слов при SEO-продвижении

• использовать меньше служебных частей речи в рекламных объявлениях по ключевым словам, в метатегах, заголовках и URL сайта;
• чисел должно быть меньше — ведь однозначные считаются стоп-словами по умолчанию, а исключение составляют только телефонные номера, почтовые индексы, номера домов;
• стоп-слова влияют на поиск и ранжирование — рейтинг страницы выше, если стоп-слов меньше.

Копирайтинг и стоп-слова

Понятие стоп-слов здесь существенно шире и напрямую связано с так называемым показателем «водности». Если материал содержит много «воды», он хуже воспринимается читателями. Вода в тексте —это такие обороты и речевые конструкции, без которых легко обойтись при описании. Чем их больше, тем выше «водность». Причем влияет этот показатель не только на качество усвоения материала, но и на его рейтинг в поисковиках. Материалы с высокими показателями «водности» признаются менее релевантными и хуже индексируются.

Помимо служебных частей речи, на «водность» текста влияют дополнительные группы:

• междометия — слова, которые выражают определённое чувство, «ух ты», «ах», «ой-ой-ой» и так далее;
• местоименные наречия — указывающие на способ, время, место действия, «откуда», «тут», «потому», «тогда» и так далее;
• обращения — «уважаемый читатель», «дорогой друг» и так далее;
• сокращения — «и т.п.», «и т.д.»;
• местоимения — «вас», «нас» и так далее.

Также, в зависимости от контекста, к стоп-словам могут относиться:

• двойные прилагательные, которые дублируют признаки или качества предмета, например, «большой и просторный»;
• наречия в сравнительной и превосходной степени, например, «интереснее», «наиболее противно», или неопределенные — «несколько минут», «всего».

Помимо особенностей морфологии, на «водность» текста напрямую влияет и синтаксис. Вот наиболее популярные предложения и словосочетания, сразу повышающие значения до критических:

• вводные конструкции — словосочетания или слова, которые отражают отношение к высказыванию, например, «нельзя не отметить», «как правило», «с точки зрения» и так далее;
• модальные высказывания — словосочетания, которые содержат оценку рассказчика или отношение повествования к действительности, например, «не следует говорить», «к общему восхищению», «по всей видимости»;
• тавтология — избыточное повторение однокоренных или одних и тех же слов, например, «для обучения нужно соблюдать несколько правил при обучении»;
• оценочные высказывания — все, что содержит авторскую точку зрения, например, «это дорого», «это эффективный процесс»;
• языковые штампы и клише — употребление расхожих выражений, которые считаются устойчивыми в языке и часто употребляются при описании процессов и событий, например, «найти общий язык», «огромное количество»;
• избыточная однородность — частое употребление трех и более однородных членов в предложении, которые имеют сходное значение, например, «комфортно, тихо и спокойно»;
• плеоназмы — лишние слова, никак не влияющие на смысл, причем, в отличие от тавтологии, привносящие только объем, например, «по направлению к», «для того, чтобы», «тот, который», «полезный навык»;
• отглагольные конструкции и канцеляризмы, сочетающие глагол с отглагольным существительным, например, «реализовать процесс создания», «заняться осуществлением»;
• сослагательные фразы — выражают возможное или желательное действие, например, «можно было бы, конечно, взять»;
• безличные конструкции — там, где нет личного отношения рассказчика, например, «стоит отметить», «нужно учитывать»;
• страдательные причастия — обозначают признак предмета в сочетании со вспомогательным глаголом, например, «вы будете изумлены»;
• составные союзы и предлоги — привносят в текст объем и мало смысла, например, «в целях сотрудничества», «тем более что»;
• слабые глаголы, например, «является», «существует», «есть».

Как определить стоп-слова и «водность» текста

Есть несколько популярных сервисов, которые помогают быстро определить показатель «водности».

Анализ текста от Text.ru

Проверка через этот ресурс позволяет увидеть значение «водности» в процентах, проблемные места подсвечиваются зеленым цветом. Хорошим показателем считается значение «водности» до 75%.

Семантический анализ текста Адвего

Помимо процента «воды», считает количество значимых, ключевых и уникальных слов. Нормальным значением для Адвего считается уровень «водности» до 65%.

Текстовый анализ от Istio

Анализ ведется примерно по тем же параметрам, что и в сервисе Text.ru. Дополнительно анализируется текстовый объем. Раздел «Словарь» дает возможность скопировать все значимые слова в тексте, кроме стоп-слов. Предельное значение «водности» текста в Istio — до 80%.

Сервис Главред

В разделе «Читаемость» сервис показывает, сколько стоп-слов нашлось, анализирует общий объем материала на читаемость. Оценка идет по 10-балльной системе. Минимально допустимый уровень — 8,3.

Как убрать «воду» из текста

Алгоритмы искусственного интеллекта считают идеальным текстом резюме. Если прогнать пример вроде: «Иванов Иван Иванович. Место рождения — Москва. Образование — Московский педагогический университет. Специальность — учитель русского языка. Семейное положение — женат, двое детей» через сервисы для определения «водности», то результат будет идеальным — 0%. Но материалы в телеграфном стиле — вовсе не подарок для читателей, если речь не идет об отделе кадров.

Чтобы текст был запоминающимся и читался легко, «вода» должна присутствовать. Иначе вместо вкусного лимонада получится ядреный концентрат. Поэтому пределы допустимых норм «водности» разнятся — и уж точно не должны равняться нулю. Каждый заказчик сам определяет максимально возможный уровень. Если непонятно, какой процент должен быть у конкретного текста, стоит посоветоваться с опытным специалистом. Ведь конечная цель любого материала — не только «продавать» и привлекать людей, но еще и повышать позицию сайта в поисковых результатах. 

Но как быть, если значение зашкаливает? Вот несколько советов о том, как «высушить» текст.

Упрощение повествования

Нужно убрать из повествования избыточные слова и фразы — полный список выше. Особенно повлияют на показатель оценочные, модальные и отглагольные конструкции. Их стоит заменить на простые, а длинные предложения — разбить на более короткие.

Пример: «не следует писать стоп-слова в тексте» меняется на «стоп-слова в тексте — лишние».

Изменение стиля письма

Стиль письма должен быть ​​менее эмоциональным, а также основываться на фактах. Тогда показатель «водности» останется в пределах нормы. Общий совет копирайтерам — писать, как бы обращаясь к коллеге того же профессионального уровня. Неформальный стиль, допустимый в обращении к старому другу, не подойдет. Так же, как и насыщенный канцеляризмами материал для презентации или отчета начальству. В обоих случаях алгоритмы посчитают уровень «воды» слишком высоким.

Пример: «Дорогие читатели, спешу поделиться с вами радостными новостями о наших обновлениях» меняется на «Обновления — сделайте работу удобнее».

Исключение повторов и штампов

Некоторые слова используются так часто, что стали бессмысленными. Они просто увеличивают объем текста и ухудшают его восприятие. Повторы и штампы увеличивают риск того, что материал не дочитают. Вместо того, чтобы дополнять текст пустыми фразами, стоит быть более конкретным. Рассказать, что полезного в конкретной услуге, или объяснить, почему информация важна.

Пример: «для нас важно доверие клиентов», «мы ценим своих клиентов» — ходовые выражения. Доверие и ценность — сложные и расплывчатые понятия. Они настолько затасканы как речевые штампы, что давно не являются преимуществом. А вот сказать, что вы даете каждому постоянному клиенту кэшбек 5% на следующую покупку — уже конкретика, которая подкрепляет доверие и ценность.

слово, которое настолько распространено, что обычно игнорируется при поиске информации. Набор таких слов называют стоп-списком.

Повышай знания с онлайн-тренажером от Автор24!

1. Напиши термин
2. Выбери определение из предложенных или загрузи свое
3. Тренажер от Автор24 поможет тебе выучить термины с помощью удобных и приятных
   карточек