Word классификация как система

Введение

Раньше я испытывал алгоритмы машинного обучения для различных проблем, таких как предсказания валютного курса или классификации изображений. Недавно мне пришлось работать над проектом классификации текста, и я прочитал много литературы по этому вопросу. Случай НЛП (обработка естественного языка) является захватывающим. Когда вы начали думать об этом, вы поняли, что это не так просто, и до классификации еще был вопрос:
«Как, черт возьми, алгоритм может читать слова?». Одним из решений является преобразование слов в векторы для их числового представления. Это решение далеко не новое, и несколько лет назад в статье был представлен неконтролируемый алгоритм Google Word2Vec: Эффективная оценка представлений слов в векторном пространстве (Миколов и др., 2013), Можно найти много документации по этому вопросу, но цель этой статьи — детально от А до Я, как построить алгоритм машинного обучения для классификации текста. Я продемонстрирую, как использовать Word2Vec с предварительно обученным набором новостей Google и как самостоятельно обучать его своим данным. Затем я продемонстрирую две техники; Один из них заключается в том, чтобы использовать смысл слов вашего документа, а другой — сохранять ваши данные такими, какие они есть, которые содержат больше информации, но это немного сложнее и требует больше времени для обучения. Так что это зависит от вас, что вы думаете, лучше в вашем случае и с вашими данными.

1 ПЕРВЫМ, ЧТО НАМ НУЖНО ИМПОРТИТЬ ДАННЫЕ

Для этого шага убедитесь, что папка с вашими отзывами находится вта же папка, что и в блокноте.

Теперь мы создаем «метки» наших данных, 1 означает положительный отзыв, а 0 — отрицательный.

Теперь результат должен быть следующим

Хорошо, это кажется великолепным! Теперь у нас есть каждый отзыв в нашем фрейме данных pandas, называемый «отзывы», с определенной меткой (1 для положительного отзыва, 0 для отрицательного отзыва).

2 ИСПОЛЬЗОВАНИЕ Word2Vec, ЧТОБЫ УВИДЕТЬ РАССТОЯНИЕ НАПРАВЛЕНИЯ

Word2Vec — хорошая модель нейронных сетей, используемых для встраивания слов. Он используется главным образом для того, чтобы иметь контекст подобия слов. Мы будем обучать модель на наших данных, чтобы иметь дистанцию ​​между всеми нашими словами, чтобы увидеть, какие из них семантически близки друг к другу. Есть и другие модели, но я выбрал эту по двум причинам:

1. Это тот, который использовал Юн Ким в своей статье
2. Это модель, разработанная Google, кажется, она полностью рекомендуется, документацию легко найти, и эта статья: Эффективная оценка представлений слов в векторном пространстве (Миколов и др., 2013) хорошо объясняет весь процесс.

2.1 Токенизация

Теперь ваш фрейм данных должен выглядеть так

Для тренинга важно, чтобы каждый отзыв был представлен в виде списка слов, как в столбце «Жетоны».

2.2: Используйте предварительно обученный набор новостей Google.

Во-первых, вам нужно скачать набор данных здесь: Google News Dataset,
Затем распакуйте его в свою папку. Я извлекаю его в подпапку с именем «модель»

Это так просто! Теперь ваша модель названа«W2v_model»он обучен и содержит каждое слово в наборе данных, представленное как векторы.

2.2.1 Обучение модели на ваших данных

Вы также можете обучить модель на ваших личных данных. Однако я не рекомендую эту технику для небольших документов, потому что Word2Vec не сможет правильно отразить контекст ваших слов, и он не даст удовлетворительного результата. Я проверил это на своих данных для этой статьи, и результаты были заметно лучше с предварительно обученным Google Word2Vec. Для другого набора данных со средним значением 200 слов на документы он был более надежным и в некоторых случаях показывал даже лучший результат, чем предварительно обученная модель.

Мы разделим работу на 3 этапа

1. Word2Vec(), Инициализировать модель со всеми ее параметрами
2. .build_vocab()Создать словарь из последовательности предложений
3. .train()Мы тренируем нашу модель

2.3 Результаты

Теперь мы можем проверить нашу модель несколькими словами, чтобы увидеть, какие из них имеют наибольшее сходство с ними.
Мы проверяем это с:

1. фильм
2. фантастика
3. хорошо

Для слова «хорошо» у меня есть эти результаты

Эти результаты получены с помощью предварительно обученного набора новостей Google.

Однако мы можем видеть, что модель не идеальна и не отражает семантику слов, потому что у нас [отлично, плохо, потрясающе, достойно]. Это может быть проблемой, потому что хорошее «семантически» здесь близко к плохому. Действительно, их можно использовать в одном контексте, но их значение не одинаково.

2.5 Немного визуализации данных

Выше приведен график из 10 000 слов нашего набора данных. Те, кто семантически близки, находятся рядом на карте. Я использовал bokeh, чтобы сделать карту динамичной, мы можем взаимодействовать с ней, и вы можете навести курсор мыши на точку, чтобы увидеть слово, которое ей соответствует.
Теперь мы можем ясно видеть отношения между всеми словами, и какие из них являются близкими или отдаленными.

3 НЕМНОГО РАБОТЫ С ДАННЫМИ

3.1 Поезд испытательный сплит

Теперь, когда у нас есть фрейм данных, нам нужно разделить наши данные на обучающую переменную и тестовую переменную. В процессе обучения наш алгоритм изучит его параметры, а в ходе тестирования мы проверим их.
Мы разделяем обучение и тестирование, чтобы увидеть, есть либез переоснащенияпроблемы, которые повторяются в области глубокого обучения. Это означает, что наша модель имеет хорошие результаты с данными, с которыми она ознакомилась, но у нее есть проблема с обобщением, и она будет иметь плохие результаты в других наборах данных, и этоявно не цель,

3.2 Построение векторов

Здесь мы используемTfidfVectorizerотsklearn, Эта функция отражает силу слова в документе.
Мы используем линиюtfidf = dict(zip(vectorizer.get_feature_names(), vectorizer.idf_))поместить все слова в вектор с именемtfidf, как вы можете видеть чуть выше, если вы выполните его.
Это был совет, который я нашел на этом потрясающий блог Ахмеда БЕСБЕСА, Это действительно интересно и заслуживает прочтения.

Теперь просто для забавы и для наглядности я использовал WordCloud, чтобы изобразить 100 самых важных слов нашего словаря. Мы можем видеть такие слова, какигра, фильм, сцена и историяэто очевидно важно для набора данных о кинокритиках.
Я использовал другой блог Ахмеда БЕСБЕСА использовать эту библиотеку.

Теперь мы создадим функцию, которая будет вычислять «среднее» для данного критика. Наш w2v_model дал нам, какие слова близки друг к другу, поэтому для каждого из них мы умножаем их на их значение в «словаре»:w2v_model[word].reshape((1, size)) * tfidf[word],
Примечание: мы используем функцию изменения формы, потому что мы делаем это для каждого текста нашего корпуса, так как мы имеем, например, 8529 текстов вX_train, если мы применим к ней эту функцию, у нас будет двумерная матрица формы (8529,300).

1. 8529 обозначает количество текстов в нашем корпусе
2. 300 обозначает размер вектора, созданного Word2Vec.

И это все, теперь мы делим это на количество наблюдений, и нам приятно иметь среднее значение всего этого.

Исчисление может быть возобновлено следующим образом:

Где :

1. nколичество слов в тексте
2. Wiэто векторWord2Vecразмером 300 для данного словая
3. Tiэто значениеtfidfза данное словоя

Теперь мы применяем эту функцию к нашим данным.
Итак, как я уже сказал,buildWordVectorимеет два аргумента, токены и размер. Размер равен 300, поскольку из-за модели word2vec мы получили форму 300. Для токенов она будет увеличиваться в виде цикла, чтобы охватить все 8529 текстов нашего учебного корпуса и 2133 нашего тестового корпуса.

4 ПЕРВАЯ НЕЙРОННАЯ СЕТЬ

Первая нейронная сеть представляет собой простую искусственную нейронную сеть с двумя плотными слоями и выпадением 0,7, чтобы избежать переобучения. Для этого мы принимаем средние векторы каждого слова в данном обзоре в качестве входных данных.

4.1 Построить нейронную сеть

Вот характеристики этого простого классификатора.

• Количество плотных слоев:2
• Функция активации:relu и сигмоид для последнего плотного слоя
• Выбывать :0.7
• Оптимизатор:Adadelta
• Потеря:Бинарный Крест Энтропия

4.2 Обучение нейронной сети

Теперь мы обучаем нашу нейронную сеть на наших данных обучения с размером партии batch_s 50 и с 20 эпохами.
Больше эпох не похоже на изменение точности. Может быть полезно выполнить поиск по сетке с другим размером batch_size и количеством эпох, чтобы увидеть лучшие параметры

Наконец, мы строим историю тренинга, чтобы увидеть эволюцию и сравнить прогнозы тренинга и теста.

В итоге мы имеем точность обучения 0,8342 и точность теста 0,7286. Это неплохо, и важно отметить, что у нас не так много переоснащения.

5 Сверточная нейронная сеть

CNN в основном используется для классификации изображений, потому что он может распознавать шаблоны по их картам фильтров. Но в 2014 году, когда Юн Ким опубликовал свою статью, он показал, что они могут быть полезны и для классификации текста. На самом деле эта идея не совсем сумасшедшая, потому что предложения также имеют шаблоны.

5.1 Построить нейронную сеть

Сначала мы пытаемся найти все параметры для построения нашей нейронной сети. Это будет CNN, но вместо того, чтобы давать ему среднее значение всех слов vector в предложении, мы дадим ему все векторы слов в данном предложении.
Кроме того, структура немного меняется, с большим количеством нейронов в каждом слое.

Наша нейронная сеть такая же, как у Yoon Kim (2014), которую я описал выше.

• Количество сверточных слоев:3
• Количество плотных слоев:2
• Количество карт возможностей:128 за свертку
• Функция активации:relu и сигмоид для последнего плотного слоя
• Размер фильтра:3, 4 и 5
• Выбывать :0,5
• Оптимизатор:Adadelta
• Потеря:Бинарный Крест Энтропия

Есть немного различий между этим CNN и тем, что использовал Юн Ким:
1. У него только что был 1 плотный слой
2. Он никогда не использовал сигмовидную кишку
3. Он использовал 100 карт характеристик на свертку вместо 128

Тем не менее, у меня были лучшие результаты с этими небольшими изменениями, поэтому я оставил их такими

Чтобы построить его, нам понадобятся некоторые параметры, размер вложения (размер вектора word2vec), максимальный размер словаря (сколько у нас уникальных слов) и максимальная длина последовательности (максимум слов в обзоре).
Приведенный ниже код дает вам все эти параметры, если вы тестируете его с другим набором данных, просто измените три переменные с результатом этого кода:

Теперь мы создаем поезд и тестируем входные данные, которые мы будем использовать в нашей CNN. Для каждого документа, в котором меньше слов, мы заполняем их «0». Это не меняет наши результаты, потому что CNN распознает шаблоны, и шаблон будет таким же, как в определенный момент или в другой. Например, для изображения это означает, что если изображение меньше других, мы добавим к нему черные рамки. Это не изменит изображение.

5.2 Определите CNN

Результат резюме должен быть следующим:

И давайте пойдем на тренировку из 10 эпох и снова в 50 раз!

В конце 10 эпох у нас есть точность для тренировочного набора 0,915 и 0,7768 для тестового набора. У нас есть небольшое переоснащение, и потеря проверки довольно нестабильна, но результаты здесь. Я тренировал это с большим количеством эпох, но это, кажется, лучшее, что мы могли бы иметь.

6. ВЫВОДЫ

Мы можем ясно видеть, что CNN лучше для этой задачи, и с моими другими кадрами данных у меня лично были те же результаты.
Но он все еще имеет неудобства, он намного глубже, имеет гораздо больше параметров и требует больше времени для тренировок. Для этого небольшого набора данных разница не так уж важна, но мне пришлось тренировать ее на основе данных для моей работы, а простому классификатору потребовалось 13 минут на обучение, когда CNN заняло 5 часов! Так что вам решать, какой из них вы хотите использовать.
Эти два классификатора все еще показывают хорошие результаты, и я заметил, что чем больше у них данных и чем важнее длина документа, тем лучше они. Для набора данных из 70 000 данных и максимальной длины документа 2387 моя точность теста составила 0,9829, так что это довольно обнадеживает!

7 ПЕРСПЕКТИВ

У меня есть две основные идеи, чтобы попытаться добиться лучших результатов. Во-первых, с помощью первого классификатора мы могли бы использовать другую более сложную нейронную сеть, такую ​​как рекуррентная нейронная сеть (CA-RNN: использование рекуррентных нейронных сетей с выравниванием контекста для моделирования сходства предложений (Chen, Hu & al., 2018).) или сеть Attentional Network, которая начинает использоваться сейчас (Иерархические сети внимания для классификации документов (Yang & al., 2016)).
Вторая идея для встраивания слова, в 2018 году Google показал новую модель под названием BERT (BERT: предварительная подготовка глубинных двунаправленных преобразователей для понимания языка (Devlin, Chang & al., 2018)) кому выгодно использовать сегментацию токенов. Например, если в наших данных есть слово «археолог», оно может запомнить «археологию», а когда появится слово «археология», оно будет знать, что оно связано с археологом, где word2Vec просто игнорирует слово, которого нет знать.