Коментарий-рецензия на доклад И.Четверкина «Методы автоматического извлечения оценочной лексики для заданной предметной области»

Презентация доклада в формате *.ppt здесь.

C первых же слайдов (сл. 4) в числе направлений сентимент-анализа упоминается «Классификация текста по субъективности \ объективности» как направление исследования. Сразу же – вопрос, что это? Дело в том, что субъективность \ объективность есть эпистемическая установка, связанная с субъект-объектной парадигмой (см. «Цолликоннеровские семинары» М.Хайдеггера), что на уровне тематическом представляет собой область дискурс-анализа, а на прикладном уровне "computer linguistic" – область задач машинного анализа контекстов. Далее, разведение направлений сентимент-анализа на «классификацию текста по тональности» и «классификацию по выражаемым эмоциям в тексте», на мой взгляд, есть умножение сущностей без необходимости, поскольку эмоция есть проявление логики алгедонических значений на уровне системы личности, а «тональность» – ее же проявление, но на уровне текста, так что фразы «ах ты, дурак!» и «ах ты, молодец!» столь же выражают эмоции в тексте, сколь же тональности. Иное дело – аффектативные возможности текста, но тогда речь уже должна вестись за рамками исключительно текстового анализа. «Выделение саркастических предложений», отмеченное автором как направление сентимент-анализа, также относится к задачам анализа контекстов, равно как выделение иронии, иносказания и риторичности вопросов.

В качестве «сложной задачи» обозначено применение всего спектра методов NLP (сл. 3), в плане презентации (сл. 5) началом заявлено построение словаря, затем идут вопросы их онтологической, сиречь контекстной, надо полагать, независимости, в конце – приписывание оценок оценочным словам, сиречь построение алгедонической модели для сформированного корпуса оценочных слов – то есть самое интересное, что здесь может быть. Заранее – вопрос: насколько эта алгедоническая модель логически формализуема, и насколько автор презентации силен в деонтической логике?

Непонятно, почему классификатор оценочных выражений назван «глобальным» (сл. 8)? Какое отношение он имеет к глобальным процессам? Может, имеется в виду «тотальный» или «универсальный», но это другое дело и, кстати, понятное. То есть, опять же, здесь автор говорит о желательности онтолого независимого понятийного «arbor mundi», но одновременно это же означает, что это «arbor mundi» человеческих эмоций, выраженных в языке. Отсюда – фундаментальный вопрос об исчерпаемости эмоционального мира, его «статичности» – во-первых, и об адекватности его актуальной представленности в системе языковых выражений – во вторых. Что касается «во-первых», то как быть с вопросом о воспитании чувств, и соответствующем эмоциональном строе человека, способного к управлению ими и умеющего различать вещи порядка так называемой «тонкой душевной организации»? Что касается «во-вторых», то порядок языка не всегда поспевает за этим самым воспитанием чувств и способности к самообладанию, поскольку обмен представлениями об эмоциях носит коммуникативный характер, а в иных культурах текстово-речевму уточнению эмоций предпочитается «многозначное умолчание» – как, спрашивается, моделировать и программно ловить эти вещи? Кстати, удовольствие от самообладания – тоже эмоция? Тогда, опять же, как она выражается в языке и может моделироваться компьютером? Наконец, в-третьих: а зачем нужно строить такой универсальный классификатор? Автор дает ответ на третьем слайде: «Поиск и извлечение полезной информации: Для бизнеса: лояльность к продуктам и бренду; Для людей: помощь в принятии решений» (бизнес – это не люди?). Если отвлечься от того, что анализ тональностей нужен для манипулаций людьми, что давно общее место, то данный анализ для принятия решений – более интересная тема. Однако автор, скорее всего, имел в виду «отдельных людей» – руководителей. Если нет, то есть если анализ тональностей все же рассматривается автором с точки зрения его рационального применения в системах приятия решений с регламентным компонентом коллегиальной дискуссии, то жду раскрытия темы по ходу презентации (postfactum скажу, что, к сожалению, я данного раскрытия не увидел).

На слайде 19 автор пишет, что классификация тональных выражений на основе машинного обучения более высокая (точная, детальная), чем на основе предзаданных словарей. Однако единственное, что сейчас может быть предложено в качестве средств машинного обучения – это нейросеть и алгоритмы кластеризации, направленные на текст. Однако выделение тональности – это вопрос модели, как заявляет автор в плане презентации: «Вычисление оценок для оценочных слов». Хотя пока не ясно, что имеется в виду под «вычислением»: машинное вычисление обобщенных алгедонических оценок по результатам работы машинных же алгоритмов самообучения, или вычисление непротиворечивости и полноты модели деонтических значений.

С другой стороны, если речь идет о низком качестве классификации для случая применения «методов на основе словарей и правил», но нужно учесть, что в рамках той же науки логики, которая неизбежна для случая сколь бы то ни было формальных, включая компьютерные, представлений живого естественного языка – референта человеческих личностей и общества, правила классификации всегда являются квазиправилами, ибо естественному языку органически присущ именно что калейдоскоп оснований («топор, бревно, пила, лопата» – классика!), равно как полисемия, а различие оснований завязано на различие их возможных значимостей, то есть, опять же, на алгедоничность.

Слайд 20 порадовал перлом: «Слова зло, предательство не являются оценочными в области товаров и услуг». Я это даже комментировать не буду (это вопрос жизненного опыта и личностной зрелости автора), скажу лишь, что вариации приписывания оценочных значений зависят от актуальности их моделей, но не от предметов и тем, хотя бы потому, что экономические торговые отношения, представляющие собой прикладную этику, неизбежно завязаны на логику деонтических значений. Иное дело – логика варитативных значений «истина-ложь», но говорить о том, что мир экономики и торговли (товаров и услуг) может быть описан исключительно в верифицируемых констативах – значит демонстрировать полное непонимание природы этих вещей. Впрочем, понятно, откуда это идет: типичное неолиберальное представление, основанное на искаженном представлении об экономике, сводящее ее к чистому физикализму – набору мало связанных между собой, но очень сложных, математических моделей, где господствуют только истинностные значения, также мало связанные с окружающей действительностью и возможностью ее предсказания.

Крайне важной задачей, поставленной автором, является межпредметный перенос словарно-оценочных классификаторов. Решение этой задачи он видит в том, чтобы «построить модель оценочных слов», а затем проверить переносимость этой модели на другие предметности. Интересно, знаком ли автор с темой взаимной погружаемости логических моделей, да еще с системой деонтических значений? Честно говоря, я даже не знаю, занимался ли этой экзотикой сам проф. Непейвода из ИФ РАН, одной из тем которого является взаимопогружаемость логических систем, и знает ли его автор (некоторые вмкашники его знают).

Одна из рабочих задач для автора - «Извлечь реальные словари оценочных слов». А какие еще бывают?.. Четыре приведенных метода построения оценочного словаря (сл. 24), в сущности, сводятся к двум: экспертное (ручное) построение и формирование правил (алгоритмических, надо полагать). Второе автор связывает с корпусной лингвистикой (сл. 27), но непонятно, почему формирование правил не может быть реализовано в рамках ручного подхода – это же вроде как вопрос уровня системной проработки словаря. Одним из корпусных методов автор называет «Поиск близких по контекстам слов» со ссылкой на Velikovich – наверное, имеется в виду концепция контекстных векторов этого автора. Данный метод сочетает графовый подход с лингвостатистикой на базе метаинформации о словарных элементах, предложенный для анализа больших чисел веб-документов. Не отрицая ценности этого подхода, отмечу, что значительной проблемой при создании эффективных алгоритмов определения сарказма, иронии и риторических вопросов до сих пор является идентификация интесиональности контекста, и выяснение применимости алгоритмического метода Velikovich для анализа качественного различия познавательных контекстов еще ждет своей проверки. Кроме того, не ясно, как все же в рамках метода оцениваются контексты: относительно более-менее широкого окружения оценочного слова de dicto, или относительно всей фразы, формирующей оценочно окрашенный контекст de re. Впрочем, подобные алгоритмы вполне себе могут быть реализованы на известных лингвостатистических графовых солверах вроде «Text Analyst».

Согласно автору, «Основные характеристики оценочных слов, учтенные в предлагаемой модели:

• Оценочные слова чаще встречаются в отзывах, чем в описаниях объектов, либо в новостях;
• Оценочные слова чаще встречаются в отзывах с некоторой тональностью, чем равномерно во всех типах отзывов;
• Оценочные слова чаще являются наречиями или прилагательными».

Между тем, особо интересным случаем является скрытая реклама, когда текст представляет собой внешне безоценочную дескрипцию. Именно в этом случае, кстати, оказывается значим компьютерный анализ иносказаний и риторических фигур, а кроме того, именно в таких сообщениях в качестве оценочных слов фигурируют существительные – например, слово «либерал» на сайте worldcrisis.ru, или его новоязный вид «либераст» (скорее всего, соответствует понятию «морфологичской неоднозначности леммы», приведенной автором на слайде 36), а для этого случая компьютерная программа должна сама находить словарные искажения по заданным в ней правилам и, опять же, учитывать контексты, различая их интенсиональность, например: «Хазин – либерал еще тот!» и «Хазин – либераст еще тот!». Очевидно, что замена в данном выражении «либерал» на «либераст» меняет его значение, хотя, несмотря на все оговорки владельца сайта по поводу различий в значении слова «либерл», оно там очень часто упоминается синонимичным новоязу «либераст». По второму пункту не очень понятно: то есть получается, что есть формирующие тональность оценочные слова, а есть некая, надсловарная, тональность. Если так, то это и есть то, о чем я говорил выше по поводу de re и de dicto.

В примерах концентрации оценочных слов на слайде 31 интересная ситуация: если под словами иметь в виду части речи, то да, новогоднее послание президента исполнено концентрированным позитивом, в отличие от ситуации с восстановлением энергоснабжения в Подмосковье, но наибольший интерес для интент-анализа открытых источников обычно представляют именно такого рода тексты, бедные очевидными оценками, и автоматизация анализа оценочных значений как раз предполагает учитывать такие категории выражений в качестве их маркеров, как «населенные пункты, отключенные от электроснабжения», «теперь основная проблема лежит» и «восстановление электроснабжения».

Кстати, что касается примера с посланием президента, то компьютерный алгоритм распознавания оценочных посылов в тексте должен эффективно работать и с выражениями вида «Даже в новогоднюю ночь не имею права рассказывать сказку. Скажу, как есть: будет у нас много работы. Но у нас есть и много энергии. У нас много веры в наше государство…». В частности, с выражением «много энергии», которое для онтологии госуправления полисемично, и экспертно может быть рассмотрено как: либо сочетание посыла «государственные люди способны работать на ее благо» с посылом «в стране достаточно благоприятная ситуация с топливно-энергетическим комплексом для того, чтобы жить без проблем», взятое как специфический манипулятивный прием, рассчитанный на социальную группу зрителей телеканалов, по которым это послание транслируется, чей жизненный уровень зависит от поступления в страну нефтедолларов; либо как нечто вроде «оговорки по Фрейду», звучащей достаточно комично в устах президента. Отсюда – важный вывод: оценочные значения, представленные в сложных выражениях, различны в условиях различных аудиторий-реципиентов речи или текста. И анализ веера таких реципиентов также должен предполагаться в машинных алгоритмах.

По алгоритмической части оценки качества извлеченных слов (Logistic Regression, LogitBoost, Random Forest, метрика Precision@n) у меня нет вопросов к автору.

В аспекте межпредметных связей важно отметить, что, как следует из примеров, под предметными областями автор понимает товарные группы: книги, компьютерные игры, мобильные телефоны, цифровые фотокамеры, фильмы (сл. 41), то есть объекты под заявленные в самом начале маркетинговые задачи. Однако более содержательным с точки зрения заявленного автором в начале презентации «глобального классификатора» было бы исследование предметной иерархии, например, связь характера оценок в области контента (книги, компьютерные игры, фильмы) с характером оценок в области электронных носителей (мобильные телефоны, цифровые фотокамеры) и, далее, связь характера оценок в предметной области ИКТ с характером оценок в области, например, пищевой промышленности. Интересно было бы рассмотреть такие пищевые оценочные метафоры, как «вкусный», «аппетитный», «тошнотворный», «неперевариваемый» и т.п. Кроме того, такое, иерархическое, рассмотрение предметных областей вполне сочетается с теорией типов Рассела и теорией семантических категорий Тарского – во всяком случае, эти теории представляют собой весьма заманчивое методологическое основание для построения на их основе универсальных корпусов и семантических классификаторов.

Согласно автору, «Модель, обученная в предметной области о фильмах, используется для классификации слов в других областях». Насколько я понимаю, суть в том, что исходная модель адаптируется корректировкой под другую предметную область.

Завершают презентацию вычислительные и алгоритмические вопросы, по которым я, опять же, сказать ничего не могу: во-первых, я в них не силен, а во-вторых, они не являются методологическими.