Новости города БезФормата.Ru
Владикавказ
Главные новости
 
Задать вопрос?

Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов

Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов, разработанный специалистами АО «Айкумен ИБС»,показал наилучшие характеристики в конкурсной части состоявшейся в Москве XXIII Международной конференции «Диалог 2017», посвященной актуальной оценке уровня развития российских машинно-лингвистических технологий. При подготовке к конкурсу «умный» классификатор набрал обучающую статистику признаков из текстового корпуса объемом более миллиона слов, а для оценки точности ему было предложен массив документов из 15000 слов.

В результате сравнительного тестирования на закрытой дорожке MorphoRuEval метод «Айкумен ИБС» признан победителем по точности нормализации русских слов, достигающей 92,22%. Кроме того, он занял второе место по восстановлению морфологических признаков с достоверностью свыше 93%.
По мнению директора Департамента разработки АО «Айкумен ИБС» Андрея Ярового, «независимая экспертиза «DialogueEvaluation» подтвердила отличное качество морфологического анализа текстов, используемого в компании. Данный анализ является фундаментом всей текстовой аналитики, что позволяет нам с беспрецедентной точностью извлекать смысл из документов на русском языке».
«Мы продолжаем двигаться вперед, постоянно совершенствуем алгоритмы и разрабатываем инновационные методы в своей работе, предоставляя возможность нашим заказчикам максимально использовать преимущества IQPLATFORM® - современного отечественного продукта в области BigData, по ряду функционала не имеющего аналогов на российском и мировом рынках» - подводит итог участия в мероприятии генеральный директор АО «Айкумен ИБС» Ирина Касаткина.
Морфологический анализ выполняется на начальных этапах автоматической обработки текста и является одной из наиболее важных операций, влияющих на финальное качество анализа документов. К его задачам относится определение части речи и морфологических признаков (падеж, род, число, время, лицо и пр.) каждого слова предложения, а также нормализация - корректное восстановление начальной формы этих слов.
Представленная технология лингвистической обработки позволяет более качественно и с минимальным участием человека анализировать большие объемы текстовой информации на естественных языках.
Существующие методологии в этой области сконцентрированы на английском языке. Но они абсолютно несовместимы с русской языковой моделью по причине ее морфологической обогащенности более чем 300 различными комбинациями признаков.
Исходя из этих особенностей, лингвистическая группа компании «Айкумен ИБС» разработала свой алгоритм, объединяющий достоинства классических способов с методами машинного обучения в виде двухступенчатой фильтрации словарного разбора:
• Формирование предположений о возможных разборах слова с применением грамматического словаря. При отсутствии в библиотеке необходимого термина производится поиск наиболее похожего слова для разбора по аналогии;
• Выбор оптимального варианта признака из контекста предложения с помощью самообучаемого классификатора на основе линейной машины опорных векторов SVM (SupportVectorMachine). Для дополнительной проверки каждого разбора применяется общая оценка из суммы оценок входящих в него признаков, а в качестве оптимального выбирается разбор с максимальной оценкой.
Роль указанных признаков играют различные комбинации префиксов, суффиксов и отдельных морфологических характеристик слов в пределах контекстного окна размером ±3 слова от анализируемого.
Научно-практический форум «Диалог» ежегодно собирает ведущих ученых, мировых экспертов и отраслевых вендоров для обсуждения передовых методов компьютерной лингвистики и обмена опытом создания прикладных решений по интеллектуальному анализу текстов на естественных языках. Наибольшим интересом в программе конференции-2017 пользовался конкурс MorphoRuEval, организованный лабораторией «DialogueEvaluation» для тестирования инструментов морфологического анализа русскоязычных текстов из сети Интернет. В этом году в нем приняли участие 15 команд, представляющих компании ABBYY, OnPositive, Pullenti, Samsung R&D и «Айкумен ИБС», а также университеты МФТИ, НИУ ВШЭ, ИСП РАН, МГУ, МИЭМ и НГУ.
Пресс-служба Ростелекома

 

Последние новости Северной Осетии-Алании по теме:
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
19:02 20.06.2017 Vestiyuga.Ru
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
17:22 20.06.2017 Осетинское радио
История Алеты Дзуцевой: шоу и шокирующий обман - Осетинское радиоСайт Градус на днях разместил интересный материал о судьбе нашей соотечественницы, героини одного из шоу на первом канале.
26.06.2017 Осетинское радио
Дагестанский санаторий "Леззет" подал апелляционную жалобу на решение суда, оставившего без рассмотрения иск к чиновникам о взыскании 5,38 миллиона рублей, потраченных на содержание беженцев с Украины.
26.06.2017 Кавказский Узел
JPG Файл - МВД Республики Северная Осетия – АланияСегодня в Москве Министр внутренних дел Российской Федерации генерал полиции Российской Федерации Владимир Колокольцев провел в режиме видеоконференцсвязи с территориальными органами внутренних дел заседание Правительств
26.06.2017 МВД Республики Северная Осетия – Алания
Роскомнадзор пока ждет ответа от владельца мессенджер Telegram Павла Дурова и пока не блокирует сервис, но времени для урегулирования конфликта остается немного,
26.06.2017 Vestiyuga.Ru
Telegram могут заблокировать - Газета СловоРоскомнадзор пока ждет ответа от владельца мессенджер Telegram Павла Дурова и пока не блокирует сервис, но времени для урегулирования конфликта остается немного,
26.06.2017 Газета Слово
Более пятидесяти альпинистов из разных стран прибыли в республику для участия в массовом восхождении на Эльбрус.
26.06.2017 Кавказский Узел
США: Россия десятилетиями пытается подорвать американскую демократию - Осетинское радиоРоссия десятилетиями пытается подорвать демократию в США. Такое заявление сделал директор ЦРУ Майк Помпео в интервью, которое публикует NBC News.
25.06.2017 Осетинское радио
В ходе вооруженного конфликта на Северном Кавказе за неделю с 19 по 25 июня 2017 года погибли два человека, информации о раненых не поступало.
26.06.2017 Кавказский Узел
Применение принудительных мер воспитательного воздействия к несовершеннолетним, совершившим преступление, обусловлено стремлением государства оказать позитивное влияние на девиантное поведение несовершеннолетних лиц.
26.06.2017 Прокуратура
В результате столкновения "Газели" и легкового автомобиля на трассе "Сызрань – Саратов – Волгоград" один человек погиб, один госпитализирован.
26.06.2017 Кавказский Узел
Битаров поручил МВД разобраться с нападением на журналиста - Газета Слово
Битаров поручил МВД разобраться с нападением на журналиста
  МВД Северной Осетии начало разбирательство по поручению главы республики Вячеслава Битарова по факту нападения на журналиста "Российской газеты" Петра Плиева, которого неизвестный дважды  ударил по голове,
Газета Слово
Три человека, в том числе ребенок, погибли в ДТП в Кировском районе - Газета Слово
Три человека, в том числе ребенок, погибли в ДТП в Кировском районе
На федеральной трассе "Кавказ" в Кировском районе произошло ДТП с участием четырех автомобилей, есть жертвы и пострадавшие, сообщили в четверг агентству "Интерфакс-Юг" в УГИБДД МВД по республике.
Газета Слово
Газовики не подтверждают утечку газа как причину взрыва в котельной - Газета Слово
Газовики не подтверждают утечку газа как причину взрыва в котельной
Газовики обратились с просьбой не делать преждевременных выводов о причинах взрыва,  который во вторник утром произошел  в котельной по улице Кырджалийская во Владикавказе.
Газета Слово
Сегодня ночью скончался человек-эпоха, Нафи Джуссойты! - Osinform.RuСегодня ночью скончался человек-эпоха! Очень жаль когда уходят великие люди!
26.06.2017 Osinform.Ru
День Молодежи 2017 - Администрация г. Владикавказ27 июня во Владикавказе отметят День Молодежи. Старт празднованию даст фестиваль «ФæсивæдFest», на котором будет представлено все, что интересно молодежи: танцы, спорт, творчество, экстрим и прочее.
26.06.2017 Администрация г. Владикавказ
Легенду театра юного зрителя «Саби» поздравили с 90-летним юбилеем - Газета Слово90-летний юбилей Народной артистки Северной Осетии Евгении Зубиной, на спектаклях которой воспитывались десятки поколений, отметили в ее родном театре юного зрителя «Саби».
26.06.2017 Газета Слово
В «Зеркале мира» отразилась участница из Осетии - Газета Слово
В «Зеркале мира» отразилась участница из Осетии
Зинаида Кулиева заняла первое место в номинации "Дебют" творческого конкурса III Международной биеннале искусства горячей эмали "Зеркало мира", которая проходила с 16 мая по 10 июня в санкт-петербургской Академии Штиглица.
Газета Слово
Таймураз Тускаев поздравил соцработников Северной Осетии - Газета Слово
Таймураз Тускаев поздравил соцработников Северной Осетии
Таймураз Тускаев поздравил социальных работников Северной Осетии с профессиональным праздником на церемонии чествования в Русском академическом театре им.
Газета Слово
Во Владикавказе пройдет первый фестиваль театральной молодежи «Вне сезона» - Газета Слово
Во Владикавказе пройдет первый фестиваль театральной молодежи «Вне сезона»
  Театральные сезоны в республике закрылись, но для тех, кто хочет  продолжить культурный отдых, завтра во Владикавказе откроется  первый фестиваль театральной молодежи «Вне сезона».
Газета Слово
Валерий ГАЗЗАЕВ: «Мне жалко сборную России. Мы не готовы к чемпионату мира» - Осетинское радиоЯ посмотрел матч с Мексикой - и мне стало искренне жалко сборную России. Ее футболистов и тренерский состав.
26.06.2017 Осетинское радио
Конфликт произошел между болельщиками и спортсменами на спортивных соревнованиях в Восточноевропейском университете в Тбилиси.
26.06.2017 Кавказский Узел
Достичь успехов в спорте, и при этом не навредить своему здоровью. Мастер спорта по пауэрлифтингу, консультант-диетолог из Москвы Диана Георгиотис провела во Владикавказе семинар.
26.06.2017 ГТРК Алания
Валерий Газзаев прокомментировал игру российской сборной на Кубке конфедераций - Газета Слово
Валерий Газзаев прокомментировал игру российской сборной на Кубке конфедераций
Заслуженный тренер России, замглавы комитета Госдумы по спорту Валерий Газзаев прокомментировал выступление сборной России на Кубке конфедераций.
Газета Слово
Борцы из Северной Осетии выступят на юниорском первенстве в Европе - Газета Слово
Борцы из Северной Осетии выступят на юниорском первенстве в Европе
Алик Хадарцев (55 кг) и Батырбек Цакулов (96 кг) выступят на юниорском первенстве Европы по вольной борьбе, - сообщает пресс-служба минспорта.
Газета Слово
В Нижней Санибе пройдет Кубок СКФО по кантри-кроссу - Газета Слово
В Нижней Санибе пройдет Кубок СКФО по кантри-кроссу
На мотодроме в Нижней Санибе 24 июля пройдет Открытый лично-командный Кубок СКФО по кантри-кроссу, об этом газете «Слово» сообщили в пресс-службе минспорта.
Газета Слово
DSC 1624 - Администрация РСО-АВопросы профессиональной подготовки журналистов в республике обсудил Вячеслав Битаров на встрече с председателем Комитета по делам печати и массовых коммуникаций республики Ольгой Дзгоевой.
26.06.2017 Администрация РСО-А
DSC 1573 - Глава РеспубликиГлава Северной Осетии Вячеслав Битаров сегодня вручил высокую государственную награду – медаль «Во славу Осетии» нашему земляку – известному космическому конструктору, лауреату Государственной премии СССР,
26.06.2017 Глава Республики
Сегодня ночью скончался человек-эпоха, Нафи Джуссойты! - Osinform.RuСегодня ночью скончался человек-эпоха! Очень жаль когда уходят великие люди!
26.06.2017 Osinform.Ru
Применение принудительных мер воспитательного воздействия к несовершеннолетним, совершившим преступление, обусловлено стремлением государства оказать позитивное влияние на девиантное поведение несовершеннолетних лиц.
26.06.2017 Прокуратура
В ходе осуществления надзорных мероприятий прокуратурой Правобережного района выявлен факт осуществления фармацевтической деятельности с нарушением требований и условий, предусмотренных специальным разрешением (лицензией).
26.06.2017 Прокуратура