Новости города БезФормата.Ru
Владикавказ
Главные новости
 
Задать вопрос?

Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов

Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов, разработанный специалистами АО «Айкумен ИБС»,показал наилучшие характеристики в конкурсной части состоявшейся в Москве XXIII Международной конференции «Диалог 2017», посвященной актуальной оценке уровня развития российских машинно-лингвистических технологий. При подготовке к конкурсу «умный» классификатор набрал обучающую статистику признаков из текстового корпуса объемом более миллиона слов, а для оценки точности ему было предложен массив документов из 15000 слов.

В результате сравнительного тестирования на закрытой дорожке MorphoRuEval метод «Айкумен ИБС» признан победителем по точности нормализации русских слов, достигающей 92,22%. Кроме того, он занял второе место по восстановлению морфологических признаков с достоверностью свыше 93%.
По мнению директора Департамента разработки АО «Айкумен ИБС» Андрея Ярового, «независимая экспертиза «DialogueEvaluation» подтвердила отличное качество морфологического анализа текстов, используемого в компании. Данный анализ является фундаментом всей текстовой аналитики, что позволяет нам с беспрецедентной точностью извлекать смысл из документов на русском языке».
«Мы продолжаем двигаться вперед, постоянно совершенствуем алгоритмы и разрабатываем инновационные методы в своей работе, предоставляя возможность нашим заказчикам максимально использовать преимущества IQPLATFORM® - современного отечественного продукта в области BigData, по ряду функционала не имеющего аналогов на российском и мировом рынках» - подводит итог участия в мероприятии генеральный директор АО «Айкумен ИБС» Ирина Касаткина.
Морфологический анализ выполняется на начальных этапах автоматической обработки текста и является одной из наиболее важных операций, влияющих на финальное качество анализа документов. К его задачам относится определение части речи и морфологических признаков (падеж, род, число, время, лицо и пр.) каждого слова предложения, а также нормализация - корректное восстановление начальной формы этих слов.
Представленная технология лингвистической обработки позволяет более качественно и с минимальным участием человека анализировать большие объемы текстовой информации на естественных языках.
Существующие методологии в этой области сконцентрированы на английском языке. Но они абсолютно несовместимы с русской языковой моделью по причине ее морфологической обогащенности более чем 300 различными комбинациями признаков.
Исходя из этих особенностей, лингвистическая группа компании «Айкумен ИБС» разработала свой алгоритм, объединяющий достоинства классических способов с методами машинного обучения в виде двухступенчатой фильтрации словарного разбора:
• Формирование предположений о возможных разборах слова с применением грамматического словаря. При отсутствии в библиотеке необходимого термина производится поиск наиболее похожего слова для разбора по аналогии;
• Выбор оптимального варианта признака из контекста предложения с помощью самообучаемого классификатора на основе линейной машины опорных векторов SVM (SupportVectorMachine). Для дополнительной проверки каждого разбора применяется общая оценка из суммы оценок входящих в него признаков, а в качестве оптимального выбирается разбор с максимальной оценкой.
Роль указанных признаков играют различные комбинации префиксов, суффиксов и отдельных морфологических характеристик слов в пределах контекстного окна размером ±3 слова от анализируемого.
Научно-практический форум «Диалог» ежегодно собирает ведущих ученых, мировых экспертов и отраслевых вендоров для обсуждения передовых методов компьютерной лингвистики и обмена опытом создания прикладных решений по интеллектуальному анализу текстов на естественных языках. Наибольшим интересом в программе конференции-2017 пользовался конкурс MorphoRuEval, организованный лабораторией «DialogueEvaluation» для тестирования инструментов морфологического анализа русскоязычных текстов из сети Интернет. В этом году в нем приняли участие 15 команд, представляющих компании ABBYY, OnPositive, Pullenti, Samsung R&D и «Айкумен ИБС», а также университеты МФТИ, НИУ ВШЭ, ИСП РАН, МГУ, МИЭМ и НГУ.
Пресс-служба Ростелекома

 

Последние новости Северной Осетии-Алании по теме:
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
19:02 20.06.2017 Vestiyuga.Ru
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
17:22 20.06.2017 Осетинское радио
Сотрудники Федеральной службы судебных приставов изъяли у жителя Чечни принадлежащий ему КамАЗ, объяснив арест машины имеющейся у него задолженностью по банковскому кредиту в миллион рублей.
22.07.2017 Кавказский Узел
Министр связи и массовых коммуникаций Российской Федерации Николай Никифоров принял участие в совещании у Председателя Правительства РФ Дмитрия Медведева по вопросу развития электрического и беспилотного транспорта в РФ.
22.07.2017 Vestiyuga.Ru
В целях привлечения внимания общественности к проблеме аварийности, связанной с нарушением скоростного режима, сотрудники ОГИБДД по Ирафскому району провели очередное рейдовое мероприятие «Соблюдай скоростной режим».
22.07.2017 Vestiyuga.Ru
Министр связи и массовых коммуникаций Российской Федерации Николай Никифоров принял участие в совещании у Председателя Правительства РФ Дмитрия Медведева по вопросу развития электрического и беспилотного транспорта в РФ.
22.07.2017 Осетинское радио
JPG Файл - МВД Республики Северная Осетия – АланияВ целях привлечения внимания общественности к проблеме аварийности, связанной с нарушением скоростного режима, сотрудники ОГИБДД по Ирафскому району провели очередное рейдовое мероприятие «Соблюдай скоростной режим».
22.07.2017 МВД Республики Северная Осетия – Алания
Государство будет бороться с анонимностью в сети - Газета Слово  Государство решительно настроилось на борьбу с анонимностью и распространением противоправного контента в интернете.
22.07.2017 Газета Слово
  В Сахаре проживают туареги. Здесь матери насильно откармливают своих дочерей, так как полнота в этой стране ассоциируется с плодородием.
22.07.2017 Vestiyuga.Ru
Суд приговорил жителя Дагестана Гаджиева к четырем годам колонии, признав его виновным в исполнении поручений боевиков, действовавших в Хунзахском районе республики, и незаконном хранении боеприпасов.
22.07.2017 Кавказский Узел
В двух ДТП пострадали несовершеннолетние пассажиры - ГИБДДВ Северной Осетии 21 июля произошло два дорожно-транспортных происшествия.
22.07.2017 ГИБДД
Суд приговорил к двум годам колонии-поселения жительницу Шали за то, что она из неприязни к дочери своего мужа прижгла ей бедра раскаленным ножом.
22.07.2017 Кавказский Узел
Полицейский, до смерти избивший жену, взят под стражу - Газета Слово
Полицейский, до смерти избивший жену, взят под стражу
Суд поместил под стражу сотдрудника ДПС,   который до смерти избил собственную жену, об этом сообщает ГТРК "Алания".
Газета Слово
Во Владикавказе лейтенант полиции избил жену на почве ревности - Газета Слово
Во Владикавказе лейтенант полиции избил жену на почве ревности
Следственный комитет возбудил уголовное дело в отношении лейтенанта полиции, инспектора ГИБДД Северной Осетии, который подозревается в избиении собственной жены на почве ревности.
Газета Слово
Жительница Северной Осетии украла 40 000 у пенсионерки - Газета Слово
Жительница Северной Осетии украла 40 000 у пенсионерки
Женщина выманила у пенсионерки деньги, рассказав ей о кредите с низкой ставкой, сообщает пресс-служба МВД   Из материалов дела стало известно, что в октябре 2015 года 33-летняя жительница Осетии,
Газета Слово
IMG_1243 - Министерство культурыГосударственный академический ансамбль танца «Алан» представил зрителям обновленную программу.
22.07.2017 Министерство культуры
IMG_0996 - Министерство культуры20 июля состоялось закрытие сезона Национального государственного оркестра народных инструментов РСО-Алания под руководством Булата Газданова.
21.07.2017 Министерство культуры
В Даргавсе открылся музей национальной Осетинской культуры - Газета СловоС традиционным бытом осетин, который сейчас уже редко встретишь в современных семьях, теперь можно ближе познакомиться в новом музее в Даргавсе.
21.07.2017 Газета Слово
Навели мосты - Газета Слово
Навели мосты
Северо-осетинская делегация вернулась восторженной и впечатленной из Азербайджана, где проходил международный фестиваль фольклорного танца «Мост дружбы».
Газета Слово
В Венгрии сыграют на осетинской арфе - Газета Слово
В Венгрии сыграют на осетинской арфе
© Фото: АиФ Воссозданный древний аланский музыкальный инструмент - дуадастанон фандыр подарят Ясскому музею в Венгрии.
Газета Слово
Руководство республики обещает приложить все усилия для сохранения творческих коллективов Госфилармонии - Газета Слово
Руководство республики обещает приложить все усилия для сохранения творческих коллективов Госфилармонии
Руководство Северной Осетии намерено сохранить все творческие коллективы филармонии, и обеспечить их всеми необходимыми для творчества условиями,
Газета Слово
У Алана Дзагоева небольшой икроножный спазм - Осетинское радиоГенеральный директор ЦСКА после матча с "Локомотивом" (1:3) отметил, что команда допустила много брака в игре, а также высказал мнение по дисквалификации Романа Еременко и состоянии Алана Дзагоева.
22.07.2017 Осетинское радио
Легкоатлетка из Кабардино-Балкарии Мария Ласицкене (Кучина) выиграла турнир «Бриллиантовой лиги» в Монако.
22.07.2017 Кавказский Узел
Команда Дзагоева ЦСКА обыграет «Локомотив» в два мяча, но лёгким матч не будет - Осетинское радиоИзвестный шоумен и болельщик ЦСКА Михаил Грушевский поделился ожиданиями от предстоящего дерби между ЦСКА и «Локомотивом», которое состоится 21 июля.
21.07.2017 Осетинское радио
Осетинские сумоисты Казиев, Маргиев и Кудзоев выступят на Всемирных играх - Газета Слово
Осетинские сумоисты Казиев, Маргиев и Кудзоев выступят на Всемирных играх
Сумоисты из Осетии в составе сборной России отправились в Польшу на международные соревнования по видам спорта, не входящим в Олимпийскую программу, сообщает пресс-служба Минспорта республики.
Газета Слово
Осетинские спортсмены выступят на чемпионате мира, первенствах Европы и России - Газета Слово
Осетинские спортсмены выступят на чемпионате мира, первенствах Европы и России
Спортсмены из Осетии будут представлять Россию на первенстве Европы по вольной борьбе и чемпионате мира по борьбе на поясах, а так же выступят на чемпионате России по тяжелой атлетике, сообщает пресс-служба Минспорта республики.
Газета Слово
Ерохин завершил аланский ультразабег - Газета Слово
Ерохин завершил аланский ультразабег
Ультрамарафонист Дмитрий Ерохин завершил накануне ночью первый Аланский забег.
Газета Слово
Суд обязал Минздрав Северной Осетии обеспечить двух больных лекарством  более чем на 60 млн рублей - Газета СловоВерховный суд Северной Осетии в пятницу обязал министерство здравоохранения приобрести за счёт республиканского бюджета препараты для двух пациентов с редкими болезнями на сумму более 60 млн рублей.
22.07.2017 Газета Слово
Ребенок погиб, еще один пешеход госпитализирован с травмами в результате аварии с участием автобуса в Туапсинском районе Краснодарского края.
22.07.2017 Кавказский Узел
FullSizeRender 22 07 17 03 12 - Администрация РСО-АВ Красноярском крае проходят Дни республики Северная Осетия-Алания. В масштабном мероприятии принимают участие глава РСО-Алания Вячеслав Битаров,
22.07.2017 Администрация РСО-А
JPG Файл - МВД Республики Северная Осетия – АланияВместе с представителями Всероссийского Азербайджанского Конгресса члены совета ветеранов республики возложили цветы к памятнику погибшим в боях при защите г. Владикавказа воинам-азербайджанцам.
22.07.2017 МВД Республики Северная Осетия – Алания
За трое суток сотрудники Госавтоинспекции выявили 49 фактов, когда водитель находится за рулем в состоянии алкогольного опьянения, 11 из них сели нетрезвыми за руль повторно.
22.07.2017 МВД Республики Северная Осетия – Алания