Новости города БезФормата.Ru
Владикавказ
Главные новости
 
Задать вопрос?

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов

Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов, разработанный специалистами АО «Айкумен ИБС»,показал наилучшие характеристики в конкурсной части состоявшейся в Москве XXIII Международной конференции «Диалог 2017», посвященной актуальной оценке уровня развития российских машинно-лингвистических технологий. При подготовке к конкурсу «умный» классификатор набрал обучающую статистику признаков из текстового корпуса объемом более миллиона слов, а для оценки точности ему было предложен массив документов из 15000 слов. В результате сравнительного тестирования на закрытой дорожке MorphoRuEval метод «Айкумен ИБС» признан победителем по точности нормализации русских слов, достигающей 92,22%. Кроме того, он занял второе место по восстановлению морфологических признаков с достоверностью свыше 93%. По мнению директора Департамента разработки АО «Айкумен ИБС» Андрея Ярового, «независимая экспертиза «DialogueEvaluation» подтвердила отличное качество морфологического анализа текстов, используемого в компании. Данный анализ является фундаментом всей текстовой аналитики, что позволяет нам с беспрецедентной точностью извлекать смысл из документов на русском языке». «Мы продолжаем двигаться вперед, постоянно совершенствуем алгоритмы и разрабатываем инновационные методы в своей работе, предоставляя возможность нашим заказчикам максимально использовать преимущества IQPLATFORM® - современного отечественного продукта в области BigData, по ряду функционала не имеющего аналогов на российском и мировом рынках» - подводит итог участия в мероприятии генеральный директор АО «Айкумен ИБС» Ирина Касаткина. Морфологический анализ выполняется на начальных этапах автоматической обработки текста и является одной из наиболее важных операций, влияющих на финальное качество анализа документов. К его задачам относится определение части речи и морфологических признаков (падеж, род, число, время, лицо и пр.) каждого слова предложения, а также нормализация - корректное восстановление начальной формы этих слов. Представленная технология лингвистической обработки позволяет более качественно и с минимальным участием человека анализировать большие объемы текстовой информации на естественных языках. Существующие методологии в этой области сконцентрированы на английском языке. Но они абсолютно несовместимы с русской языковой моделью по причине ее морфологической обогащенности более чем 300 различными комбинациями признаков. Исходя из этих особенностей, лингвистическая группа компании «Айкумен ИБС» разработала свой алгоритм, объединяющий достоинства классических способов с методами машинного обучения в виде двухступенчатой фильтрации словарного разбора: • Формирование предположений о возможных разборах слова с применением грамматического словаря. При отсутствии в библиотеке необходимого термина производится поиск наиболее похожего слова для разбора по аналогии; • Выбор оптимального варианта признака из контекста предложения с помощью самообучаемого классификатора на основе линейной машины опорных векторов SVM (SupportVectorMachine). Для дополнительной проверки каждого разбора применяется общая оценка из суммы оценок входящих в него признаков, а в качестве оптимального выбирается разбор с максимальной оценкой. Роль указанных признаков играют различные комбинации префиксов, суффиксов и отдельных морфологических характеристик слов в пределах контекстного окна размером ±3 слова от анализируемого. Научно-практический форум «Диалог» ежегодно собирает ведущих ученых, мировых экспертов и отраслевых вендоров для обсуждения передовых методов компьютерной лингвистики и обмена опытом создания прикладных решений по интеллектуальному анализу текстов на естественных языках. Наибольшим интересом в программе конференции-2017 пользовался конкурс MorphoRuEval, организованный лабораторией «DialogueEvaluation» для тестирования инструментов морфологического анализа русскоязычных текстов из сети Интернет. В этом году в нем приняли участие 15 команд, представляющих компании ABBYY, OnPositive, Pullenti, Samsung R&D и «Айкумен ИБС», а также университеты МФТИ, НИУ ВШЭ, ИСП РАН, МГУ, МИЭМ и НГУ. Пресс-служба Ростелекома

 

Последние новости Северной Осетии-Алании по теме:
Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
19:02 20.06.2017 Vestiyuga.Ru
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
17:22 20.06.2017 Осетинское радио
В первом полугодии 1575 семей в Северной Осетии воспользовались средствами материнского капитала.
22.07.2017 Осетинское радио
«Неизвестный Кавказ» познакомит инстаграмщиков с красотами Осетии - Газета СловоКоманда популярного сетевого проекта «Неизвестный Кавказ» вновь в Осетии, чтобы проехаться по красивейшим местам республики и заполнить соцсети яркими фотографиями и видероликами для привлечения туристов со всей страны.
21.07.2017 Газета Слово
Отдыхающие оказались заблокированными селевым потоком в Шаройском районе Чечни.
21.07.2017 Кавказский Узел
Написат Джамалудинова подала иск в суд к уполномоченному главы Дагестана Алибеку Алиеву и пяти местным жителям.
21.07.2017 Vestiyuga.Ru
Написат Джамалудинова подала иск в суд к уполномоченному главы Дагестана Алибеку Алиеву и пяти местным жителям.
21.07.2017 Кавказский Узел
Программа «Пятница» на телеканале ГТРК под угрозой закрытия - Осетинское радиоВ сложном положении оказались наши коллеги из ГТРК. В связи с уменьшением часов эфирной сетки пострадают аналитические и тематические программы, а все вещание сведется к формату коротких новостей и сообщений.
21.07.2017 Осетинское радио
Расширенное заседание коллегии Прокуратуры - Парламент РеспубликиСегодня Председатель Парламента Республики Северная Осетия-Алания Алексей МАЧНЕВ принял участие в расширенном заседании коллегии Прокуратуры республики по итогам первого полугодия текущего года,
20.07.2017 Парламент Республики
Суд приговорил жителя Дагестана Гаджиева к четырем годам колонии, признав его виновным в исполнении поручений боевиков, действовавших в Хунзахском районе республики, и незаконном хранении боеприпасов.
22.07.2017 Кавказский Узел
Полицейский, до смерти избивший жену, взят под стражу - Газета СловоСуд поместил под стражу сотдрудника ДПС,   который до смерти избил собственную жену, об этом сообщает ГТРК "Алания".
20.07.2017 Газета Слово
68-летняя жительница Хостинского района Сочи, обвиняемая в причинении тяжкого вреда здоровью ребенка, предстанет перед судом для решения вопроса о принудительном лечении, заявили следователи.
21.07.2017 Кавказский Узел
Во Владикавказе лейтенант полиции избил жену на почве ревности - Газета Слово
Во Владикавказе лейтенант полиции избил жену на почве ревности
Следственный комитет возбудил уголовное дело в отношении лейтенанта полиции, инспектора ГИБДД Северной Осетии, который подозревается в избиении собственной жены на почве ревности.
Газета Слово
Жительница Северной Осетии украла 40 000 у пенсионерки - Газета Слово
Жительница Северной Осетии украла 40 000 у пенсионерки
Женщина выманила у пенсионерки деньги, рассказав ей о кредите с низкой ставкой, сообщает пресс-служба МВД   Из материалов дела стало известно, что в октябре 2015 года 33-летняя жительница Осетии,
Газета Слово
15-летняя девочка угорела в с/т - Газета Слово
15-летняя девочка угорела в с/т "Весна"
15-летняя девочка погибла от отравления газом в садоводческом товариществе «Весна» .
Газета Слово
IMG_1243 - Министерство культурыГосударственный академический ансамбль танца «Алан» представил зрителям обновленную программу.
22.07.2017 Министерство культуры
IMG_0996 - Министерство культуры20 июля состоялось закрытие сезона Национального государственного оркестра народных инструментов РСО-Алания под руководством Булата Газданова.
21.07.2017 Министерство культуры
В Даргавсе открылся музей национальной Осетинской культуры - Газета СловоС традиционным бытом осетин, который сейчас уже редко встретишь в современных семьях, теперь можно ближе познакомиться в новом музее в Даргавсе.
21.07.2017 Газета Слово
Навели мосты - Газета Слово
Навели мосты
Северо-осетинская делегация вернулась восторженной и впечатленной из Азербайджана, где проходил международный фестиваль фольклорного танца «Мост дружбы».
Газета Слово
В Венгрии сыграют на осетинской арфе - Газета Слово
В Венгрии сыграют на осетинской арфе
© Фото: АиФ Воссозданный древний аланский музыкальный инструмент - дуадастанон фандыр подарят Ясскому музею в Венгрии.
Газета Слово
Руководство республики обещает приложить все усилия для сохранения творческих коллективов Госфилармонии - Газета Слово
Руководство республики обещает приложить все усилия для сохранения творческих коллективов Госфилармонии
Руководство Северной Осетии намерено сохранить все творческие коллективы филармонии, и обеспечить их всеми необходимыми для творчества условиями,
Газета Слово
У Алана Дзагоева небольшой икроножный спазм - Осетинское радиоГенеральный директор ЦСКА после матча с "Локомотивом" (1:3) отметил, что команда допустила много брака в игре, а также высказал мнение по дисквалификации Романа Еременко и состоянии Алана Дзагоева.
22.07.2017 Осетинское радио
Легкоатлетка из Кабардино-Балкарии Мария Ласицкене (Кучина) выиграла турнир «Бриллиантовой лиги» в Монако.
22.07.2017 Кавказский Узел
Команда Дзагоева ЦСКА обыграет «Локомотив» в два мяча, но лёгким матч не будет - Осетинское радиоИзвестный шоумен и болельщик ЦСКА Михаил Грушевский поделился ожиданиями от предстоящего дерби между ЦСКА и «Локомотивом», которое состоится 21 июля.
21.07.2017 Осетинское радио
Осетинские сумоисты Казиев, Маргиев и Кудзоев выступят на Всемирных играх - Газета Слово
Осетинские сумоисты Казиев, Маргиев и Кудзоев выступят на Всемирных играх
Сумоисты из Осетии в составе сборной России отправились в Польшу на международные соревнования по видам спорта, не входящим в Олимпийскую программу, сообщает пресс-служба Минспорта республики.
Газета Слово
Осетинские спортсмены выступят на чемпионате мира, первенствах Европы и России - Газета Слово
Осетинские спортсмены выступят на чемпионате мира, первенствах Европы и России
Спортсмены из Осетии будут представлять Россию на первенстве Европы по вольной борьбе и чемпионате мира по борьбе на поясах, а так же выступят на чемпионате России по тяжелой атлетике, сообщает пресс-служба Минспорта республики.
Газета Слово
Ерохин завершил аланский ультразабег - Газета Слово
Ерохин завершил аланский ультразабег
Ультрамарафонист Дмитрий Ерохин завершил накануне ночью первый Аланский забег.
Газета Слово
Белавенцев пообещал помочь реанимировать проект - Газета СловоПолномочный представитель президента РФ в СКФО Олег Белавенцев пообещал оказать необходимую помощь для реализации горно-рекреационного комплекса "Мамисон" в Алагирском районе Северной Осетии, сообщает Интерфакс.
21.07.2017 Газета Слово
Почти 80 млн руб получила республика от штрафов за нарушения ПДД водителями за полгода - Газета Слово  С начала 2017 года по материалам ГИБДД в бюджет республики поступило 79 млн руб от штрафов за нарушение правил дорожного движения водителями автомобилей,
21.07.2017 Газета Слово
Сурх Дигора - Администрация РСО-АМинистр образования Северной Осетии Ирина Азимова проинспектировала ход ремонтных работ в ГКОУ «Надежда» в селе Дур-Дур.
21.07.2017 Администрация РСО-А
DSC 0527 - Администрация РСО-АПредседатель Правительства Северной Осетии Таймураз Тускаев провёл встречу с представителями газоснабжающей компании по вопросу строительства газопровода Унал-Фиагдон.
21.07.2017 Администрация РСО-А
IMG_3200 - Духовное управление мусульманСегодня впервые г.Саратов посетил сопредседатель Совета муфтиев России, глава Духовного управления мусульман Республики Северная Осетия Хаджимурат Гацалов.
21.07.2017 Духовное управление мусульман