Новости города БезФормата.Ru
Владикавказ
Главные новости
 
Задать вопрос?

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов

Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов, разработанный специалистами АО «Айкумен ИБС»,показал наилучшие характеристики в конкурсной части состоявшейся в Москве XXIII Международной конференции «Диалог 2017», посвященной актуальной оценке уровня развития российских машинно-лингвистических технологий. При подготовке к конкурсу «умный» классификатор набрал обучающую статистику признаков из текстового корпуса объемом более миллиона слов, а для оценки точности ему было предложен массив документов из 15000 слов. В результате сравнительного тестирования на закрытой дорожке MorphoRuEval метод «Айкумен ИБС» признан победителем по точности нормализации русских слов, достигающей 92,22%. Кроме того, он занял второе место по восстановлению морфологических признаков с достоверностью свыше 93%. По мнению директора Департамента разработки АО «Айкумен ИБС» Андрея Ярового, «независимая экспертиза «DialogueEvaluation» подтвердила отличное качество морфологического анализа текстов, используемого в компании. Данный анализ является фундаментом всей текстовой аналитики, что позволяет нам с беспрецедентной точностью извлекать смысл из документов на русском языке». «Мы продолжаем двигаться вперед, постоянно совершенствуем алгоритмы и разрабатываем инновационные методы в своей работе, предоставляя возможность нашим заказчикам максимально использовать преимущества IQPLATFORM® - современного отечественного продукта в области BigData, по ряду функционала не имеющего аналогов на российском и мировом рынках» - подводит итог участия в мероприятии генеральный директор АО «Айкумен ИБС» Ирина Касаткина. Морфологический анализ выполняется на начальных этапах автоматической обработки текста и является одной из наиболее важных операций, влияющих на финальное качество анализа документов. К его задачам относится определение части речи и морфологических признаков (падеж, род, число, время, лицо и пр.) каждого слова предложения, а также нормализация - корректное восстановление начальной формы этих слов. Представленная технология лингвистической обработки позволяет более качественно и с минимальным участием человека анализировать большие объемы текстовой информации на естественных языках. Существующие методологии в этой области сконцентрированы на английском языке. Но они абсолютно несовместимы с русской языковой моделью по причине ее морфологической обогащенности более чем 300 различными комбинациями признаков. Исходя из этих особенностей, лингвистическая группа компании «Айкумен ИБС» разработала свой алгоритм, объединяющий достоинства классических способов с методами машинного обучения в виде двухступенчатой фильтрации словарного разбора: • Формирование предположений о возможных разборах слова с применением грамматического словаря. При отсутствии в библиотеке необходимого термина производится поиск наиболее похожего слова для разбора по аналогии; • Выбор оптимального варианта признака из контекста предложения с помощью самообучаемого классификатора на основе линейной машины опорных векторов SVM (SupportVectorMachine). Для дополнительной проверки каждого разбора применяется общая оценка из суммы оценок входящих в него признаков, а в качестве оптимального выбирается разбор с максимальной оценкой. Роль указанных признаков играют различные комбинации префиксов, суффиксов и отдельных морфологических характеристик слов в пределах контекстного окна размером ±3 слова от анализируемого. Научно-практический форум «Диалог» ежегодно собирает ведущих ученых, мировых экспертов и отраслевых вендоров для обсуждения передовых методов компьютерной лингвистики и обмена опытом создания прикладных решений по интеллектуальному анализу текстов на естественных языках. Наибольшим интересом в программе конференции-2017 пользовался конкурс MorphoRuEval, организованный лабораторией «DialogueEvaluation» для тестирования инструментов морфологического анализа русскоязычных текстов из сети Интернет. В этом году в нем приняли участие 15 команд, представляющих компании ABBYY, OnPositive, Pullenti, Samsung R&D и «Айкумен ИБС», а также университеты МФТИ, НИУ ВШЭ, ИСП РАН, МГУ, МИЭМ и НГУ. Пресс-служба Ростелекома

 

Последние новости Северной Осетии-Алании по теме:
Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
19:02 20.06.2017 Vestiyuga.Ru
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
17:22 20.06.2017 Осетинское радио
Житель Чечни разместил на свой странице в социальной сети несколько запрещенных песен Тимура Муцураева, сообщили в прокуратуре.
22.02.2018 Кавказский Узел
ФАС использует специализированное программное обеспечение для выявления признаков «цифровых» картелей Начальник Управления по борьбе с картелями ФАС России Андрей Тенишев поделился практикой антимонопольного расследов
22.02.2018 УФАС
На горнолыжном склоне о правилах безопасности забывать нельзя - ГУ МЧСС начала года на горнолыжном курорте Цей североосетинскими спасателями была оказана помощь более чем 20 отдыхающим, в числе которых как лыжники и сноубордисты, так и обычные туристы.
22.02.2018 ГУ МЧС
Российская краудфандинговая платформа заблокировала проект волгоградских сторонников Навального, созданный для помощи арестованным участникам митингов.
21.02.2018 Кавказский Узел
СКГМИ - ООО «Майкромайн Рус»: новый этап сотрудничества - СКГМИ(ГТУ)СКГМИ и российский филиал австралийской компании Micromine – крупнейшего мирового производителя геоинформационных систем для горной промышленности - ООО «Майкромайн Рус» подписали договор о сотрудничестве.
21.02.2018 СКГМИ(ГТУ)
Помощь врачей потребовалась одному из двух пострадавших при взрыве газа в мебельном цехе в Махачкале, сообщило сегодня МВД.
21.02.2018 Кавказский Узел
Предлагаем вашему вниманию статистика рынка труда и основные показатели работы Комитета РСО-Алания по занятости населения за январь 2018 года по реализации Государственной программы Республики Северная Осетия-Алания «Сод
21.02.2018 Комитет по занятости населения
Греция выдала России участника банды Гагиева, расправившейся с десятками человек - Газета СловоИз Греции по запросу РФ экстрадирован один из членов банды Аслана Гагиева Артур Джиоев.
22.02.2018 Газета Слово
Семьи погибших и раненых прихожан храма в Кизляре получили деньги, собранные местными предприятиями и жителями Дагестана, сообщили священнослужители.
22.02.2018 Кавказский Узел
Не менее двух человек получили ножевые ранения при конфликте в сельском поселении Плиево, один из участников инцидента задержан.
22.02.2018 Кавказский Узел
В Росгвардии Северной Осетии почтили память погибших сослуживцев - Газета Слово
В Росгвардии Северной Осетии почтили память погибших сослуживцев
В Управлении Росгвардии Северной Осетии  состоялся митинг, посвященный зачислению навечно в списки личного состава сержанта милиции Руслана Захарова и младшего лейтенанта милиции Игоря Бондарева,
Газета Слово
Полицейского в Дзуарикау ранили ножом, когда тот пытался предотвратить нападение отца на сына - Газета Слово
Полицейского в Дзуарикау ранили ножом, когда тот пытался предотвратить нападение отца на сына
Ранее судимый житель Дзуарикау ранил ножом полицейского, который прибыл разрешить семейный конфликт.
Газета Слово
Самыми  популярными преступлениям в Осетии  стали кражи и мошенничества - Газета Слово
Самыми популярными преступлениям в Осетии стали кражи и мошенничества
Согласно статистике, предоставленной на сайте Росстата по Северной Осетии, в республике за 2017 год было зарегистрировано  1341 краж и 785 фактов мошенничества.
Газета Слово
IMG_8505[1] - Министерство культурыВ селении Комсомольское Кировского района после капительного ремонта открылся Дом культуры.
22.02.2018 Министерство культуры
21 февраля - Министерство культурыБесплатные показы детских спектаклей 21 февраля  — в Международный день родного языка — осуществили Северо-Осетинский государственный академический театр  им.
22.02.2018 Министерство культуры
Дирижера Мариинского театра Корчмара покорила осетинская публика - Газета Слово  Дирижер Мариинского театра Леонид Корчмар, давший концерт на сцене госфилармонии с симфоническим оркестром филиала Мариинки, был покорен осетинской публикой.
21.02.2018 Газета Слово
«Алан» выступит на сцене Московского Дома музыки - Газета Слово
«Алан» выступит на сцене Московского Дома музыки
Государственный  академический  ансамбль  танца «Алан», чьи   танцевальные номера на протяжении  вот  уже восьми десятилетий остаются эталонными образцами осетинской хореографии,
Газета Слово
Доносить добро легко - Газета Слово
Доносить добро легко
Российский актёр, кинорежиссёр и общественный деятель Антон Богданов, известность которому принесла роль Антохи в популярном молодежном сериале «Реальные пацаны» рассказал на мастер-классе во Владикавказе  о том,
Газета Слово
Дирижер из Сингапура выступит во Владикавказе - Газета Слово
Дирижер из Сингапура выступит во Владикавказе
Филармония 16 февраля приглашает на концерт симфонического оркестра, за пультом  которого в этот вечер впервые будет стоять молодой  дирижер, композитор и пианист из Сингапура Чия Амос.
Газета Слово
JPG Файл - МВД Республики Северная Осетия – АланияИнспекторы ПДН ОМВД России по Моздокскому району приняли участие в турнире по волейболу.
22.02.2018 МВД Республики Северная Осетия – Алания
Российские лыжники в Пхёнчхане по числу медалей превзошли результат Игр в Сочи - Газета СловоРоссийские лыжники продолжают пополнять коллекцию наград Олимпийских игр в Пхёнчхане.
22.02.2018 Газета Слово
21 февраля в тире СОГМА прошло первенство по пулевой стрельбе, приуроченное ко Дню защитника Отечества.
22.02.2018 СОГМА
Осетинские силовики определили лучших лыжников - Газета Слово
Осетинские силовики определили лучших лыжников
Сотрудники МВД и органов безопасности впервые в истории республики приняли участие в соревнованиях по горнолыжному слалому.
Газета Слово
Менеджер Усика считает, что его подопечному будет сложно рассчитывать на победу над Гассиевым - Газета Слово
Менеджер Усика считает, что его подопечному будет сложно рассчитывать на победу над Гассиевым
Менеджер чемпиона мира по версии WBO и WBC в первом тяжёлом весе Александра Усика Эгис Климас полагает, что, если в финале турнира WBSS украинец покажет тот же уровень бокса, что и в бою с Бриедисом,
Газета Слово
Дзагоев ответил на вопрос о том, когда он уедет в Европу - Газета Слово
Дзагоев ответил на вопрос о том, когда он уедет в Европу
Полузащитник ЦСКА Алан Дзагоев рассказал, какая европейская лига ему больше нравится, а также ответил на вопрос, когда он уедет в топ-чемпионат.
Газета Слово
Заседание Антитеррористической комиссии в РСО-Алания прошло в Пригородном районе - Глава РеспубликиГлава Северной Осетии Вячеслав Битаров провел выездное заседание Антитеррористической комиссии в РСО-Алания.
22.02.2018 Глава Республики
Член ЦИК РФ Сиябшах Шапиев положительно оценил подготовку к выборам Президента в Северной Осетии - Глава РеспубликиГлава Северной Осетии Вячеслав Битаров встретился с членом Центральной избирательной комиссии РФ Сиябшахом Шапиевым .
22.02.2018 Глава Республики
Греция выдала России участника банды Гагиева, расправившейся с десятками человек - Газета СловоИз Греции по запросу РФ экстрадирован один из членов банды Аслана Гагиева Артур Джиоев.
22.02.2018 Газета Слово
Северная Осетия вошла в топ-20 регионов с критическими показателями по выплатам ОСАГО - Газета СловоСеверная Осетия вошла в топ-20 регионов с критическими показателями по выплатам ОСАГО по итогам прошедшего года.
22.02.2018 Газета Слово
JPG Файл - МВД Республики Северная Осетия – АланияИнспекторы ПДН ОМВД России по Моздокскому району приняли участие в турнире по волейболу.
22.02.2018 МВД Республики Северная Осетия – Алания