Новости города БезФормата.Ru
Владикавказ
Главные новости
 
Задать вопрос?

Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов

Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов, разработанный специалистами АО «Айкумен ИБС»,показал наилучшие характеристики в конкурсной части состоявшейся в Москве XXIII Международной конференции «Диалог 2017», посвященной актуальной оценке уровня развития российских машинно-лингвистических технологий. При подготовке к конкурсу «умный» классификатор набрал обучающую статистику признаков из текстового корпуса объемом более миллиона слов, а для оценки точности ему было предложен массив документов из 15000 слов.

В результате сравнительного тестирования на закрытой дорожке MorphoRuEval метод «Айкумен ИБС» признан победителем по точности нормализации русских слов, достигающей 92,22%. Кроме того, он занял второе место по восстановлению морфологических признаков с достоверностью свыше 93%.
По мнению директора Департамента разработки АО «Айкумен ИБС» Андрея Ярового, «независимая экспертиза «DialogueEvaluation» подтвердила отличное качество морфологического анализа текстов, используемого в компании. Данный анализ является фундаментом всей текстовой аналитики, что позволяет нам с беспрецедентной точностью извлекать смысл из документов на русском языке».
«Мы продолжаем двигаться вперед, постоянно совершенствуем алгоритмы и разрабатываем инновационные методы в своей работе, предоставляя возможность нашим заказчикам максимально использовать преимущества IQPLATFORM® - современного отечественного продукта в области BigData, по ряду функционала не имеющего аналогов на российском и мировом рынках» - подводит итог участия в мероприятии генеральный директор АО «Айкумен ИБС» Ирина Касаткина.
Морфологический анализ выполняется на начальных этапах автоматической обработки текста и является одной из наиболее важных операций, влияющих на финальное качество анализа документов. К его задачам относится определение части речи и морфологических признаков (падеж, род, число, время, лицо и пр.) каждого слова предложения, а также нормализация - корректное восстановление начальной формы этих слов.
Представленная технология лингвистической обработки позволяет более качественно и с минимальным участием человека анализировать большие объемы текстовой информации на естественных языках.
Существующие методологии в этой области сконцентрированы на английском языке. Но они абсолютно несовместимы с русской языковой моделью по причине ее морфологической обогащенности более чем 300 различными комбинациями признаков.
Исходя из этих особенностей, лингвистическая группа компании «Айкумен ИБС» разработала свой алгоритм, объединяющий достоинства классических способов с методами машинного обучения в виде двухступенчатой фильтрации словарного разбора:
• Формирование предположений о возможных разборах слова с применением грамматического словаря. При отсутствии в библиотеке необходимого термина производится поиск наиболее похожего слова для разбора по аналогии;
• Выбор оптимального варианта признака из контекста предложения с помощью самообучаемого классификатора на основе линейной машины опорных векторов SVM (SupportVectorMachine). Для дополнительной проверки каждого разбора применяется общая оценка из суммы оценок входящих в него признаков, а в качестве оптимального выбирается разбор с максимальной оценкой.
Роль указанных признаков играют различные комбинации префиксов, суффиксов и отдельных морфологических характеристик слов в пределах контекстного окна размером ±3 слова от анализируемого.
Научно-практический форум «Диалог» ежегодно собирает ведущих ученых, мировых экспертов и отраслевых вендоров для обсуждения передовых методов компьютерной лингвистики и обмена опытом создания прикладных решений по интеллектуальному анализу текстов на естественных языках. Наибольшим интересом в программе конференции-2017 пользовался конкурс MorphoRuEval, организованный лабораторией «DialogueEvaluation» для тестирования инструментов морфологического анализа русскоязычных текстов из сети Интернет. В этом году в нем приняли участие 15 команд, представляющих компании ABBYY, OnPositive, Pullenti, Samsung R&D и «Айкумен ИБС», а также университеты МФТИ, НИУ ВШЭ, ИСП РАН, МГУ, МИЭМ и НГУ.
Пресс-служба Ростелекома

 

Последние новости Северной Осетии-Алании по теме:
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
19:02 20.06.2017 Vestiyuga.Ru
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
17:22 20.06.2017 Осетинское радио
Участники митинга в Волгограде попросили Сбербанк не отсуживать в счет залога квартиры в строящемся ЖК "Доминант" и снизить для обманутых дольщиков процентную ставку по ипотечным кредитам.
16.12.2017 Кавказский Узел
Апелляционный суд Армении 15 декабря оставил в силе приговор директору пресс-клуба Analitik Ани Ованнисян, отсидевшей в тюрьме полтора года по обвинению в вымогательстве денег у депутата.
16.12.2017 Кавказский Узел
Важность соблюдения правил дорожного движения на жизненном примере товарища продемонстрировали сотрудники Госавтоинспекции старшеклассникам СОШ №7 г.Моздока.
15.12.2017 Vestiyuga.Ru
На площадке всесезонного курорта «Архыз» состоялось очередное заседание Совета резидентов ОЭЗ, приуроченное к началу горнолыжного сезона.
15.12.2017 Vestiyuga.Ru
Право перерезать символическую красную ленту и открыть обновленную площадку было предоставлено старейшине района, руководителю местного Совета «Стыр Ныхас» Тазрету Хасцаеву.
15.12.2017 Vestiyuga.Ru
Сотрудники Центрального аппарата  Росздравнадзора во главе с руководителем Службы Михаилом Мурашко приняли участие в работе двухдневной конференции «Реформа КНД:
15.12.2017 Vestiyuga.Ru
Пользователи, обратившиеся в УГИБДД республики через портал «Госуслуги», смогут получить быстрое обслуживание вне очереди в неприемные дни, а также сэкономить деньги на сервисе.
15.12.2017 ГИБДД
Скриншот комментария Игоря Гриба в соцсети Facebook о заседании по продлению ареста его сыну - Кавказский УзелКраснодарский суд провел закрытое заседание по делу обвиняемого в терроризме гражданина Украины Павла Гриба, заявила адвокат.
15.12.2017 Кавказский Узел
Росгвардейцы задержали во Владикавказе молодого человека, избившего девушку - Газета СловоБойцы Северо-Осетинской Росгвардии задержали местного жителя, избившего девушку.
16.12.2017 Газета Слово
Десятилетний мальчик и восьмилетняя девочка, вывезенные отцом в Сирию, доставлены минувшей ночью в Грозный и переданы родным.
16.12.2017 Кавказский Узел
Причастный к 25 убийствам член банды Гагиева отправлен на лечение - Газета Слово
Причастный к 25 убийствам член банды Гагиева отправлен на лечение
Член банды Аслана Гагиева, при активном участии которого были совершены 25 убийств и ряд похищений, решением суда отправлен на принудительное лечение, сообщает РИА Новости со ссылкой на СК РФ.
Газета Слово
Экс-сотруднику полиции, до смерти избившему свою жену, грозит 15 лет лишения свободы - Газета Слово
Экс-сотруднику полиции, до смерти избившему свою жену, грозит 15 лет лишения свободы
Бывшему сотруднику ГИБДД по Северной Осетии, избившему свою жену, предъявлено окончательное обвинение в «умышленном причинение тяжкого вреда здоровью, повлекшем по неосторожности смерть» (ч.
Газета Слово
«Любительница сыра» подозревается в серийном мошенничестве - Газета Слово
«Любительница сыра» подозревается в серийном мошенничестве
  Полицейские Северной Осетии задержали серийную мошенницу, жертвами которой стали более 20 жителей республики.
Газета Слово
4d1445b63c - Министерство культуры22 декабря в 18.00 в Республиканском дворце детского творчества (ул.Ленина,2) состоится авторский вечер и выставка картин заслуженного деятеля искусств РСО-Алания, лауреата национальной премии «Яблоко Нартов»,
15.12.2017 Министерство культуры
Бывший футболист «Алании» станет героем фильма - ГТРК АланияНа телеканале «Матч ТВ» стартовал показ цикла документальных фильмов под названием «Утомленные славой» об известных российских футболистах.
15.12.2017 ГТРК Алания
Жители республики смогут посмотреть «Кино без барьеров» - Газета СловоКинофестиваль о жизни людей с инвалидностью «Кино без барьеров. Эхо Владикавказ» впервые пройдет в Северной Осетии.
15.12.2017 Газета Слово
Иранские музыканты выступили в госфилармонии - Газета Слово
Иранские музыканты выступили в госфилармонии
В рамках Международной практической конференции «Иран — Северный Кавказ», популярный у себя на родине песенный коллектив «Мунисан» приехал с концертом во Владикавказ.
Газета Слово
Руководитель ансамбля Зелимхан Козаев стал одним из 15 лауреатов премии Российской Федерации - Газета Слово
Руководитель ансамбля Зелимхан Козаев стал одним из 15 лауреатов премии Российской Федерации
Художественный руководитель детской школы танца «Владикавказские Аланы» Зелимхан Козаев стал лауреатом премии правительства Российской Федерации «Душа России» за вклад в развитие народного творчества.
Газета Слово
Валерий Гергиев возглавит оркестр музыкального фестиваля в Вербье - Газета Слово
Валерий Гергиев возглавит оркестр музыкального фестиваля в Вербье
Дирижер Валерий Гергиев займет в 2018 году пост руководителя оркестра Международного музыкального фестиваля в Вербье (Швейцария) — одного из самых престижных музыкальных смотров, сообщили в пресс-службе Мариинского театра.
Газета Слово
«Звезды» осетинского футбола сошлись на стадионе «Спартак» - Газета СловоМатч «Легенды Алании», который в настоящее время проходит на стадионе «Спартак», взорвал присутствующих своей энергией и зрелищностью.
16.12.2017 Газета Слово
Сенатор Совфеда от Алтая предложил российским спортсменам выступать под флагами регионов России - Газета СловоСенатор Совета Федерации от Республики Алтай Владимир Полетаев предложил российским спортсменам выступать на зимней Олимпиаде 2018 года под флагами регионов, сообщает РИА Новости.
16.12.2017 Газета Слово
Мирджалол Касымов, бывший полузащитник ФК "Спартак-Владикавказ", ФК "Алания", главный тренер ФК "Бунедкор" (Ташкент, Узбекистан): "Здесь народ заслужил, чтобы был хороший футбол.
16.12.2017 Vestiyuga.Ru
Молодежь призвали никогда не пробовать наркотики - Газета Слово
Молодежь призвали никогда не пробовать наркотики
Во Дворце культуры"Металлург" прошла очередная акция для молодежи "Скажи наркотикам нет", организованная общественным благотворительным фондом "Спасательный круг".
Газета Слово
Цена билетов на бой Гассиева и Дортикоса доходит до 90 тысяч рублей - Газета Слово
Цена билетов на бой Гассиева и Дортикоса доходит до 90 тысяч рублей
Ценовой диапазон билетов на бой между осетином Муратом Гассиевым и кубинцем Юниером Дортикосом, по данным сайта продаж, составляет от 1000 до 90000 рублей.
Газета Слово
Рекордный по размеру баннер установят - Газета Слово
Рекордный по размеру баннер установят "Аланские барсы" на матче "Легенды Алании"
Рекордный по протяженности текстовый банннер длиной около 110 м будет установлен на восточной трибуне стадиона "Спартак" во время предстоящего матча "Легенды Алании",
Газета Слово
«Звезды» осетинского футбола сошлись на стадионе «Спартак» - Газета СловоМатч «Легенды Алании», который в настоящее время проходит на стадионе «Спартак», взорвал присутствующих своей энергией и зрелищностью.
16.12.2017 Газета Слово
Силовики ищут боевиков в селе Губден Карабудахкентского района Дагестана, сообщили в НАК.
16.12.2017 Кавказский Узел
Во Владикавказе прошла конференция - ГТРК АланияВо Владикавказе прошла ежегодная конференция, которую проводит Конституционный суд, Владикавказский институт управления и ассоциация юристов республики.
16.12.2017 ГТРК Алания
Росгвардейцы задержали во Владикавказе молодого человека, избившего девушку - Газета СловоБойцы Северо-Осетинской Росгвардии задержали местного жителя, избившего девушку.
16.12.2017 Газета Слово
Североосетинские депутаты направили в Госдуму законопроект о включении платы за общедомовые нужды в стоимость тарифов на жилищно-коммунальные услуги.
16.12.2017 Кавказский Узел