Новости города БезФормата.Ru
Владикавказ
Главные новости
 
Задать вопрос?

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов

Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов, разработанный специалистами АО «Айкумен ИБС»,показал наилучшие характеристики в конкурсной части состоявшейся в Москве XXIII Международной конференции «Диалог 2017», посвященной актуальной оценке уровня развития российских машинно-лингвистических технологий. При подготовке к конкурсу «умный» классификатор набрал обучающую статистику признаков из текстового корпуса объемом более миллиона слов, а для оценки точности ему было предложен массив документов из 15000 слов. В результате сравнительного тестирования на закрытой дорожке MorphoRuEval метод «Айкумен ИБС» признан победителем по точности нормализации русских слов, достигающей 92,22%. Кроме того, он занял второе место по восстановлению морфологических признаков с достоверностью свыше 93%. По мнению директора Департамента разработки АО «Айкумен ИБС» Андрея Ярового, «независимая экспертиза «DialogueEvaluation» подтвердила отличное качество морфологического анализа текстов, используемого в компании. Данный анализ является фундаментом всей текстовой аналитики, что позволяет нам с беспрецедентной точностью извлекать смысл из документов на русском языке». «Мы продолжаем двигаться вперед, постоянно совершенствуем алгоритмы и разрабатываем инновационные методы в своей работе, предоставляя возможность нашим заказчикам максимально использовать преимущества IQPLATFORM® - современного отечественного продукта в области BigData, по ряду функционала не имеющего аналогов на российском и мировом рынках» - подводит итог участия в мероприятии генеральный директор АО «Айкумен ИБС» Ирина Касаткина. Морфологический анализ выполняется на начальных этапах автоматической обработки текста и является одной из наиболее важных операций, влияющих на финальное качество анализа документов. К его задачам относится определение части речи и морфологических признаков (падеж, род, число, время, лицо и пр.) каждого слова предложения, а также нормализация - корректное восстановление начальной формы этих слов. Представленная технология лингвистической обработки позволяет более качественно и с минимальным участием человека анализировать большие объемы текстовой информации на естественных языках. Существующие методологии в этой области сконцентрированы на английском языке. Но они абсолютно несовместимы с русской языковой моделью по причине ее морфологической обогащенности более чем 300 различными комбинациями признаков. Исходя из этих особенностей, лингвистическая группа компании «Айкумен ИБС» разработала свой алгоритм, объединяющий достоинства классических способов с методами машинного обучения в виде двухступенчатой фильтрации словарного разбора: • Формирование предположений о возможных разборах слова с применением грамматического словаря. При отсутствии в библиотеке необходимого термина производится поиск наиболее похожего слова для разбора по аналогии; • Выбор оптимального варианта признака из контекста предложения с помощью самообучаемого классификатора на основе линейной машины опорных векторов SVM (SupportVectorMachine). Для дополнительной проверки каждого разбора применяется общая оценка из суммы оценок входящих в него признаков, а в качестве оптимального выбирается разбор с максимальной оценкой. Роль указанных признаков играют различные комбинации префиксов, суффиксов и отдельных морфологических характеристик слов в пределах контекстного окна размером ±3 слова от анализируемого. Научно-практический форум «Диалог» ежегодно собирает ведущих ученых, мировых экспертов и отраслевых вендоров для обсуждения передовых методов компьютерной лингвистики и обмена опытом создания прикладных решений по интеллектуальному анализу текстов на естественных языках. Наибольшим интересом в программе конференции-2017 пользовался конкурс MorphoRuEval, организованный лабораторией «DialogueEvaluation» для тестирования инструментов морфологического анализа русскоязычных текстов из сети Интернет. В этом году в нем приняли участие 15 команд, представляющих компании ABBYY, OnPositive, Pullenti, Samsung R&D и «Айкумен ИБС», а также университеты МФТИ, НИУ ВШЭ, ИСП РАН, МГУ, МИЭМ и НГУ. Пресс-служба Ростелекома

 

Последние новости Северной Осетии-Алании по теме:
Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
19:02 20.06.2017 Vestiyuga.Ru
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
17:22 20.06.2017 Осетинское радио
Суд назначил штраф в качестве наказания 20-летнему жителю Темрюка за публикацию в социальной сети  экстремистских материалов, заявила прокуратура Краснодарского края.
22.08.2017 Кавказский Узел
В районе скал Пастухова на горе Эльбрус туристу стало плохо, и он запросил помощь у спасателей Кабардино-Балкарии.
22.08.2017 Кавказский Узел
Поисковые работы в районе обрушившейся в декабре 2016 года эстакады нефтесборного пункта "Азнефти" сегодня завершены в связи с тем, что найдено и опознано тело десятого пропавшего нефтяника.
22.08.2017 Кавказский Узел
Ремонтные работы на стадионе Спартак подходят к завершению. Фестиваль культуры и спорта народов Кавказа «Кавказские игры» сможет принять участников в ближайшее время.
22.08.2017 Vestiyuga.Ru
  По данным туристической ассоциации «Мир без границ», Китай является лидером въездного туризма в Россию.
22.08.2017 Vestiyuga.Ru
Google представила новую версию Android - Газета СловоGoogle официально представила новую операционную систему — Android 8.0 Oreo.
22.08.2017 Газета Слово
Ремонтные работы на стадионе Спартак подходят к завершению. Фестиваль культуры и спорта народов Кавказа «Кавказские игры» сможет принять участников в ближайшее время.
22.08.2017 Министерство архитектуры
Верховный суд Российской Федерации оставил без изменения приговор, вынесенный Верховным судом РСО-Алания в отношении трех жителей с.Ногир Хугаева Руслана Константиновича,
22.08.2017 Прокуратура
Установлена причина пожара  в мясном магазине - ГУ МЧСЭкспертами Испытатльнойпожарной лаборатории установлена причина пожара, произошедшего  18 августа текущего в года в помещении мясного магазина, расположенного по адресу: РСО-Алания, г. Ардон, ул.
22.08.2017 ГУ МЧС
Вертолет, летевший из Анапы в Абрау-Дюрсо, потерпел крушение в районе поселка Малый Утриш Краснодарского края, в результате погиб человек.
22.08.2017 Кавказский Узел
Приговор в отношении трех жителей Ногира, напавших на старика, оставлен без изменений - Газета Слово
Приговор в отношении трех жителей Ногира, напавших на старика, оставлен без изменений
Верховный суд России оставил без изменения приговор, вынесенный Верховным судом Северной Осетии в отношении трех жителей с. Ногир, которые мае текущего года были признаны виновными в совершении разбойного нападения,
Газета Слово
ИГ* напало на Испанию: 13 погибших, более 100 пострадавших - Газета Слово
ИГ* напало на Испанию: 13 погибших, более 100 пострадавших
Серия терактов произошла в четверг в Испании: основной удар экстремистов пришелся по Барселоне, где машина въехала в толпу в центре города.
Газета Слово
Суд обязал Никиташенко отработать 400 часов бесплатно - Газета Слово
Суд обязал Никиташенко отработать 400 часов бесплатно
    Советский суд Владикавказа приговорил за подлог документов бывшего и.о.
Газета Слово
«Два Крыла» - Осетинское радиоПри поддержке аппарата полномоченного представителя президента РФ в СКФО, Правительства КБР, Правительства КЧР второй ежегодный фестиваль фотографов и видеографов «Два Крыла» в текущем году пройдёт в Кабардино-Балкарии,
22.08.2017 Осетинское радио
image058 - Министерство культурыНациональная научная библиотека РСО-Алания реализует проект «Осетия в изобразительном искусстве».
22.08.2017 Министерство культуры
Дружба, музыка, творчество - вот основные темы, на которые говорили машуковцы с почетными гостями форума - хореографом Марио Форелли, актером Анатолием Журавлевым и рэп-исполнителем Лигалайзом.
22.08.2017 Осетинское радио
Колиев озвучил Битарову проблемы Осетинского театра - Газета Слово
Колиев озвучил Битарову проблемы Осетинского театра
Новый художественный руководитель Осетинского театра рассказал о проблемах учреждения главе республики Вячеславу Битарову во время рабочей встречи.
Газета Слово
Пять спектаклей привезет Московский театр им. Маяковского в республику - Газета Слово
Пять спектаклей привезет Московский театр им. Маяковского в республику
Московский академический театр им. В. Маяковского покажет на гастролях в Северной Осетии  пять спектаклей.
Газета Слово
В Венгрии спели - Газета Слово
В Венгрии спели "Мæ Иры фæсивæд" и сыграли на осетинской арфе
  Осетинская делегация вернулась из Венгрии, где побывала на ежегодном грандиозном фестивале в городе Ясберень и поделилась со "Слово" впечатлениями от поездки.
Газета Слово
Тима Туриева завоевала «серебро» летней Универсиады-2017 - Газета СловоЧемпионка мира-2013 по тяжелой атлетике 25-летняя Тима Туриева (ЦСКА) завоевала «серебро» на XXIX летней Универсиаде, которая проходит в Тайбэе (Китайская Республика), пишет  cska.ru.
22.08.2017 Газета Слово
"Арсенал" из Тулы в седьмом туре Чемпионата России по футболу в Грозном победил "Ахмат" со счетом 1:2.
22.08.2017 Кавказский Узел
Артур Алексанян, представляющий Армению, в финале чемпионата мира по греко-римской борьбе в Париже победил россиянина Мусу Евлоева.
22.08.2017 Кавказский Узел
Дзагоев: ЧМ-2018 может стать последним для меня чемпионатом - Газета Слово
Дзагоев: ЧМ-2018 может стать последним для меня чемпионатом
  Полузащитник сборной России по футболу и ЦСКА Алан Дзагоев предположил, что чемпионат мира по футболу 2018 году может стать для него первым и последним ЧМ.
Газета Слово
Спорт.fm составил сборную России по футболу из осетинских игроков - Газета Слово
Спорт.fm составил сборную России по футболу из осетинских игроков
  Спорт.fm решил пофантазировать и составил национальную сборную по футболу полностью из представителей Осетии и показал, что из этого получится.
Газета Слово
Спрот.fm составил сборную России по футболу из осетинских игроков - Газета Слово
Спрот.fm составил сборную России по футболу из осетинских игроков
  Спорт.fm решил пофантазировать и составил национальную сборную по футболу полностью из представителей Осетии и показал, что из этого получится.
Газета Слово
Во Владикавказе до конца 2017 г. будет введено 220 мест в детских садах - Администрация г. ВладикавказГлава АМС г.Владикавказа  Борис Албегов  посетил строительные площадки, на которых ведутся работы по созданию групп дошкольного образования.
22.08.2017 Администрация г. Владикавказ
Верховный суд Российской Федерации оставил без изменения приговор, вынесенный Верховным судом РСО-Алания в отношении трех жителей с.Ногир Хугаева Руслана Константиновича,
22.08.2017 Прокуратура
Акция покаяния жителей Грозного, написавших письмо о пытках генпрокурору, не состоялась из-за вмешательства администрации президента России после беседы Кадырова с главой чеченского управления ФСБ, сообщила "Новая газета".
22.08.2017 Кавказский Узел
Все шесть пострадавших в столкновении автобуса и трактора на территории Грузии – граждане Армении, их жизням, по данным грузинских врачей, ничто не угрожает.
22.08.2017 Кавказский Узел
Тима Туриева завоевала «серебро» летней Универсиады-2017 - Газета СловоЧемпионка мира-2013 по тяжелой атлетике 25-летняя Тима Туриева (ЦСКА) завоевала «серебро» на XXIX летней Универсиаде, которая проходит в Тайбэе (Китайская Республика), пишет  cska.ru.
22.08.2017 Газета Слово