Новости города БезФормата.Ru
Владикавказ
Главные новости
 
Задать вопрос?

Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов

Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов, разработанный специалистами АО «Айкумен ИБС»,показал наилучшие характеристики в конкурсной части состоявшейся в Москве XXIII Международной конференции «Диалог 2017», посвященной актуальной оценке уровня развития российских машинно-лингвистических технологий. При подготовке к конкурсу «умный» классификатор набрал обучающую статистику признаков из текстового корпуса объемом более миллиона слов, а для оценки точности ему было предложен массив документов из 15000 слов.

В результате сравнительного тестирования на закрытой дорожке MorphoRuEval метод «Айкумен ИБС» признан победителем по точности нормализации русских слов, достигающей 92,22%. Кроме того, он занял второе место по восстановлению морфологических признаков с достоверностью свыше 93%.
По мнению директора Департамента разработки АО «Айкумен ИБС» Андрея Ярового, «независимая экспертиза «DialogueEvaluation» подтвердила отличное качество морфологического анализа текстов, используемого в компании. Данный анализ является фундаментом всей текстовой аналитики, что позволяет нам с беспрецедентной точностью извлекать смысл из документов на русском языке».
«Мы продолжаем двигаться вперед, постоянно совершенствуем алгоритмы и разрабатываем инновационные методы в своей работе, предоставляя возможность нашим заказчикам максимально использовать преимущества IQPLATFORM® - современного отечественного продукта в области BigData, по ряду функционала не имеющего аналогов на российском и мировом рынках» - подводит итог участия в мероприятии генеральный директор АО «Айкумен ИБС» Ирина Касаткина.
Морфологический анализ выполняется на начальных этапах автоматической обработки текста и является одной из наиболее важных операций, влияющих на финальное качество анализа документов. К его задачам относится определение части речи и морфологических признаков (падеж, род, число, время, лицо и пр.) каждого слова предложения, а также нормализация - корректное восстановление начальной формы этих слов.
Представленная технология лингвистической обработки позволяет более качественно и с минимальным участием человека анализировать большие объемы текстовой информации на естественных языках.
Существующие методологии в этой области сконцентрированы на английском языке. Но они абсолютно несовместимы с русской языковой моделью по причине ее морфологической обогащенности более чем 300 различными комбинациями признаков.
Исходя из этих особенностей, лингвистическая группа компании «Айкумен ИБС» разработала свой алгоритм, объединяющий достоинства классических способов с методами машинного обучения в виде двухступенчатой фильтрации словарного разбора:
• Формирование предположений о возможных разборах слова с применением грамматического словаря. При отсутствии в библиотеке необходимого термина производится поиск наиболее похожего слова для разбора по аналогии;
• Выбор оптимального варианта признака из контекста предложения с помощью самообучаемого классификатора на основе линейной машины опорных векторов SVM (SupportVectorMachine). Для дополнительной проверки каждого разбора применяется общая оценка из суммы оценок входящих в него признаков, а в качестве оптимального выбирается разбор с максимальной оценкой.
Роль указанных признаков играют различные комбинации префиксов, суффиксов и отдельных морфологических характеристик слов в пределах контекстного окна размером ±3 слова от анализируемого.
Научно-практический форум «Диалог» ежегодно собирает ведущих ученых, мировых экспертов и отраслевых вендоров для обсуждения передовых методов компьютерной лингвистики и обмена опытом создания прикладных решений по интеллектуальному анализу текстов на естественных языках. Наибольшим интересом в программе конференции-2017 пользовался конкурс MorphoRuEval, организованный лабораторией «DialogueEvaluation» для тестирования инструментов морфологического анализа русскоязычных текстов из сети Интернет. В этом году в нем приняли участие 15 команд, представляющих компании ABBYY, OnPositive, Pullenti, Samsung R&D и «Айкумен ИБС», а также университеты МФТИ, НИУ ВШЭ, ИСП РАН, МГУ, МИЭМ и НГУ.
Пресс-служба Ростелекома

 

Последние новости Северной Осетии-Алании по теме:
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов

Технологии машинного обучения группы компаний Ростелеком признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
19:02 20.06.2017 Vestiyuga.Ru
Технологии машинного обучения группы компаний «Ростелеком» признаны лучшими в морфологическом анализе текстов - Владикавказ
Самообучаемый алгоритм морфологического анализа и нормализации русскоязычных текстов,
17:22 20.06.2017 Осетинское радио
ПРАВИТЕЛЬСТВЕННАЯ ДЕЛЕГАЦИЯ ПОСЕТИЛА СТРОЯЩИЙСЯ ВО ВЛАДИКАВКАЗЕ ГИПЕРМАРКЕТ «МЕТРО КЭШ ЭНД КЕРРИ» - Министерство экономического развитияТорговые площади объекта, находящегося на завершающей стадии строительства, сегодня осмотрели Председатель Правительства Северной Осетии Таймураз Тускаев и Министр экономического развития республики Казбек Томаев .
18.10.2017 Министерство экономического развития
15 октября в Северной Осетии начался новый телевизионный сезон. Стартом можно считать премьеру короткометражного художественного фильма «Коста» (автор сценария и режиссер Мурат Джусойты).
18.10.2017 Vestiyuga.Ru
Вы работаете на посту Полномочного представителя почти год, так что можно подвести некоторые итоги.
18.10.2017 Vestiyuga.Ru
Коллеги и студенты Рашида Кулиева всегда с интересом знакомятся с его работами.
18.10.2017 Vestiyuga.Ru
По нормам НК РФ, введенным Федеральным законом от 18.07.2017 № 163-ФЗ , налоговый орган не вправе отказать налогоплательщику в исправлении ошибки в поданной декларации, если ошибка была непреднамеренной.
18.10.2017 УФНС
Тимур Кусов: предлагаем открытое сотрудничество - ГТРК Алания15 октября в Северной Осетии начался новый телевизионный сезон. Стартом можно считать премьеру короткометражного художественного фильма «Коста» (автор сценария и режиссер Мурат Джусойты).
18.10.2017 ГТРК Алания
Почти 90% предвыборных денежных пожертвований в пользу политических партий приходятся на долю "Грузинской мечты", следует из отчета аудиторов.
18.10.2017 Кавказский Узел
Обвинительное заключение, врученное туристу из Перми Юрию Малыгину, не подписано и не имеет юридической силы, заявил в суде его адвокат.
19.10.2017 Кавказский Узел
Размер ущерба, который волгоградский журналист Александр Батманов нанес магазину при краже колбасы, не доказан и всего на 300 рублей превышает сумму, предполагающую административное наказание, заявила защита.
17.10.2017 Кавказский Узел
Защита обвиняемых по делу о создании ячейки "Исламского государства"* в Карачаево-Черкесии потребовала проверить фигурирующие в деле автоматы, заявив о подброшенном оружии.
18.10.2017 Кавказский Узел
На «Верхнем Ларсе» задержана вербовщица в ИГИЛ - Газета Слово
На «Верхнем Ларсе» задержана вербовщица в ИГИЛ
Силовики Северной Осетии в пассажиропотоке пункта пропуска Верхний Ларс выявили иностранку, причастную к деятельности международных террористических организаций, об этом сообщает пресс-служба погрануправления ФСБ.
Газета Слово
Житель Ольгинского до смерти избил знакомого и бросил в овраг
Житель Ольгинского избил до смерти своего знакомого из Брута и бросил в овраг.
Газета Слово
МВД опровергло информацию о минировании шести объектов города - Газета Слово
МВД опровергло информацию о минировании шести объектов города
Сотрудники правоохранительных органов не нашли опасных предметов в шести объектах Владикавказа, которые были оцеплены после анонимных звонков о минировании, сообщает пресс-служба МВД республики.
Газета Слово
Более 200 сотрудников волгоградской филармонии уволены в ходе инициированной властями реорганизации, заявили попавшие под сокращение артисты.
19.10.2017 Кавказский Узел
ключ - Министерство культурыI Международный эстрадно-джазовый конкурс-фестиваль детей и юношества «Drive KIDS in MUSIK» ПОЛОЖЕНИЕ I Международного ЭСТРАДНО-ДЖАЗОВОГО КОНКУРСА — ФЕСТИВАЛЯ ДЕТЕЙ И ЮНОШЕСТВА «Drive KIDS in MUSIK» 03.
17.10.2017 Министерство культуры
В Алагирском районе возродили советскую традицию - Газета СловоДоска почета с фотографиями тружеников Алагирского района впервые создана в республике со времен Советского Союза, об этом сообщает ТАСС со ссылкой на Аслана Бекоева,
18.10.2017 Газета Слово
Мединский считает необходимым передачу Северо-Кавказской киностудии Осетии - Газета Слово
Мединский считает необходимым передачу Северо-Кавказской киностудии Осетии
  Министр культуры РФ Владимир Мединский выступил за передачу Северо-Кавказской киностудии Северной Осетии, сообщает ТАСС.
Газета Слово
Мединский считает необходимым передачу Северо-Кавказскую киностудию Осетии
  Министр культуры РФ Владимир Мединский выступил за передачу Северо-Кавказской киностудии и Северной Осетии, сообщает ТАСС.
Газета Слово
Документальный спектакль о подростках поставят во Владикавказе
  Драматурги Самары и Северной Осетии вместе с психологами поставят документальный спектакль о подростках, премьера которого состоится в ноябре этого года,
Газета Слово
Карелин исполнил мечту осетинского участника фестиваля молодежи в Сочи - Газета СловоТрехкратный олимпийский чемпион по греко-римской борьбе и депутат госдумы Александр Карелин исполнил мечту участника  Всемирного фестиваля молодежи и студентов в Сочи, представляющего Северную Осетию Георгия Акоева.
17.10.2017 Газета Слово
Участники «ВФМС-2017» из Северной Осетии одержали первые победы - ГТРК АланияВ рамках Всемирного фестиваля молодежи и студентов, который проходит в эти дни в Сочи, работает большое количество площадок, на которых участники могут проявить свои способности и получить призы.
18.10.2017 ГТРК Алания
С 25 мая по 25 июля 2018 года акции, не связанные с чемпионатом мира по футболу, могут проводится только на одной площадке и не должны превышать 150 человек, проинформировала мэрия Волгограда.
18.10.2017 Кавказский Узел
Эдгар Запашный сыграл с осетинами в мини-футбол против команды из Африки - Газета Слово
Эдгар Запашный сыграл с осетинами в мини-футбол против команды из Африки
На Всемирном фестивале молодежи и студентов в Сочи прошел дружеский матч по мини-футболу между командами Африки и Осетии, за которую также сыграли известный дрессировщик Эдгар Запашный и ребята из Ставропольского края.
Газета Слово
Эксперты прогнозируют напряжённый бой Гассиева с Влодарчиком
Президент компании "Урал Бокс Промоушен" Евгений Вайнштейн дал комментарий к предстоящему бою между чемпионом мира IBF в полутяжёлом весе Муратом Гассиевым и экс-чемпионом WBC Кшиштофом Влодарчиком.
Газета Слово
Во Владикавказе стартовал VII фестиваль «Мирный Кавказ» - Газета Слово
Во Владикавказе стартовал VII фестиваль «Мирный Кавказ»
Открытый всероссийский культурно-спортивный фестиваль «Мирный Кавказ» собрал команды Северо-Кавказского Федерального округа,  среди которых определятся лучшие спортсмены в 10 видах.
Газета Слово
Комиссия по сохранению и развитию осетинского языка начала работу в новом составе - Глава РеспубликиСегодня состоялось первое заседание обновленного состава комиссии по сохранению и развитию осетинского языка при Главе РСО-Алания.
19.10.2017 Глава Республики
В соответствии с Федеральным законом от 27 июля 2004 года № 79-ФЗ «О государственной гражданской службе РФ» следственное управление Следственного комитета РФ по Республике Северная Осетия-Алания (далее – следственное упр
18.10.2017 Следственный комитет
С 20.09.2017 г. по 09.10.2017 г. в отношении ОАО "Зарамагские ГЭС" было проведено внеплановое систематическое наблюдение ,в результате проведения наблюдения ,выявлено следующее нарушение:
18.10.2017 Роскомнадзор
ПРАВИТЕЛЬСТВЕННАЯ ДЕЛЕГАЦИЯ ПОСЕТИЛА СТРОЯЩИЙСЯ ВО ВЛАДИКАВКАЗЕ ГИПЕРМАРКЕТ «МЕТРО КЭШ ЭНД КЕРРИ» - Министерство экономического развитияТорговые площади объекта, находящегося на завершающей стадии строительства, сегодня осмотрели Председатель Правительства Северной Осетии Таймураз Тускаев и Министр экономического развития республики Казбек Томаев .
18.10.2017 Министерство экономического развития
«МЕДИАЛОГИЯ»: БОРИС АЛБЕГОВ НА ВЕДУЩИХ ПОЗИЦИЯХ МЕДИАРЕЙТИНГА ПЕРВЫХ ЛИЦ СТОЛИЦ СУБЪЕКТОВ СКФО. - Администрация г. ВладикавказКомпания «Медиалогия» - разработчик  автоматической системы мониторинга и анализа СМИ в режиме реального времени опубликовала рейтинг руководителей столиц за сентябрь 2017 года.
18.10.2017 Администрация г. Владикавказ