Лаборатория речевых и многомодальных интерфейсов

Области исследований лаборатории

Исследование и разработка методов естественного взаимодействия человека с компьютером. Автоматическое аудиовизуальное распознавание и понимание спонтанной речи. Многомодальные интерфейсы. Интеллектуальные пространства и умные комнаты. Биометрические системы безопасности. Ассистивные технологии и
системы информационной поддержки людей с ограниченными возможностями. Распределённые вычислительные системы и суперкомпьютеры с динамической архитектурой (РВСДА, СКДА), архитектура и схемотехнические решения в СКДА, автоматизация распараллеливания вычислений, применение процессоров с динамической архитектурой (ПДА) в логистике и цифровой обработке сигналов. Супервизорное управление роботами, автоматизация  исследования мехатронных и робототехнических систем, виртуальная и дополненная реальность. Шарнирные механизмы, геометрические модели и алгоритмы, комбинаторная геометрия, геометрия многогранников. Методы и алгоритмы решения задач искусственного интеллекта на основе языка исчисления предикатов.

Данные о лаборатории

Общая численность

7 сотрудников

Заведующий лабораторией

д.т.н. Карпов Алексей Анатольевич

Научные интересы

Разработки и исследования в области автоматического распознавания и понимания речи, аудиовизуальной обработки речи (анализ и синтез), многомодальные человеко-машинные интерфейсы, ассистивные информационные

Телефон:

Web

Научные сотрудники и краткое наименование направления работ

С.н.с., к.т.н.

Кипяткова Ирина Сергеевна

Научные интересы

методы фонетико- языкового моделирования в системах автоматического распознавания русской речи,

С.н.с., к.т.н.

Будков Виктор Юрьевич

Научные интересы

Методы и модели аудиовизуальной обработки сигналов в веб-системах сопровождения распределенных совещаний,

С.н.с., к.т.н.

Ронжин Александр Леонидович

Научные интересы

Методы и программные средства автоматизации аудиовизуального мониторинга участников мероприятий в интеллектуальном зале,

М.н.с.

Верходанова Василиса Олеговна

Научные интересы

изучение паралингвистических явлений в спонтанной речи и разработка вероятностных моделей речевых сбоев,

М.н.с.

Савельев Антон Игоревич

Научные интересы

разработка кроссплатформенных программных средств и мобильных сервисов поддержки проведения телеконференций

Программист

Денисов Александр Вадимович

Научные интересы

Разработка мобильного приложения, определяющего местоположение пользователя на основе сканирования меток QR-кода

Гранты и проекты

ФИО руководителя

Карпов А.А.

Название фонда

РФФИ

Номер проекта

№ 12-08-01265-а

Название проекта

«Разработка и исследование автоматической системы преобразования русской речи в текст со сверхбольшим словарем».

Сроки выполнения

2012-2014

ФИО руководителя

Ронжин А.Л.

Название фонда

РФФИ

Номер проекта

№ 13-08-00741-а

Название проекта

«Разработка методов и кроссплатформенных программных средств аудиовизуального сопровождения мобильных мероприятий»,

Сроки выполнения

2013-2015.

ФИО руководителя

Кипяткова И.С.

Название фонда

РФФИ

Номер проекта

№ 12-08-01261-а

Название проекта

«Разработка методов естественного взаимодействия с мобильным информационным роботом»

Сроки выполнения

2012-2014.

ФИО руководителя

Карпов А.А.

Название фонда

РФФИ

Номер проекта

№ 14-07-06012-г

Название проекта

«Проект организации 4-го международного семинара по речевым технологиям для малоресурсных языков SLTU-2014»,

Сроки выполнения

2014.

ФИО руководителя

Александров В.В.

Название фонда

ОНИТ РАН

Номер проекта

№ 4.1

Название проекта

«Разработка методологии комплексного мониторинга инфокоммуникационных ресурсов в распределенных сложноорганизованных системах»,

Сроки выполнения

2012- 2014.

ФИО руководителя

Смирнов А.В.

Название фонда

РГНФ

Номер проекта

№ 12-04-12062-в

Название проекта

«Разработка открытого электронного словаря русского языка с аудиофайлами и транскрипциями слов»,

Сроки выполнения

2012-2014.

ФИО руководителя

Ронжин Ал.Л.

Название фонда

Стипендия Президента РФ

Номер проекта

№ СП-1805.2013.5

Название проекта

«Разработка математического и программного обеспечения информационной поддержки участников мероприятий в интеллектуальном зале на основе обработки аудиовизуальных данных»,

Сроки выполнения

2013-2014.

Учебные курсы

ВУЗ

СПбГУАП

Базовая кафедра

Названия курсов (ФИО лектора)

Нейронные сети и экспертные системы; Методы искусственного интеллекта; Управление роботами и мехатронными системами (Ронжин А.Л.).

ВУЗ

СПбГУ

Базовая кафедра

Названия курсов (ФИО лектора)

«Математическая логика», «Введение в искусственный интеллект», «Логико-предметный подход к решению задач искусственного интеллекта», «Алгоритмы и анализ сложности» (Косовская Т.М.); «Комбинаторная геометрия», «Комбинаторика многогранников» (Панина Г.Ю.); «Основы управления роботами и мехатронными системами» (Кулаков Ф.М.).

ВУЗ

Физматклуб при ПОМИ

Базовая кафедра

Названия курсов (ФИО лектора)

«Теория Морса», «Геометрия и комбинаторика» (Панина Г.Ю.).

ВУЗ

Летняя школа «Современная математика», Дубна

Базовая кафедра

Названия курсов (ФИО лектора)

«Торические многообразия» (Панина Г.Ю.)

ВУЗ

СПбГМТУ

Базовая кафедра

Названия курсов (ФИО лектора)

«Математическая логика», «Теория алгоритмов», «Искусственный интеллект», «Дискретная математика» (Косовская Т.М.).

Участие в конференциях

Описание конференции

«16-я международная конференция «Речь и Компьютер» SPECOM’2014, 5-9 октября 2014 г., Нови Сад, Сербия

Докладчики

Ронжин А.Л., Кипяткова И.С., Верходанова В.О., Карпов А.А. (соорганизация конференции);

Описание конференции

«4-й международный семинар по речевым технологиям для малоресурсных языков SLTU-2014, 14-16 мая 2014 г., Санкт-Петербург

Докладчики

Карпов А.А., Кипяткова И.С., Ронжин Ал.Л., Ронжин А.Л. (организация конференции);

Описание конференции

«Конференция «Информационные технологии в управлении» (ИТУ– 2014), 7–9 октября 2014 г., Санкт-Петербург

Докладчики

Ронжин Ал.Л., Ватаманюк И.В., Косовская Т.М.

Описание конференции

«Международная конференция «Конфигурационные пространства шарнирных механизмов», Институт Математики Америки, октябрь 2014, США

Докладчики

Панина Г.Ю.

Описание конференции

«Международная конференция «Геометрия, топология и интегрируемые системы», Сколково, октябрь 2014

Докладчики

Панина Г.Ю.

Описание конференции

«Экстремальная робототехника. Центральный научно- исследовательский и опытно-конструкторский институт робототехники и технической кибернетики (Санкт-Петербург) 2014. 1-2 октября 2014 г.

Докладчики

Кулаков Ф.М., Чернакова С.Э.

Описание конференции

«15-я международная конференция INTERSPEECH-2014, Сингапур, 14-18 сентября 2014 г.

Докладчики

Карпов А.А.

Описание конференции

«7-я Международная конференция Smart Spaces (ruSMART’14) в рамках 14-й международной конференции Next Generation Wired/Wireless Advanced Networking NEW2AN 2014, 27 – 29 августа 2014, Санкт-Петербург

Докладчики

Ронжин Ал.Л., Ватаманюк И.В., Савельев А.И.

Описание конференции

«17-я международная конференция по информатике. 30 июня – 14 июля, 2014. Варна, Болгария

Докладчики

Косовская Т.М.

Описание конференции

«Международная конференция «Психология труда, инженерная психология и эргономика», 2-5 июля 2014, Санкт-Петербург

Докладчики

Кулаков Ф.М., Чернакова С.Э.

Описание конференции

«16-я международная конференция по человеко-машинному взаимодействию (HCI International), 22-27 июня 2014 г, Крит, Греция

Докладчики

Карпов А.А.

Описание конференции

««XII Всероссийское совещание по проблемам управления ВСПУ- 2014», Институт проблем управления им. В.А. Трапезникова РАН. 16-19 июня 2014, Москва

Докладчики

Кулаков Ф.М., Чернакова С.Э.

Описание конференции

«7-я международная конференция "Просодия речи" Speech Prosody 2014, 20-23 мая 2014 г, Дублин, Ирландия

Докладчики

Верходанова В.О.

Описание конференции

«Всероссийская научная конференция по проблемам информатики СПИСОК-2014, 23 – 25 апреля 2014, Санкт-Петербург

Докладчики

Косовская Т.М

Описание конференции

«Международная конференция "Polynomial computer algebra", ин-т Эйлера, 14-19 апреля 2014, Санкт-Петербург

Докладчики

Панина Г.Ю

Описание конференции

«Научная сессия ГУАП «Завалишинские чтения'2014», 12 апреля 2014, Санкт-Петербург, Россия

Докладчики

Ватаманюк И.В

Описание конференции

«Научная сессия отделения нанотехнологий и информационных технологий РАН, посвященная 30-летию создания отделения, 15 января 2014, Москва

Докладчики

Ронжин Ан.Л., Ронжин Ал.Л

Описание конференции

«Военно-промышленная конференция «Перспективы развития роботизированных комплексов и комплексов с беспилотными летательными аппаратами», 17-19 сентября 2014, Красноармейск

Докладчики

Ронжин Ан.Л., Ронжин Ал.Л

Список публикаций и монографий

Статьи, опубликованные в изданиях, индексируемых в WoS, Scopus

1. Karpov A., Markov K., Kipyatkova I., Vazhenina D., Ronzhin A. Large vocabulary Russian speech recognition using syntactico-statistical language modeling // Speech Communication. Elsevier. 2014, vol. 56, pp. 213-228. (WoS импакт-фактор JCR: 1.548; SCOPUS SNIP: 2.248). 
2. Besacier L., Barnard E., Karpov A., Schultz T. Automatic speech recognition for under-resourced languages: A survey // Speech Communication. Elsevier. 2014, vol. 56, pp. 85-100. (WoS импакт- фактор JCR: 1.548; SCOPUS SNIP: 2.248). 
3. Besacier L., Barnard E., Karpov A., Schultz T. Introduction to the special issue on processing under-resourced languages // Speech Communication. Elsevier. 2014, vol. 56, January, pp. 83-84. (WoS импакт-фактор JCR: 1.548; SCOPUS SNIP: 2.248). 
4. Karpov A.A. An Automatic Multimodal Speech Recognition System with  Audio and Video Information // Automation and Remote Control. 2014, vol. 75, no. 12, pp. 2190-2200. (WoS импакт-фактор JCR: 0.265;
SCOPUS SNIP: 0.972).
5. Martinez-Maure Y., Panina G. Singularities of virtual polytopes // Journal of Geometry, 2014, vol. 105, issue 2, pp 343-357. (SCOPUS импакт- фактор SNIP: 0.892). 
6. Khimshiashvili G., Panina G., Siersma D. Coulomb control of polygonal linkage // Journal of Dynamical and Control systems. vol. 20, issue 4, 2014. pp. 491—501. (SCOPUS импакт-фактор SNIP: 0.577). 
7. Vatamaniuk I., Ronzhin An., Ronzhin Al. Blur Estimation Methods  for System of Audiovisual Monitoring of Meeting Participants // Springer International Publishing Switzerland. A. Ronzhin et al. (Eds.): SPECOM  2014, LNAI 8773, 2014, pp. 145–152.
8. Ronzhin Al., Vatamaniuk I., Ronzhin An., and Zelezny M. Algorithms for Acceleration of Image Processing at Automatic Registration of Meeting  Participants // Springer International Publishing Switzerland. A. Ronzhin et al. (Eds.): SPECOM 2014, LNAI 8773, 2014, pp. 89–96.
9. Prischepa M., Budkov V. Structural Model and Behavior Scenarios of Information Navigation Mobile Robot // Springer International Publishing Switzerland. A. Ronzhin et al. (Eds.): SPECOM 2014, LNAI 8773, 2014, pp. 444–451.
10. Kipyatkova I., Karpov A. Study of Morphological Factors of Factored Language Models for Russian ASR // Springer International Publishing Switzerland. A. Ronzhin et al. (Eds.): SPECOM 2014, LNAI 8773, 2014, pp. 451–458. 
11. Karpov A., Kipyatkova I., Zelezný M. A Framework for Recording Audio- Visual Speech Corpora with a Microphone and a High-Speed Camera // Springer International Publishing Switzerland. A. Ronzhin et al. (Eds.): SPECOM 2014, LNAI 8773, 2014, pp. 50–57.
12. Verkhodanova V., Shapranov V. Filled Pauses and Lengthenings  Detection Based on the Acoustic Features for the Spontaneous Russian Speech // Springer International Publishing Switzerland. A. Ronzhin et al. (Eds.): SPECOM 2014, LNAI 8773, 2014, pp. 227–234. 
13. Karpov A., Ronzhin A. A Universal Assistive Technology with Multimodal Input and Multimedia Output Interfaces. C. Stephanidis, M. Antona (Eds.): UAHCI/HCII 2014, Part I, Springer LNCS 8513, Heraklion, Greece, 2014, pp. 369-378. 
14. Verkhodanova V., Shapranov V. Automatic Detection of Filled Pauses and Lengthenings in the Spontaneous Russian Speech // In Proc. Speech Prosody 7, Dublin, Ireland, 2014, pp.1110-1114. 
15. Ronzhin Al. Application of Face Recognition Methods for Process Automation in Intelligent Meeting Room // S. Balandin et al. (Eds.): NEW2AN/ruSMART 2014, LNCS 8638, pp. 156–163, 2014. 
16. Saveliev A.I., Vatamaniuk I.V., Ronzhin An.L. Architecture of data exchange with minimal client-server interaction at multipoint video  conferencing // S. Balandin et al. (Eds.): NEW2AN/ruSMART 2014, LNCS 8638, pp. 164–176, 2014.
17. Vatamaniuk I.V., Ronzhin Al.L., Saveliev A.I., Ronzhin An.L. Elimination of distorted images using the blur estimation at the automatic registration of meeting participants // S. Balandin et al. (Eds.): NEW2AN/ruSMART 2014, LNCS 8638, pp. 133–143, 2014. 
18. Karpov A., Akarun L., Yalçın H., Ronzhin Al., Demiröz B., Çoban A., Zelezny M. Audio-Visual Signal Processing in a Multimodal Assisted Living Environment. In Proc. 15th International Conference INTERSPEECH-2014, Singapore, 2014, pp. 1023-1027. 

Статьи, опубликованные в отечественных изданиях, индексируемых в РИНЦ

19. Чубраева Л.И., Ронжин А.Л., Шишлаков А.В., Ронжин Ал.Л.,  Шишлаков В.Ф. Концепция построения интеллектуальных защищенных систем управления для объектов децентрализованной  энергетики // Труды СПИИРАН. 2014. Вып. 33. С. 207-226. (ВАК; РИНЦ импакт-фактор 0,319).
20. Крючков Б.И., Карпов А.А., Усов В.М. Перспективные подходы к применению сервисных роботов в области пилотируемой космонавтики // Труды СПИИРАН. 2014. Вып. 32. С. 125-151. (ВАК; РИНЦ импакт-фактор 0,319).
21. Ватаманюк И.В., Ронжин А. Л. Применение методов оценивания  размытости цифровых изображений в задаче аудиовизуального  мониторинга // Информационно-управляющие системы, № 4. СПб.: ГУАП, 2014, С. 16-23. (ВАК; РИНЦ импакт-фактор 0,100). 
22. Савельев А.И., Прищепа М.В. Архитектура обмена данными без потерь в пиринговом веб-приложении видеоконференц-связи // Доклады Томского государственного университета систем управления и радиоэлектроники, № 2 (32), 2014, С. 238-245. (ВАК; РИНЦ импакт-фактор 0,123).
23. Ронжин Ал.Л. Применение метода автоматической регистрации участников мероприятий в интеллектуальном зале // Информационно-измерительные и управляющие системы, № 6,  2014. С. 32-39. (ВАК; РИНЦ импакт-фактор 0,181).
24. Карпов А.А. Реализация автоматической системы многомодального распознавания речи по аудио- и видеоинформации // Автоматика и 
Телемеханика. Т. 75, № 12, 2014, С. 125-138. (ВАК; РИНЦ импакт- фактор 0,610).
25. Карпов А.А., Железны М. Двуязычная многомодальная система для аудиовизуального синтеза речи и жестового языка по тексту // Научно-технический вестник информационных технологий, механики и оптики. СПб: ИТМО, № 5, 2014, С. 92-98. (ВАК; РИНЦ импакт-фактор 0,113).
26. Будков В. Ю., Ронжин А. Л. Информационная модель сопровождения распределенных мероприятий в интеллектуальном зале совещаний // Изв. Вузов. Приборостроение. 2014. Т. 57, № 11, С. 19-25. (ВАК; РИНЦ импакт-фактор 0,200).
27. Будков В.Ю., Прищепа М.В., Ронжин АЛ.Л., Савельев А.И. Архитектура и программные средства системы сопровождения распределенных мероприятий // Научный вестник НГТУ. 2014.  № 3(56). С. 96-107. (ВАК; РИНЦ импакт-фактор 0,123).
28. Кулаков Ф.М., Шмыров А.С., Шиманчук Д.В. Управление космическим роботом с использованием неустойчивой точки либрации // Мехатроника, Автоматизация, Управление. 2014. №7. С. 23-28. (ВАК; РИНЦ импакт-фактор 0,278). 
29. Косовский Н.К., Косовская Т.М. Принадлежность классу P задачи проверки выполнимости пропозициональной формулы с заданным 
значением её скобочной характеристики // Вестник Санкт- Петербургского университета. Серия 1: Математика, Механика, Астрономия. Т. 1 (59), вып. 2, 2014. С. 192-195. (ВАК; РИНЦ импакт- фактор 0,144).
30. Косовский Н.К., Косовская Т.М. Полная алгоритмическая доопределимость любых алгоритмов, работающих на ограниченной
памяти // Вестник Санкт-Петербургского университета, серия 1: Математика, Механика, Астрономия. Т. 1 (59), вып. 3, 2014. С. 368-
376. (ВАК; РИНЦ импакт-фактор 0,144). 
31. Косовская Т.М. Подход к решению задачи построения  многоуровневого описания классов на языке исчисления предикатов // Труды СПИИРАН. 2014. № 3(34). С. 204-217. (ВАК; РИНЦ импакт-фактор 0,319). 
32. Петухова Н.Д., Косовская Т.М. Решение задач логико-предметного распознавания образов с использованием тактик обратного метода Маслова // Компьютерные инструменты в образовании. № 3, 2014.  С. 16-27. (ВАК; РИНЦ импакт-фактор 0,104). 
33. Кулаков Ф.М., Чернакова С.Э., Крючков Б.И., Усов В.М. Построение «тренажера-интерфейса» как способ планирования
телеуправления манипуляционным роботом // Сборник «XII  Всероссийское совещание по проблемам управления ВСПУ-2014», Институт проблем управления им. В.А. Трапезникова РАН. 2014. С. 3991-3997.
34. Кулаков Ф.М., Шмыров А.С., Шиманчук Д.В. Методы управления движением космического робота в окрестности точек либрации // Сборник «XII Всероссийское совещание по проблемам управления  ВСПУ-2014», Институт проблем управления им. В.А. Трапезникова РАН. 2014. С. 3792-3801.
35. Кулаков Ф.М., Алферов Г.В., Шарлай А.С. Кинематические модели  манипуляционных роботов // Потенциал современной науки. 2014. №2. С. 37-41.
36. Крючков Б.И., Кулаков Ф.М., Карпов А.А., Нечаев А.И., Усов В.М., Чернакова С.Э. Включение робота-ассистента в совместную с космонавтами деятельность методом «обучения показом  движения» // Робототехника и техническая кибернетика. СПб: ЦНИИРТК, № 2(3), 2014, С. 29-32.
37. Тимофеев А.В., Юсупов Р.М. Интеллектуализация процессов управления и навигации робототехнических систем // Робототехника и техническая кибернетика. 2014. № 2 (3). С. 19-22. 
38. Ронжин Ал.Л., Будков В.Ю. Применение методов распознавания лиц при проведении регистрации участников мероприятий в зале совещаний // Материалы конференции «Информационные технологии в управлении» (ИТУ-2014). Спб.: ОАО «Концерн «ЦНИИ «Электроприбор», 2014. С. 697-700.
39. Зибарев А.В., Ронжин А.Л. Разработка алгоритма и программных средств анализа изображения лица для определения основных
типов эмоций человека // Материалы конференции «Информационные технологии в управлении» (ИТУ-2014). Спб.: ОАО «Концерн «ЦНИИ «Электроприбор», 2014. С. 682-685.
40. Ватаманюк И.В. Оценивание размытости изображений на предварительном этапе анализа цифровых фотографий // Материалы конференции «Информационные технологии в управлении» (ИТУ-2014). Спб.: ОАО «Концерн «ЦНИИ «Электроприбор», 2014. С. 671-675.
41. Косовская Т.М. Выделение общих черт объектов в интеллектуальных системах // Материалы конференции «Информационные технологии в управлении» (ИТУ-2014). Спб.: ОАО «Концерн «ЦНИИ «Электроприбор», 2014. С. 87-92. 

Другие публикации

42. Kipyatkova I., Verkhodanova V., Karpov A. Rescoring N-Best Lists for Russian Speech Recognition using Factored Language Models // In Proc. 4th International Workshop on Spoken Language Technologies for  Under-resourced Languages SLTU-2014, St. Petersburg, Russia, 2014, pp. 81-86.
43. Ronzhin Al.L. Algorithms for automation of meeting participant registration and audiovisual recording in intelligent room // In Proceedings of the International Conference UkrObraz'2014. 2014. pp. 27-30.
44. Saveliev A.I. Architecture of audio-visual data exchange at multipoint video conferencing // In Proceedings of the International Conference 
UkrObraz'2014. 2014. pp. 35-38.
45. Крючков Б.И., Кулаков Ф.М., Карпов А.А., Нечаев А.И., Усов В.М., Чернакова С.Э. Включение робота-ассистента в совместную с космонавтами деятельность методом «обучения показом движений» // Труды 25-й международной научно-технической конференции «ЭКСТРЕМАЛЬНАЯ РОБОТОТЕХНИКА (ЭР-2014)», Санкт-Петербург: Изд-во "Политехника-сервис", 2014, C. 51-54.
46. Юсупов Р.М., Тимофеев А.В. Интеллектуализация процессов управления и навигации робототехнических систем // Труды 25-й международной научно-технической конференции «ЭКСТРЕМАЛЬНАЯ РОБОТОТЕХНИКА (ЭР-2014)», Санкт- Петербург: Изд-во "Политехника-сервис", 2014, C. 16-21.
47. Кулаков Ф.М., Чернакова С.Э. Инженерно-психологические аспекты построения «тренажера-интерфейса» для дистанционного управления манипуляционным роботом // Международная конференция «Психология труда, инженерная психология и эргономика», Санкт-Петербург, 2014.
48. Kosovskaya T. Construction of Class Level Description for Efficient Recognition of a Complex Object // International Journal «Information Content and Processing», vol. 1, no 1. 2014. pp. 92–99. 
49. Тимофеев А.В., Путин Е.О. Классификатор для статического обнаружения компьютерных вирусов, основанный на машинном обучении //  International Journal Information Technologies & Knowledge. 2014. vol. 8. C. 103-112.
50. Косовская Т.М. Модель формирования логико-предикатной нейронной сети // Материалы Всероссийской научной конференции по
проблемам информатики СПИСОК-2014. СПб: ВВМ, 2014. С. 44-47.
51. Косовская Т.М. Понятие неполной выводимости предикатной формулы и его применеия к решению задач искусственного интеллекта // Материалы Всероссийской научной конференции по проблемам информатики СПИСОК-2014. СПб: ВВМ, 2014. С. 105-109. 
52. Тимофеев А.В., Путин Е.О. Классификатор для статистического обнаружения компьютерных вирусов, основанный на машинном
обучении // Материалы Всероссийской научной конференции по проблемам информатики СПИСОК-2014. СПб: ВВМ, 2014. С. 341–353.
53. Бакурадзе А.М. Принципы мультифрактального проектирования глобальных сетей нового поколения // Материалы Всероссийской
научной конференции по проблемам информатики СПИСОК-2014. СПб: ВВМ, 2014. С. 358–363.