распознавание состояния человека по термограммам

Для функционирования сайта могут собираться метаданные (сcookie, IP-адрес, местоположение). Если Вы не хотите, чтобы эти данные обрабатывались, то покиньте сайт.

Технология идентификации состояния человека по термограммам лица и шеи

Дистанционное измерение температуры кожных покровов субъектов дает возможность бесконтактной оценки состояния человека.

О технологии и методах

Предлагаемое решение позволяет распознать психофизиологическое состояние человека, а также наличие острой фазы респираторного заболевания дистанционно с помощью тепловизора и комплекса разработанных программных модулей.
Предложен высокоэффективный нейро-Байесовский алгоритм непрерывной идентификации состояний субъектов в реальном времени, основанный на ансамбле сверточных нейронных сетей, предварительно обученных нами на выборке термограмм лица и шеи множества испытуемых. Разработана модель изменения термограмм субъектов в зависимости от их состояния и метод извлечения информативных признаков, характеризующих следующие состояния:

3 стадии алкогольного опьянение;
физическую усталость;
стресс;
сонливость;
наличие острой формы респираторного заболевания.

Новости проекта

20/01/2021

Омские СМИ: ученые создали технологию дистанционной идентификации личности

С помощью тепловизора и комплекса программ, разработанных с использованием AIConstructor, можно будет определить, в каком состоянии находится человек, а именно: сонливость, стресс, физическая усталость, наличие острой формы респираторного заболевания и три стадии алкогольного опьянения. Руководитель проекта Самал Жумажанова рассказала о разработке и о том, почему её заинтересовали биометрические технологии:
https://omskgazzeta.ru/rubrika/sotsium/omskie-uche...
https://bk55.ru/news/article/179391/?utm_source=yx...
https://omsk.mk.ru/science/2021/01/15/uchenye-omsk...
https://news.myseldon.com/ru/news/index/243835210
https://omskzdes.ru/society/73317.html
https://omgtu.ru/l/?eid=62195

Основные публикации

по тематике "Распознавание психофизиологического состояния по термограммам лица и шеи"

Biometric Authentication Using Face Thermal Images Based on Neural

автоматическое машинное обучение, глубокие сверточные сети, неглубокие нейронные сети, нечеткий экстрактор, защита биометрических шаблонов, информационная безопасность
https://ieeexplore.ieee.org/document/10217752

Sulavko, A., Panfilova, I., Samotuga, A., Zhumazanova, S. Biometric Authentication Using Face Thermal Images Based on Neural // 1st International Conference of Intelligent Methods, Systems and Applications, IMSA 2023, 2023, pp. 80–85

Предложен метод биометрической аутентификации на основе термограммы лица испытуемого. Этот метод позволяет связать биометрическое изображение человека с криптографическим ключом или паролем, а также защитить биометрическое изображение и ключ (пароль) от компрометации при хранении и передаче по каналам связи. Такой эффект был достигнут за счет использования нечеткого нейронного экстрактора, обученного по стандарту ГОСТ Р 52633.5. Решение также использует глубокую сверточную нейронную сеть для распознавания лиц и сеть Inception-Resnet для извлечения признаков. RetinaFace, ResNet50 и VGG-Face были протестированы в качестве альтернатив этим моделям нейронных сетей. Наилучший достигнутый результат составил EER = 4,91.

Statistical approach for subject's state identification by face and neck thermograms with small training sample

искусственный интеллект, машинное обучение, распознавание образов, оценка психофизиологического состояния человека, анализ биомедицинских сигналов
ознакомиться с работой на reader.elsevier.com

Zumazhanova, S.S., Sulavko, A.E., Ponomarev, D.B., Pasenchuk, V.A. Statistical approach for subject's state identification by face and neck thermograms with small training sample // IFAC-PapersOnLine. - Vol. 52. - Issue 25 (2019) 46–51

Существующие методы идентификации психофизиологических состояний человека либо являются контактными, либо не допускают проведения теста без активного участия испытуемого в этой процедуре. Использование тепловизионных систем имеет ряд преимуществ: отсутствие физического контакта с системой и тот факт, что температура является надежным показателем здоровья. В работе предлагается новое пространство признаков, состоящее из 465 параметров, разделенных на статические (вычисляемые в каждом кадре) и динамические (вычисляемые из соотношения соседних кадров). Дана оценка информативности полученных признаков для распознавания психофизиологического состояния. Были протестированы несколько классификаторов: нейронная сеть персептронного типа, сеть квадратичных форм, а также классификатор, основанный на модифицированной формуле гипотез Байеса, который показал наилучший результат.

Оптимизация искусственных нейронных сетей в задачах обработки графической информации для идентификации психофизиологических состояний субъекта

ИК-термография, термоизображения, психофизиологическое состояние, пространство признаков, формула гипотез Байеса, сверточные нейронные сети
ознакомиться с работой на researchgate.net

Жумажанова С.С., Сулавко А.Е., Ложников П.С. Оптимизация искусственных нейронных сетей в задачах обработки графической информации для идентификации психофизиологических состояний субъекта // Вопросы защиты информации. – 2020. - №3. – С. 40-47.

Использование дистанционных технологий идентификации психофизиологических состояний (ПФС) субъекта необходимо. Применение таких систем имеет ряд преимуществ, связанных с возможностью осуществления скрытого контроля, с отсутствием физического контакта человека с системой и т. д. В связи с распространением коронавирусной инфекции COVID-19 индустрия безопасности находится в поиске способов использования имеющихся решений, в частности на базе тепловизионных ка-мер, для их интеграции в системы массового скрининга субъектов. Это сделало очевидным тот факт, что тепловидение является альтернативным инструментом в борьбе с распространением эпидемии. Современные системы оценки ПФС человека имеют либо недостаточный функционал, связанный с ограниченным кругом идентифицируемых состояний, либо недостаточную точность идентификации состояний. Комплексирование различных методов обработки и преобразования цифровых изображений (термограмм), а также методов принятия решений на базе статистических и нейросетевых алго-ритмов может решить указанную проблему. В настоящей работе приведены результаты исследований по идентификации нескольких психофизиологических состояний с использованием методов и алгоритмов обработки цифровых изображений и нейросетевого алгоритма принятия решений на базе комитета обученных сверточных нейронных сетей.

On the effect of the shape of a flaw on its detectability against noise background

случайные поля, дефектоскопия, человеческое зрение, компьютерное зрение, надежность обнаружения, системы сопоставления возможностей
ознакомиться с работой на researchgate.net

Epifantsev B.N., Zhumazhanova S.S. On the effect of the shape of a flaw on its detectability against noise background // Russian Journal of Nondestructive Testing. 2017. Т. 53. № 1. P. 62-70

Стремление к повышению обнаруживаемости незначительных отклонений выходных параметров от нормативных при переходе на системы автоматического тестирования качества продукции требует решения ряда новых задач. Одним из них является оценка влияния спектральной плотности энергии изображения от осесимметричного дефекта на надежность его обнаружения на фоне фонового шума системами как человеческого, так и компьютерного зрения. Знание этой информации - необходимое условие для разработки новых усовершенствованных методов тестирования и оценки. Представлены результаты вероятностей ложной тревоги и правильного обнаружения осесимметричных круглых или прямоугольных дефектов в зависимости от отношения сигнал/шум и отношения радиуса дефекта к радиусу корреляции фоновых флуктуаций. Установлено, что при низком соотношении сигнал/шум человеческое зрение более эффективно, чем машинное зрение, реализующее алгоритм корреляционного детектора и критерий Неймана – Пирсона.

Informativeness Assessment of the Thermal Pattern Features of the Face and Neck Region in the Tasks of Recognition of the Subject’s Changed State

температурные параметры лица, термограммы, алкогольное опьянение, психофизиологическое состояние, асимметрия лица, информативность признаков
ознакомиться с работой на researchgate.net

Zhumazhanova S.S., Pasenchuk V.A., Lukin D.V., Vishnyakov D.D., Belgorodtsev A.A. Informativeness assessment of the thermal pattern features of the face and neck region in the tasks of recognition of the subjects changed state // В сборнике: International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices, EDM. 2019. С. 97-101

Диагностика функционального состояния субъекта-оператора обычно основывается на результатах измерения психофизиологической информации. Инфракрасное излучение (ИК) от различных участков тела человека напрямую зависит от их кровенаполнения. Фундаментальной проблемой при принятии решения о субъекте в измененном психофизиологическом состоянии является определение пространства идентифицирующих признаков. Данная статья посвящена оценке информативности идентификационных признаков, полученных по термограммам двадцати шести анатомических областей лица и шеи субъекта-оператора в одном из четырех психофизиологических состояний. На основании результатов вычислительных экспериментов сделаны выводы о перспективности использования определенных алгоритмов принятия решений для заданного пространства признаков.

Анализ термограмм лица и шеи для распознавания состояния сонливости пользователей на основе классификатора Байеса

ИК-ТЕРМОГРАФИЯ, ТЕРМОИЗОБРАЖЕНИЯ, ПСИХОФИЗИОЛОГИЧЕСКОЕ СОСТОЯНИЕ, СОНЛИВОСТЬ, ПРОСТРАНСТВО ПРИЗНАКОВ, ФОРМУЛА ГИПОТЕЗ БАЙЕСА
https://elibrary.ru/item.asp?id=43024523

Жумажанова С.С., Сулавко А.Е., Лукин Д.В. Анализ термограмм лица и шеи для распознавания состояния сонливости пользователей на основе классификатора Байеса // Вопросы защиты информации. – 2020. - №2. – С. 24-30

Приведены результаты исследований по идентификации с помощью методов термографии в совокупности с методами распознавания образов и искусственного интеллекта состояния сонливости пользователей. Проведен анализ разработанного пространства признаков и алгоритмов принятия решений на базе последовательного применения формулы гипотез Байеса.

About the possibilities of subjects changed state identification on face thermograms after exposure of different external stimuli: analysis of identification feature space and key tasks determination

Zhumazhanova S.S. About the possibilities of subjects changed state identification on face thermograms after exposure of different external stimuli: analysis of identification feature space and key tasks determination // В сборнике: Актуальные проблемы электронного приборостроения АПЭП-2018. Proceedings XIV International scientifictecnical conference. 2018. P. 121-129

Представлены результаты аналитического исследования современного состояния в области дистанционного распознавания состояния субъектов. Перспективным инструментом в этом случае является тепловизор, который уже представлен в медицинских приложениях. Были предоставлены полевые и вычислительные эксперименты для сбора и анализа термограмм испытуемых до и после воздействия внешних раздражителей (изображения с неприятным содержанием, шум, небольшая доза алкоголя). Сделаны выводы о возможности идентификации измененного состояния даже при незначительном воздействии на субъект. Для решения этой задачи предлагается новое пространство идентификационных признаков термограмм человека. Определены новые задачи для будущей работы.

Human psychophysiological state recognition based on analysis of thermograms of face and neck regions

температурные параметры лица, термограммы, метод последовательного применения формулы гипотез Байеса, асимметрия лица, температура сонной артерии
ознакомиться с работой на semanticscholar.org

Sulavko A.E., Zhumazhanova S.S. Human psychophysiological state recognition based on analysis of thermograms of face and neck regions // 2017 Dynamics of Systems, Mechanisms and Machines, Dynamics 2017. - 14-16 November, 2017, Omsk, Russia.

Предложена методика вычисления признаков на термограммах лица и шеи, характеризующих субъектов и их следующие психофизиологические состояния: нормальное (спокойное), сонное и состояние алкогольного опьянения. Предложен метод субъект-зависимого распознавания данных состояний (с необходимостью создания эталонов состояний каждого человека) с количеством ошибок 1,5 % и субъект-независимого распознавания состояний (создавать эталоны не требуется) с количеством ошибок 24,2 %.

The Problem of Biometric Identification of a Subject and Subject's Changed State: Perspectives of New Features Application in Analysis of Face and Neck Thermograms

распознавание образов, биометрическая идентификация, определение варианта состояния пользователя, ключ шифрования, тепловизионные изображения лица
ознакомиться с работой на semanticscholar.org

Zhumazhanova S.S. The problem of biometric identification of a subject and subjects changed state: perspectives of new features application in analysis of face and neck thermograms // В сборнике: International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices, EDM. EDM 2018 - Proceedings. 2018. P. 110-113

Приведен анализ современного состояния в области биометрической идентификации субъектов. Рассмотрены основные методы биометрической идентификации, процесс формирования пространства признаков, используемых в дальнейшем для принятия решения о доступе субъекта к ресурсам системы, а также новые подходы к использованию биометрических изображений для защиты данных в электронных документах. Обсуждается новая проблема идентификации измененного состояния объекта и перспективы использования тепловых изображений субъектов для определения измененного состояния.