行业解决方案 > 科研实验室建设

多模态数据融合采集分析平台

多模态数据融合采集分析平台

核心价值与优势

多维度数据支撑

利用不同数据模态的信息互补特性,提升数据分析的准确性和有效性,为分析用户真实的心理状态和行为意图提供多维度的数据支撑。

拓展研究方法思路

在传统实验室科研仪器的基础上,接入多种非侵入、便携、可穿戴设备,并支持自有设备、任务的定制化接入,极大拓展了高生态效度、自然情景下的研究方法与思路。

闭环方案技术路线

以多种情绪和心理状态的识别、分析、反馈为目标,从诱发任务场景、采集与同步设备、数据预处理工具、先验特征体系等多个维度,打造闭环的研究方法与技术路线。

刺激呈现系统

刺激呈现系统功能包含不同类型的刺激素材,可以呈现音视频内容,进行特定情绪状态的诱发。也可以呈现研究认知加工过程的典型认知任务,或者使用电刺激,研究刺激条件对生理数据的影响。以及搭载有沉浸式高强度的 VR 任务,可以深度诱发应激、恐惧等心理状态。

01

音视频情绪诱发模块

模块内置适用于中国社会和文化背景、标准化的情绪视频材料库,涵盖4类消极情绪(悲伤、愤怒、恐惧、厌恶)、4大类(16小类)积极情绪(乐趣类、共情类、创造类、价值类)和中性情绪,共计56段视频片段。支持用户观影后对目标情绪诱发效果的主观评定,以及开始、结束播放等关键事件的自动标记。

02

认知任务模块

模块内置60+心理学经典的认知实验范式,涵盖感知觉、注意、记忆、逻辑思维、执行功能、决策、眼手协调、空间运动、运动控制等多个维度认知能力的测量与评估。每个任务按键响应时间精度高,支持刺激呈现、按键反应等关键事件在生理数据上的自动标记,以及正确率、反应时等指标的自动计算。

03

VR任务模块

模块内置高空、密闭狭小空间、溺水逃生等虚拟现实场景及任务,可用于诱发焦虑、恐惧、高唤醒等情绪状态及急性心理应激反应,诱发效果好,持续时间长,信效度高。VR场景及任务可与打点标记功能联动,在关键任务场景下自动发送事件标记,便于后续与多种生理和行为数据的融合分析。

04

电刺激模块

模块支持8通道,最多4人同步进行电剌激。每个通道可独立设置不同参数独立触发,也支持多通道同时触发。调节参数多样,支持在较大范围和精度内进行参设置,如波形(恒流/方波)、强度(0-100mA)、频率(1-1000Hz)、脉宽(0-10ms)、占空比以及刺激序列等。刺激与事件标记功能联动,发送刺激的同时,可向多种生理和行为数据发送事件标记。

数据同步系统

自研多模态数据采集处理单元,采用Zynq+多通道数据采集方案,设计多模态数据同步接收模块。FPGA里包含完整的ARM处理子系统(PS),四核Cortex-A53处理器或双核Cortex-A53加双核Cortex-R5处理器,整个处理器的搭建都以处理器为中心,集成内存控制器和大量的外设,使处理器核在Zynq中完全独立于可编程逻辑单元。

  • 重量<80g,尺寸:9cm*7cm*2.5cm
  • 支持电生理信号的预处理,具有视音频流数据的解码功能,时间同步延迟<10ms
  • 支持NPU算力>1T,并可支持推理模型部署
  • 工作温度区间0℃~65℃

多模态数据融合采集系统

在【音视频播放】、【认知任务】、【VR任务】过程中,实现脑电、眼动轨迹、脉搏波、皮肤电阻、面部表情等多种神经、生理和行为数据的同步采集。任务过程中的关键事件(如开始/停止播放视频、刺激呈现、用户反馈)会同步标记在多模态数据中。

01

脑电采集模块

可以连接Neuroscan Grael、Ant Neuro eego、Neusen等便携式脑电采集设备。支持8/16/32/64通道(最高可达256通道)的脑电信号,以及多通道EMG/EKG/EOG等生理信号的同步采集。

02

眼动采集模块

可以连接Tobii Pro Glasses/Spectrum 眼动仪和SMI眼动仪,支持基于固定屏幕和真实刺激物的眼动追踪研究,以及在移动场景或真实情境下的非侵入式眼动追踪研究。

03

心电采集模块

可以连接Polar H10心率带和贴片式动态心电记录仪。Polar H10采用胸带式设计,可实现实时心率、最高和平均心率的动态监测,采样率最高可达1000Hz。动态心电记录仪采用柔性贴片式设计,可实现实时心电监测和异常心率报警提示。

04

脉搏波采集模块

可以连接ErgoSensing腕式光电容积传感器。采用1个绿色LED,1个红色/红外LED,以及3个光电二极管,实现0-2080641范围内脉搏波的采集,采样率最高可达100Hz。

05

皮肤电阻采集模块

可以连接Shimmer GSR+无线皮电传感器,或者ErgoSensing腕式皮电传感器。Shimmer GSR+无线皮电传感器通过贴在手指上的两个电极片测量指尖的皮肤电阻,测量范围覆盖 1.5uS~45uS(+/- 3%)。ErgoSensing 采用腕式可穿戴设计,通过手腕处两个电极片测量皮肤电阻,测量范围 0.01uS~100uS (+/- 10%)。

06

运动采集模块

可以连接ErgoSensing腕式加速度传感器和陀螺仪传感器。加速度传感器可实现±2g~±16g范围内三轴重力加速度的同步采集,陀螺仪传感器可实现±250 ~ ±2000 dps范围内三轴角速度的同步采集。

07

视频采集模块

可以连接多种网络摄像头,实现不低于400万像素,主码流帧率分辨率50Hz:25fps(2560*1440,1920*1080,1280*720)的视频采集,视频压缩标准H.265/H.264,视频压缩码率32Kbps~8Mbps。

数据综合管理系统

系统支持公网环境使用,也可在局域网单独部署。在音视频播放、认知、VR、电刺激等任务过程中,支持脑电、脉搏波、皮肤电阻、面部表情等多种情绪变化敏感的神经生理和行为数据的同步采集。任务过程中的关键事件点会同步标记在多模态数据文件中。支持用户管理,不同实验员拥有独立账户,保证数据隔离。查看账户内的所有设备信息,支持数据云存储与下载。

实验维护

支持实验名称、事件标记点名称编辑

数据监控

支持采集设备的采集状态、电量、信号强度等基础监控及所采数据的实时监控

数据上传

支持设备原始数据上传

远程同步采集

支持远程多台设备数据同步采集与事件标记

用户管理

不同实验员拥有独立账户,保证数据隔离

设备管理

支持账户设备信息查看

数据存储

支持上传并云存储原始数据

数据下载

支持原始、打点数据下载

数据分析系统

支持多种神经生理电信号、视音频数据的预处理和特征提取,针对情绪和心理状态构建具有先验知识的多模态指标体系。

01

脑电分析模块

模块内置滤波降噪、重采样、去眼电、重参考和定位等预处理算法,能够进行事件相关电位(ERP)分析和频谱能量(ERSP)分析,并支持脑电多频段(Delta、Theta、Alpha、Beta、Gamma)的能量值提取与分析。

02

眼动分析模块

模块支持实验后自定义兴趣区,并在兴趣区内提取首视时间、注视点次数、注视点百分比、平均驻留时间等指标,以及根据上面的指标生成多人扫视轨迹和热区图。

03

心电分析模块

模块支持滤波降噪和特征提取功能,可以通过自定义窗长、步长,提取 HRV 相关的时频域特征。关键特征行带有打点事件标记,可以筛选特定条件下的特征数据进行显著性分析。

04

脉搏波分析模块

模块支持滤波降噪和特征提取功能,可以通过自定义窗长、步长,提取 HRV 相关的时频域特征。特征提取前经过严格的滤波降噪,并带有信号质量判断和打点事件标记,用以过滤符合要求的数据,进行后续统计分析。

05

皮肤电阻分析模块

模块支持通过自定义窗长、步长,提取 GSR 的皮肤电导水平(SCL)和皮肤电导反应(SCR),并基于这两个核心指标构建丰富的描述统计指标(均值、标准差、最大值、最小值等)。

06

运动分析模块

模块支持基于三轴运动加速度、三轴运动角速度进行能量消耗、行为姿态、运动步数的识别与计算。

07

面部表情识别模块

模块支持面部 68 个特征点的识别与定位,基于关键识别点计算眼睛纵横比、瞳孔圆度、嘴巴纵横比,以及眨眼频率、闭眼时间、打哈欠次数等指标。

应用方向

  • 眼动追踪

    实验室

  • 行为观察

    实验室

  • 心理学

    实验室

  • 情绪分析

    实验室

  • 心理行为同步

    实验室

  • 心理学虚拟仿真

    实验室

  • 消费行为

    实验室

  • 消费行为与神经营销学

    实验室

  • 人因工程研究

    实验室

  • 人机功效

    实验室

  • 安全人机工程

    实验室

  • 行为安全

    实验室

  • 人机交互设计

    实验室

  • 驾驶行为研究

    实验室

  • 环境行为

    实验室

  • 环境人因

    实验室

  • 神经传播

    实验室

  • 运动员竞技效能增强

    实验室

  • 互动课堂

    实验室

  • + 更多领域...

案例介绍

1 急性心理应激适应性训练与训练效果评估研究

  • 本研究通过虚拟现实技术,搭建能够有效诱发个体高应激反应的VR场景,研究个体在应激适应训练期间的生理心理反应。
  • 研究者邀请44名健康的男性大学生与12名男性飞行学员,要求他们佩戴VR装置,在虚拟高空场景中完成多个工作记忆任务。使用手环记录其实时心率,并收集唾液皮质醇和主观体验报告(压力水平、积极/消极情绪),以评估应激对其执行功能的影响。
  • 结果表明,本研究创建的方法可有效诱发两组参与者的急性应激反应,适应性训练可显著降低应激对工作记忆绩效的影响。
Reference

汪杼彬. (2020). 一种基于高空虚拟现实的应激诱发新范式——有效性研究及其对工作记忆的影响,中国科学院大学,硕士论文.

2 基于可穿戴生理数据识别多种积极情绪

  • 本研究提出了一种基于可穿戴手环的积极情绪识别模型。
  • 以中科院心理所建立的积极情绪视频材料库为实验素材,诱发共情、创造、乐趣和价值4类积极情绪。研究者招募了144名大学生,6人一组进行群体观影实验,同时佩戴手环记录观影过程中的脉搏、皮肤电阻等多种生理和行为数据。
  • 研究者从脉搏和皮肤电阻信号中提取了 80 多个具有心理学先验知识的时频域特征,并输入到支持向量机、随机森林、深度置信网络、长短时记忆网络等模型中进行四分类学习,取得了较好的识别结果。
Reference

Zhang, Y., Zhao, G.*, Ge, Y., Shu, Y., Zhang, D., Liu, Y. & Sun, X. (2021). CPED: A Chinese Positive Emotion Database for Emotion Elicitation and Analysis. IEEE Transactions on Affective Computing, 10.1109/TAFFC.2021.3088523.

3 基于生理信号的多模态融合技术识别飞行过程的行为状态

  • 本研究以飞行模拟器为任务场景,探索基于多源生理数据构建多模态融合模型,用来识别飞行员飞行过程的行为状态,并进一步探讨生理指标与飞行员行为状态、飞行难度之间的关系。
  • 研究要求飞行学员在飞行模拟器上进行各种试飞任务,包括起飞、平飞、悬停转弯、翻滚和翻跟头五种任务,操作过程中还会出现失速的情况。任务过程中全程采集心电、脉搏波、皮肤电、肌电、皮温和呼吸等生理数据。飞行结束后,会让每位学员对飞行任务进行1到10点难度评分,获取主观评分数据。
  • 研究结果发现,生理指标会受到飞行员在不同飞行任务中的行为状态和飞行难度的影响,多个生理指标均与飞行难度存在线性关系。同时研究构建的多模态融合技术模型,可以用来识别飞行员不同阶段的行为状态,准确率达98.15%。
Reference

Li, Y., Li, K., Wang, S., Chen, X., & Wen, D. (2022). Pilot behavior recognition based on multi-modality fusion technology using physiological characteristics. Biosensors, 12(6), 404.

4 基于脑电和电刺激的情感同步研究

  • 研究招募64名女大学生(年龄范围=18-24 岁),随机分为32组,每组2名成员彼此不认识。
  • 成对的两个参与者(随机标记为 S1 和 S2)到达实验室后进行简短的认识。在实验过程中,他们并排坐在一张桌子旁,中间用一块木板隔开。显示器键盘用于呈现刺激并接收响应。两个都参与者将环形电极连接到左手无名指上手,通过它传递疼痛的电刺激。对于疼痛分担任务的每次试验,S1 或 S2 将接受 HP 或LP刺激。每次疼痛刺激,两名参与者都被要求区分无论谁接受了刺激,都会将刺激视为 HP 或LP。完成痛苦分担任务后,参与者的亲社会性(有意帮助他们的倾向)合作伙伴)进行单独评估。
  • 研究表明分享痛苦的经历通过记录在感觉运动皮层上的神经元α振荡的脑对脑同步触发成对个体之间的情感共鸣,这种情绪共振进一步加强了社会纽带并激发了成对个体内的亲社会行为。
Reference

B W P A , C W L , A X H ,et al.Suffer together, bond together: brain-to-brain synchronization and mutual affective empathy when sharing painful experiences[J].NeuroImage, 2021.DOI:10.1016/j.neuroimage.2021.118249.

联系我们

联系我们

您可以通过以下方式联系我们

  • phone 电话: 010-84249496
  • email 电子邮件: zkxy@zkpsych.com
  • wechat 联系我们:
联系我们
回到顶部

回到顶部

close

您可以通过以下方式联系我们

联系我们