多模态手环与计算套件

一款用于群体情绪状态监测与分析的科研产品

多模态数据特征指标丰富
群体同步采集高生态效度
先验知识丰富适合纵向追踪研究

产品介绍

支持多种生理信号和行为数据的同步采集，支持自动、手动标记实验过程中的特定事件。

实验结束后数据将自动同步到云端，科研人员可下载原始数据和特征数据，并进行情绪状态、心理压力、疲劳水平、工作负荷等心理状态的分析与评估。

数据信噪比（SNR）高，与多个标准科研设备（Biopac, Polar, Shimmer）进行过对比，一致性达0.95 以上。

产品优势

结合超扫描技术（Hyper-Scanning），支持同时记录参与同一认知活动的多人外周生理活动，分析生理活动同步及其与行为指标间的关系及其机制

结合经验取样法或生态瞬时评估法（ESM/EMA），支持开展各类纵向数据、移动式数据收集和研究，数据采集成本低，评估客观、高效，研究结果具有更高生态效度

提供丰富的具有先验知识的特征指标的计算，支持原始数据和特征数据的下载，支持原始数据和特征数据的接口开发

集成一体化设计、体积小巧、方便携带，适用于缺网、缺电、高噪等极端作业环境下使用

产品构成

“多模态人因感知终端” 支持脉搏、皮肤电阻、皮肤温度、运动加速度、角速度等生理和行为数据，以及环境数据的采集，并将数据传输到“边缘计算终端”

“边缘计算终端” 实时接收“多模态人因感知终端”的原始数据，实时对数据进行预处理与特征计算，并将原始数据与计算后的特征数据传输至“科研云平台”

“实验操作端” 实时监控“边缘计算终端”的设备电量与网络连接状态，支持实验过程中关键事件的同步标记，并将标记数据传输至“科研云平台”

科研人员登录“科研云平台”下载原始数据，特征数据与事件标记，或提交定制化数据分析需求，对原始数据进行定制化数据处理与特征提取分析

软件构成

多模态数据采集助手

设备绑定：对边缘计算终端与多模态人因感知终端进行绑定
设备状态：记录人因感知终端的连接状态、采集时长、蓝牙信号强度
数据监控：针对脉搏、皮肤电阻、运动加速度、皮温等数据的实时监控
数据分析：可实时对多种生理和行为数据进行预处理与特征计算

经验采样

支持问卷自动推送和采集

支持录音、视频的采集

支持手机使用情况的采集

支持定时采集闹钟设定

支持日常生活事件的设置及主动标记

实验操作端

实验控制：支持采集设备的结束控制
设备监控：实时查看设备电量、采集状态、采集时长的监控
场景维护：支持实验场景的维护，可修改实验名称及事件标记名称
主动事件标记：实验过程中支持对设备进行主动标记，以及标记点的查看与编辑
自动事件标记：提供 Python 、Matlab、Eprime 程序的API 接口

科研云平台

默认公网环境使用

移动数据工作站-支持局域网本地部署

用户验证：不同实验员拥有独立账户，保证数据隔离
设备查看：支持管理员名下设备的查看
数据下载：支持多种生理和行为原始数据的批量下载
特征分析：支持不少于80种对情绪状态敏感的先验特征的计算和批量下载
自动事件标记：提供 Python 、Matlab、Eprime 程序的API 接口

可定制项：支持外接设备采集的脑电、眼动轨迹、外周生理数据的批量下载，支持经验采样APP采集的问卷、录音、手机使用数据的批量下载

科研智能云监控平台

设备监控：设备电量、连接状态、采集时长、蓝牙信号强度
原始数据：脉搏波、皮肤电阻、加速度、角速度等
先验特征：心率、心率变异性、皮肤电导水平、电导反应、生命体征等
事件标记：事件标记类型、标记时间

硬件构成

多模态人因数据感知终端PTES100

边缘计算终端 PTEC100

实验操作端 PTEM100

人因感知与计算装备保障箱

多模态人因数据感知终端PTES100

基本参数

手环尺寸

终端：48.5 × 36.5 ×14 mm
腕带：25 ×260 mm
重量：约20 g

电池性能

实时传输模式 48 小时
一次充电时长 2 小时

传感器参数

脉搏波 PPG

采样频率 100Hz
1个绿色LED，1个红色/红外LED
3个光电二极管

皮肤电阻 EDA

采样频率 4Hz
交流激励源频率 24Hz
测量范围 0.01~100μS

皮肤温度

采样频率 1Hz
测量范围 0~50°C
测量精度 ±1°C

加速度 / 陀螺仪

采样频率 20Hz
XYZ 三轴加速度测量范围 ±2~±16g
XYZ 三轴角速度测量范围 ±250~±2000dps

多环境传感器

温度采样频率 1Hz，测量范围 -20~65℃
湿度采样频率 1Hz，测量范围 0~100％
气压采样频率 1Hz，测量范围 300~1100hPa

边缘计算终端PTEC100

基本参数

产品尺寸

118 × 59.5 × 22.5 mm

重量

198g

电池容量

3700 mAh

充电时长

3 小时

摄像头

前 500 万 | 后 1300 万

工作温度

-35℃ - 70℃

IP68三防认证

防水：1.5米防水30分钟
防尘：99%防尘
防摔：1.8米防摔

实验操作端PTEM100

基本参数

产品尺寸

258.4 × 163 × 7.5mm

屏幕尺寸

11英寸

重量

约490g

电池容量

7700 mAh

摄像头

前 800 万 | 后 1300 万

接口

Type C 2.0

系统内存

存储容量

128GB

人因感知与计算装备保障箱

基本参数

配置特性

说明及参数

材质

PP 材质

尺寸

485*374*175 mm

外观颜色

黑色

重量

6.5kg

箱体结构配件

铝板/ 3D 面板/螺丝等

是否防震抗压

电源规格

12V 10A 桌面电源

输入规格

平接口 GN-J4N

输出规格

5V 2.1A

电线长度

1.5m

产品清单

硬件清单

多模态人因数据感知终端 PTES100 ，数量：10 个

边缘计算终端PTEC100 ，数量：10 个

实验操作端PTEM100，数量：1个

人因感知与计算装备保障箱，数量：1 个

温度采样频率多模态人因数据感知终端 PTES100 ，数量：10 个

实验操作端PTEM100，数量：1个

边缘计算终端PTEC100 ，数量：10 个

人因感知与计算装备保障箱，数量：1 个

软件清单

多模态手环采集助手

多模态手环与计算套件系统（系统账号及一年数据计算服务）

实验操作端

多模态手环采集助手

实验操作端

多模态手环与计算套件系统（系统账号及一年数据计算服务）

配件清单

多模态人因数据感知终端 PTES100 腕带，数量：10 个

多模态人因数据感知终端 PTES100 充电座，数量：1 个

人因感知与计算装备保障箱电源线，数量：1 个

多模态人因数据感知终端 PTES100 重置顶针，数量：1 个

实验操作端PTEM100充电线，数量：1个

多模态手环与计算套件（多人版）产品说明书，数量：1份

多模态人因数据感知终端 PTES100 腕带，数量 10 个

多模态人因数据感知终端 PTES100 重置顶针，数量：1 个

多模态人因数据感知终端 PTES100 充电座，数量：1 个

人因感知与计算装备保障箱电源线，数量：1 个

多模态手环与计算套件（多人版）产品说明书，数量：1份

数据增值服务

先验特征计算

我们提供丰富的具有先验知识的特征指标的计算，支持原始数据和特征数据下载，可直接进行结果统计。

先验特征计算:支持心率、心率变异性(如时域SDNN、RMSSD、高低和低频功率谱HF/LF)、皮肤电导水平(SCL)、皮肤电导反应(SCR)等80+先验特征的计算和下载

Reference

Zhang, Y., Zhao, G.*, Ge, Y., Shu, Y., Zhang, D., Liu, Y. & Sun, X. (2021). CPED: A Chinese Positive Emotion Database for Emotion Elicitation and Analysis. IEEE Transactions on Affective Computing, 20, 1-14.
Mandryk, R. L., Inkpen, K. M., & Calvert, T. W. (2006). Using psychophysiological techniques to measure user experience with entertainment technologies. Behaviour & Information Technology, 25(2), 141–158.
Memar, M., & Mokaribolhassan, A. (2021). Stress level classification using statistical analysis of skin conductance signal while driving. SN Applied Sciences, 3(1).
Behrens, F., Snijdewint, J. A., Moulder, R. G., Prochazkova, E., Sjak-Shie, E. E., Boker, S. M., & Kret, M. E. (2020). Physiological synchrony is associated with cooperative success in real-life interactions. Scientific Reports, 10(1), 1-9.
Zhang, Y., Qin, F., Liu, B., Qi, X., Zhao, Y., & Zhang, D. (2018). Wearable neurophysiological recordings in middle-school classroom correlate with students’ academic performance. Frontiers in human neuroscience, 12, 457.

数据计算自定义

支持自定义窗长、步长进行特征数据计算

二次定制开发

原始数据接口：脉搏、皮肤电阻、加速度、角速度、温度、湿度、大气压等原始数据的实时对接

特征数据接口：80+先验特征的实时对接

事件打点接口：通过外部程序以时间戳为标记点对采集的原始数据进行事件标记

接口调用支持语言：C、Java、Python、Matlab、 PHP、C#

应用方向

互动课堂

研究

环境与建筑

研究

精神与躯体障碍

研究

驾驶安全

研究

体育运动与康复

研究

军事训练与评估

研究

用户体验

研究

社会互动

研究

案例介绍

高生态效度 —— 贴合自然场景，数据采集成本低，评估客观高效，研究结果具有更高生态效度。

群体共享情绪识别研究

本研究采用超扫描技术，以中科院心理所建立的标准华语情绪电影库为实验素材，诱发4种特定的情绪状态。研究者招募了 144 名大学生被试，6 人一组进行群体观影实验，同时佩戴手环记录 6 人的生理、行为和环境数据。

研究人员从脉搏和皮肤电阻信号中提取了 80 多个具有心理学先验知识的时频域特征，并输入到支持向量机、随机森林、深度置信网络、长短时记忆网络等模型中进行四分类学习。

Reference

Zhang, Y., Zhao, G.*, Ge, Y., Shu, Y., Zhang, D., Liu, Y. & Sun, X. (2021). CPED: A Chinese Positive Emotion Database for Emotion Elicitation and Analysis. IEEE Transactions on Affective Computing, 20, 1-14.

玩电脑游戏时的用户情感体验研究

本研究以男性大学生为研究群体，要求他们在电脑上玩“五子棋”游戏时全程佩戴手环，记录他们的生理数据；用户在游戏过程中的主观感受（如无聊、有趣、兴奋）在游戏结束后进行反馈。

研究结果发现，用户在朋友一起游戏时的皮肤电导反应（SCR）明显高于与电脑对打时的皮肤电导反应，且自我报告在朋友对打时觉得更加有趣和兴奋。相关分析的结果也发现，皮肤电导反应与自我报告的有趣程度正相关，与挫折感负相关。

Reference

Mandryk, R. L., Inkpen, K. M., & Calvert, T. W. (2006). Using psychophysiological techniques to measure user experience with entertainment technologies. Behaviour & Information Technology, 25(2), 141–158.

皮肤电信号预测合作行为研究

本研究让两个被试在电脑上完成“囚徒困境”的实验范式，同步记录两个人的心率、皮肤电阻、眼动轨迹、肌电等生理和行为数据。实验条件分为能看到彼此和看不到彼此两个条件，通过该实验研究合作过程中的生理变化情况。

研究发现，在被试能看到彼此的条件下，心率和皮肤电导水平（SCL）开始变得同步，且这种正向的同步联系会变得更强。SCL能够预测两人的成功合作行为。

Reference

Behrens, F., Snijdewint, J. A., Moulder, R. G., Prochazkova, E., Sjak-Shie, E. E., Boker, S. M., & Kret, M. E. (2020). Physiological synchrony is associated with cooperative success in real-life interactions. Scientific Reports, 10(1), 1-9.

基于HR和EDA信号预测学生学业成绩研究

本研究使用可穿戴设备，记录学生在真实语文和数学课堂中的皮肤电阻和心率数据，探讨这些生理数据与学生学业成绩的关系。

本研究共招募了 100 名七年级的学生，连续记录了他们在10 天语文和数学课堂中的生理数据。

研究结果发现，学生课堂过程中的皮肤电导水平（SCL）和皮肤电导反应（SCR）与其学业成绩存在显著的相关。

Reference

Zhang, Y., Qin, F., Liu, B., Qi, X., Zhao, Y., & Zhang, D. (2018). Wearable neurophysiological recordings in middle-school classroom correlate with students’ academic performance. Frontiers in human neuroscience, 12, 457.

中科院心理所2021年启动抑郁症长期追踪项目“心花计划”

国内首个针对抑郁症的追踪研究，项目周期10年，涵盖抑郁症患者和亚临床抑郁状态两个群体。

旨在采用脑影像、可穿戴设备等多种研究手段，建立抑郁症精准诊断和分型的客观标记，探索基于中国文化的新型心理干预技术，并发展药物之外的无创神经调控新疗法。

采用经验采样法，通过可穿戴手环记录脉搏、皮肤电阻、皮肤温度、运动加速度、角速度、睡眠质量等数据，以及通过手机APP采集语音、自陈问卷、手机使用情况等多种数据。

Reference

更多项目介绍和进展，详见：http://ibcdr.psych.ac.cn/MindFlower已通过中国临床试验注册，注册号：ChiCTR2200060396

驾驶过程中驾驶员心理压力识别研究

本实验采用了 MIT-BIH 数据集。该数据集通过可穿戴设备收集了多个驾驶员在实际驾驶过程中的皮肤电阻、心率等生理数据。

研究人员对皮肤电阻数据进行了预处理、特征提取等一系列规范化处理后，对结果进行了统计检验。研究结果发现，驾驶员在驾驶过程中的压力水平可分成三个等级，各个压力等级之间存在显著差异。

Reference

Memar, M., & Mokaribolhassan, A. (2021). Stress level classification using statistical analysis of skin conductance signal while driving. SN Applied Sciences, 3(1).

基于PPG和EDA信号进行晕动症的筛查研究

前庭功能检查是飞行员招飞选拔中的一项重要检测科目。在该检测科目中，研究人员让学员佩戴腕式手环，采集前庭功能检测过程中的脉搏和皮肤电阻数据。

检测前采集 3min 静息态，坐上旋转转椅 90s，结束后再次采集3min 静息态数据。

研究结果发现，皮肤电阻数据的部分特征能有效反映晕动症的程度，并显著预测学员的飞行成绩。皮肤电阻数据与Graybiel 量表得分相关性很高。

通过生理反应同步表现评估师生情绪一致性

本研究以真实的课堂为场景，探索了依据生理指标评估人际情绪一致性的新方式。

课前，研究人员为教师与学生佩戴便携式手环，用于收集他们在上课过程中的脉搏和皮肤电阻数据；采用“跟读”范式，教师在课堂上朗诵诗歌，每读完一句，学生们模仿教师的情感进行跟读；课后，请师生对其主观情绪体验做出评价。

研究结果发现，师生之间的共同情绪，以及他们对彼此的情感感知，可以通过他们生理反应的同步性来体现。

Reference

Qi, H., W, Y., & Zhao, G. (under review). How dyadic emotional transmission shapes teacher-student relationship: effects of emotional convergence on cohesion in teacher-student interaction. Psychophysiology.

服务客户