见微知著：基于无线信号的微状态感知

中国计算机学会

摘要—本文聚焦“基于无线信号的微状态感知技术”，提出“微状态”感知的主要挑战与机遇，并且从“微状态”无线感知模型入手，剖析影响“微状态”感知性能的主要因素。在此基础上，介绍近年来作者团队在“微状态”感知方面的研究心得与进展。

谢 磊（南京大学）
王楚豫（南京大学）
宁静仪（南京大学）
关键词 ：无线感知 微状态感知

泛在无线感知

        当前，人类正在进入一个“人机物”三元融合的万物智能互联时代。因此，现有的信息化基础设施有必要为人机物融合场景提供“万物互联”和“泛在感知”的根本支撑。然而，传统意义上的通信与感知是完全独立和分离的两个功能，高度分离的通信与感知给当前基础设施在实施方案、成本控制等方面带来了极大的挑战。我们发现，无线信号作为一种高效的通信媒介，携带了信号传播路径中的环境信息，可以通过反射、折射、散射来探测周边环境的状态。因此，随着“通感一体化”技术理念的提出与发展，我们可以基于现有的通信基础设施，通过泛在无线感知技术，充分复用泛在无线信号，实现对感知对象的位置、轨迹、行为等状态的全面感知。

       在泛在无线感知技术中，无线射频信号不仅被用作无线通信的媒介，同时也成为无线感知的载体，承载了传输环境中各种对象的状态特征，可用于对目标状态的感知和识别。常见的无线感知的信号载体包括Wi-Fi、射频识别（RFID）、毫米波、超宽带无线通信（UWB）等，由于这些无线信号在载波频率、通信模式、调制方式等方面存在差异，它们对不同类型目标的感知效果也不同。例如，Wi-Fi感知采用厘米级波段的载波，通常能够穿墙感知，但是感知粒度较粗；毫米波感知载波波长为毫米级，衍射能力较弱，无法穿墙感知，但感知粒度相对更细；RFID感知可以利用RFID标签充分逼近感知目标，有效区分多个反向散射信号的来源，实现“可标记”的无线感知。因此，针对不同类型的感知对象以及不同的感知情境，无线感知技术总能够提供一种泛在、高效的感知方式，实现精确、实时、鲁棒的感知。

“微状态”感知

       近年来，随着无线感知的技术演进和应用发展，目标定位、轨迹追踪以及行为识别这些大幅度、粗粒度的感知机制已经难以满足日益增长的应用需求。我们发现，在研究者与实践者探索感知极限、拓展感知范畴的过程中，如何实现对目标的“微状态”感知，已经成为无线感知领域的关键热点问题。所谓“微状态”，是指只发生微小幅度变化的感知状态，通常包含幅度为厘米级甚至毫米级以下的状态变化，例如呼吸心跳（厘米级状态变化）、机械振动（毫米级状态变化）、声波振动（亚毫米级状态变化）等。如图1所示，相比于传统的状态感知，感知对象的微状态变化造成的信号特征变化十分微弱，极易受周围动态干扰影响，被环境噪声等湮没，使精确、细粒度的微状态感知成为一项艰巨的任务。

       基于无线信号的微状态感知主要存在以下三个方面的挑战：

       1.信号特征微弱不敏感。由于微状态的变化幅度通常在厘米级甚至毫米级以下，对于无线感知而言，其微状态变化只能产生微弱的信号变化，传统的无线信号特征如相位、幅度等对微状态变化并不敏感，极易被周围的环境噪声湮没。

       2.环境干扰影响不鲁棒。由于无线感知环境的开放性，除目标对象外，无线感知环境中其他对象的状态变化也往往会对无线信号特征产生显著的影响，导致微状态的感知特征极易被环境中其他大幅度状态变化造成的信号扰动影响，鲁棒性低。

       3.感知结果粗糙不精确。大多数微状态感知要求感知机制能够输出微状态的精确感知细节，如微状态的能量频谱随时间的变化。然而，由于感知渠道单一、感知媒介敏感度不足等原因，微状态感知结果的细节往往不够清晰，亟须进一步优化。

       上述挑战也为我们进一步探索和实现微状态感知提供了一些全新的机遇，例如，微状态的变化通常具有比较稳定的周期，这使我们可以将微状态感知从时域/空域转换到频域进行细粒度的信号处理，实现信号分离和干扰消除等操作。此外，我们还可以找到微状态变化的相对参照物，以便通过时间/空间维度差分的方式，更精确地提取微状态的变化特征。因此，我们可以分别从前端的信号处理和后端的感知优化两个阶段有效提升微状态感知的效果：在信号处理阶段，通过特征增强、干扰消除、信号分离等方式实现感知特征的“去伪存真”；在感知优化阶段，通过信道融合、谐波增强、多模态融合等方式实现感知推理的“由表及里”。

微状态无线感知模型

       在用无线信号对微状态进行感知的过程中，我们主要利用感知目标的反射信号变化进行特征分析和推理，从而实现微状态感知。根据发射天线与接收天线在物理空间上是否分离，我们可以将无线感知系统划分为收发分体与收发一体两种模式。如图2所示，对于收发分体模式，发射天线与接收天线在物理空间上相互分离：一方面，发射天线发出的信号通过直射路径到达接收天线；另一方面，发射天线信号也通过感知目标以及环境的反射到达接收天线，分别对应目标反射路径与环境反射路径。对于收发一体模式，发射天线与接收天线在物理空间上处于同一位置或较近的位置：一方面，一体化设计造成其直射路径的信号能量比收发分体模式的强很多，通常使用硬件负反馈的方式对直射信号进行滤除；另一方面，反射路径同样包括目标反射路径与环境反射路径，但其一体化设计保证了发射端与接收端的时钟同步，从而降低了其他干扰因素对反射路径产生的影响。

       在上述两种模式中，我们可以利用目标反射路径的信号变化进行微状态感知。然而，接收天线收到的信号是以上多条路径信号的矢量叠加。如何从混杂的接收信号中抽取目标反射路径对应的信号变化特征，并通过建模分析提取对应的微状态变化，成为一个关键问题。如图3所示，在复数平面上，接收信号可以表示为目标反射路径、环境反射路径以及直射路径三路信号的矢量叠加。微状态变化通常造成感知目标反射路径信号相位的微小变化，而幅度基本不变，因此在复数平面上形成圆弧状的信号旋转变化。但在叠加了更强的环境反射信号与直射信号之后，实际接收到的合成信号的相位变化十分微弱，通常难以直接捕捉。如图3所示，微状态特征的提取主要受到以下三类路径信号的影响：

       1.直射信号。直射信号是指从发射天线直接传输到达接收天线的信号。在固定的收发环境中，直射信号保持相对稳定状态。因此，对于接收信号而言，如果能从中消除直射信号，则一定程度上增强了目标反射信号对接收信号的影响，即增强了微状态感知的灵敏度。例如，对于收发一体模式，可以使用硬件负反馈的方式消除直射信号，或者利用基于雷达信号的处理方式消除短距离的直射信号，从而降低直射信号带来的影响。

       2.环境反射信号。环境反射信号是指环境中非感知目标反射的信号。在理想环境下，静态的环境反射信号与直射信号类似，可以表示为一个静态的信号矢量，因此，可以通过时序差分的方式消除直射信号和静态环境反射信号。但是，对于动态的环境反射信号，接收信号会同时受到环境反射信号和目标反射信号的影响而发生改变。因此，我们需要进一步根据信号变化的频域特征与空间特征，对环境反射信号进行分离。

       3.目标反射信号。目标反射信号是指感知目标反射的信号。受微状态变化带来的微小距离变化的影响，目标反射信号的相位会随之轻微变化，即体现为圆弧状的信号旋转。而由于感知目标与收发天线间的相对距离变化不大，其信号幅度基本不变，即体现为圆弧的半径不变。对于接收信号，我们希望尽可能消除其他信号（包括直射信号和环境反射信号）带来的影响，提升信号相位对微状态变化的灵敏度。

       如图3所示，接收信号事实上是上述三类信号的叠加，其中目标反射信号属于动态信号，而直射信号与环境反射信号的叠加属于静态信号。基于矢量的叠加原理，当动态信号与静态信号相互平行时，接收信号的相位变化更明显，幅度变化较微弱；而当动态信号与静态信号相互垂直时，接收信号的幅度变化更明显，相位变化较微弱。因此，我们可以根据敏感度情况对信号的叠加方式进行优化，增强对微状态的感知能力。基于上述理解，在微状态感知中，如何规划合适的直射路径、目标反射路径、环境反射路径，并结合信号叠加的关系加强接收信号对微状态变化的敏感度，提升感知信号信噪比，实现更细粒度的微状态感知，成为关键所在。

       因此，基于上述对微状态无线感知模型的理解，面向无线信号微状态感知的三个挑战性问题，我们认为，信号特征微弱不敏感的问题需要用特征增强的方法解决，环境干扰影响不鲁棒的问题需要用干扰消除的方法解决，感知结果粗糙不精确的问题需要用感知优化的方法解决。下文分别从特征增强、干扰消除以及感知优化三个角度出发，介绍近年来南京大学团队在微状态感知方面的研究心得与进展。

基于信号模型的微状态特征增强

       针对微状态感知中信号特征微弱、难以有效提取的挑战性问题，可以通过信号建模分析对微状态特征进行针对性地增强。其基本原理在于，感知目标的微状态变化本质上是使信号相位产生微小的周期性变化：一方面，虽然单个周期的微状态信号变化容易被其他环境干扰信号湮没，但是多个周期的微状态信号变化可以形成正向叠加，为特征增强提供支撑；另一方面，微状态造成的信号变化通常为相位变化，利用矢量消减方式消除接收信号的常量部分（如直射信号与静态环境反射信号），可以进一步放大微状态相关的相位变化。根据微状态特征的具体差异，我们可以从不同角度进行特征增强，例如，对于物理振动的频率感知，可以利用振动的周期性强化微弱振动对感知信号的微弱影响，而对于现有商用无线设备的采样率限制，可以使用压缩感知的方式对振动频率进行有效感知[1]；对于高频声音的感知，可以进一步使用软件无线电设备获取原始波形信号，通过更高频的谐波信号进一步放大相位变化，从而提高声音振动对目标反射信号的影响[2]。

       在微状态特征增强方面，笔者所在团队近年来也取得了一些突破。如图4所示，我们提出了TagBug技术，能够利用环境中的RFID标签对复杂的人声振动信号进行隔墙窃听[3]。具体来说，我们需要对扬声器发出的语音振动的微状态进行感知，其基本思路是基于扬声器声场造成的RFID标签本身或者周围环境物体的微振动，使用RFID标签捕获微振动产生的无线信号变化，从而对语音进行还原。但是，扬声器声场造成的微振动通常为亚毫米级，其信号变化十分微弱；此外，人声通常包含比较复杂的频段分布，振动能量分散，难以有效捕捉高频振动。为有效获取微弱的振动信号，我们提出了新型感知特征调制信号差（Modulated Signal Difference，MSD）提取方法。不同于直接提取接收信号的原始相位信息，我们在复数平面内分析信号调制方式，利用0-1比特的调制差分信号放大振动特征的相位变化，从而感知到亚毫米级的振动。如图4所示，通过调整相位变化对应的圆心位置，我们将相位变化从原始相位改变至增强相位位置，有效解决了振动特征微弱的问题。进一步地，为了解决与语音相关的高频能量十分微弱的问题，我们利用人声中高频与低频声音信号的谐波关系，使用基于卷积的条件生成对抗网络（CGAN）捕获低频语音特征与高频谐波特征之间的关联性，从而生成了全频段的人声语音特征。在真实的隔音室环境下，TagBug能够有效穿越隔音玻璃进行语音窃听，并实现了87.5%的语音识别准确率。

基于参考相消的环境干扰消除

       微状态通常仅能造成十分微弱的信号特征变化，在开放环境下，极易被环境中其他对象的状态变化干扰，从而影响感知精度。因此，除了对微状态信号本身进行特征增强之外，我们还需要消除环境中的干扰，从而相对增强微状态的特征。干扰消除方面的基本思想是针对感知目标的感知信道构造参考信道，利用参考信道感知干扰特征，并将干扰特征从感知信道中消除。例如，在基于UWB的呼吸/心跳感知场景中，为有效消除接收终端随机移动导致的信号干扰，Mobi2Sense[4]利用环境中的静态物体构造参考信道，对接收天线运动造成的信号变化进行估算，并在对用户呼吸/心跳等微状态感知的信道中，利用参考信道提供的信号变化消除天线运动造成的影响，实现动态场景下微状态的精确感知。为有效感知物体在三维空间的旋转角度，Tagyro[5]在感知目标上部署了三维标签阵列，通过将特定位置的标签信号相消，消除所有标签受到的来自环境的一致性干扰，同时利用旋转过程中获得的标签相位变化幅度，消除双标签之间的信号耦合干扰，从而构建三维空间相对角度模型，感知目标的旋转角度。

       在环境干扰消除方面，为实现智慧医疗场景中对输液状态的精准实时感知，笔者所在团队研发了DropMonitor系统[6]，能够利用RFID双标签对毫米级的输液液滴的滴速进行感知。在开放环境下，直接测量液滴下落对无线信号带来的波动是非常困难的。我们通过对比实验发现，相比液滴下落过程，液滴下落引起的液面振荡给无线信号带来的波动相对明显。因此，我们可以对液面振荡这一微状态进行感知。如图5所示，我们在滴管周围部署RFID标签，并有针对性地将标签天线部署至液面振荡位置，以增强信号特征。我们采用阅读器持续扫描RFID标签捕获液面周期性振荡给无线信号带来的规律性波动，进而统计信号变化的周期性，实现对输液滴速的感知。然而，面向无线感知的开放环境，病患人员的任何运动都会对RFID标签捕捉到的液面振荡微状态信号造成极大的干扰。为消除上述来自开放环境的干扰，我们提出了RFID双标签的感知方案。具体来说，除感知标签外，我们在滴管周围额外部署了一个参考标签。通过这种部署方式，感知标签和参考标签能够同时感知到来自环境的干扰，而仅有感知标签能够感知到液面振荡的微状态。通过双标签信号差分的方式，我们能够从感知标签信号中消除来自环境的干扰，实现感知信号的“去伪存真”。DropMonitor系统目前已在多家医院的病房和输液大厅开展了示范应用，实验结果表明，DropMonitor能够精准实时地感知输液滴速，平均误差在1%以下。

基于信道融合的微状态感知优化

       针对微状态感知，除了对感知信号进行特征增强以及干扰消除外，我们还可以利用多个感知信道的融合对微状态感知的结果进行优化，提升感知精度。由于微状态的变化对无线信号的影响十分微弱，单一感知信道在开放复杂的感知环境下难以保证稳定有效，而多个感知信道由于信道属性和感知属性的差异，对微状态的变化具有不同的敏感程度，可以在感知特征层面优势互补、取长补短。为了融合多个感知信道对微状态进行感知，一方面，可以利用深度神经网络直接将多个信道的感知特征进行融合，并对微状态变化进行推理，实现“前融合”；另一方面，可以分别使用各个感知信道对微状态进行感知获得中间推理结果，再使用神经网络或者推理模型对多个中间结果进行融合，输出微状态感知的结果，实现“后融合”。例如，在基于RFID的增强现实场景中，为感知被标记目标的像素级精度位置，RFcamera[7]利用旋转天线产生多个不同极化方向的信道，并将多信道感知特征融合后与视频信号进行匹配，从而形成无线感知与视觉感知的互补融合；为在嘈杂环境下实现用户语音识别，UltraSE[8]使用超声波通道对用户说话时的唇语动作进行捕捉，并与嘈杂环境下的麦克风通道获取的语音振动信号进行融合，实现唇语运动特征与声音振动特征的互补融合，进而提取并还原指定用户的语音信号。

       在多信道融合优化微状态感知方面，为实现嘈杂多声源环境下用户语音的准确识别，区别于传统麦克风阵列的盲源分离技术，南京大学团队提出了mmMic技术[9]（如图6所示），能够使用定向的毫米波信号分别对用户的唇语动作与声带振动进行感知，并将二者进行融合，实现对指定用户的精准语音识别。为有效实现对用户语音的微状态感知，我们既可以通过声带振动直接感知，也可以通过唇部运动推理感知。为提升嘈杂多声源环境下的感知效果，我们提出使用毫米波雷达同时对唇语动作与声带振动进行感知，并融合两个感知信道的特征对语音进行识别。针对唇部运动和声带振动两个感知信道产生的感知信号异构、难以有效融合的挑战性问题，我们提出了一种多模态融合的感知框架，使用注意力机制将唇部运动和声带振动的信号特征融合起来进行语音识别。具体来说，我们首先使用交叉注意力（cross-attention）机制，利用两个模态之间的互补性分别对单个模态信号特征进行抽取，再使用归并注意力（merge-attention）机制，将两个模态特征联合起来进行充分融合，最后使用解码器进行语音音素的识别。实验结果表明，mmMic能够利用毫米波雷达对嘈杂多声源环境下的用户语音进行精准识别，平均识别准确率达到92.8%。

总结与展望

       随着无线感知的技术演进和应用发展，在研究者与实践者们探索感知极限和拓展感知范畴的过程中，如何实现对目标的微状态感知已经成为无线感知领域的关键热点问题。本文从特征增强、干扰消除以及感知优化三个方面介绍了笔者所在的南京大学团队对微状态感知研究的一些理解和心得，为微状态感知的技术演进提供了初步的线索。对于未来微状态感知技术的发展，在感知特征提取层面实现“去伪存真、去粗存精”，在感知结果推理层面实现“由此及彼、由表及里”将是我们进一步努力的方向。　■

参考文献：

[1] Yang L, Li Y, Lin Q, et al. Making sense of mechanical vibration period with sub-millisecond accuracy using backscatter signals[C]// Proceedings of the 22nd Annual International Conference on Mobile Computing and Networking. ACM, 2016: 16-28. doi: 10.1145/2973750.2973759.

[2] Li P, An Z, Yang L, et al. Towards physical-layer vibration sensing with RFIDs[C]// Proceedings of IEEE Conference on Computer Communications (IEEE INFOCOM). IEEE, 2019: 892-900. doi: 10.1109/INFOCOM.2019.8737592.

[3] Wang C, Xie L, Lin Y, et al. Thru-the-wall eavesdropping on loudspeakers via RFID by capturing sub-mm level vibration[J]. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol, 2021, 5(4): 1-25. doi: 10.1145/3494975.

[4] Zhang F, Xiong J, Chang Z, et al. Mobi2Sense: empowering wireless sensingwith mobility[C]// Proceedings of the 28th Annual International Conference on Mobile Computing and Networking, 2022: 268-281.doi: https://doi.org/10.1145/3495243.3560518.

[5] Wei T, Zhang X. Gyro in the air: tracking 3D orientation of batteryless internet-of-things[C]// Proceedings of the 22nd Annual International Conference on Mobile Computing and Networking. ACM, 2016: 55-68. doi: 10.1145/2973750.2973761.

[6] Lin Y, Xie L, Wang C, et al. DropMonitor: Millimeter-level Sensing for RFID-based Infusion Drip Rate Monitoring[J]. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., 2021, 5(2):  1-22. doi: 10.1145/3463496.

[7] Lin Q, Yang L, An Z, et al. RFCamera: identifying RFIDs in pixel dimensions[C]// 2020 17th Annual IEEE International Conference on Sensing, Communication, and Networking (SECON). IEEE, 2020:1-9. doi: 10.1109/SECON48991.2020.9158430.

[8] Sun K, Zhang X. UltraSE: single-channel speech enhancement using ultrasound[C]// Proceedings of the 27th Annual International Conference on Mobile Computing and Networking. ACM, 2021: 60-173. doi: 10.1145/3447993.3448626.

[9] Fan L, Xie L, Lu X, et al. mmMIC: Multi-modal speech recognition based on mmWave radar[C]// Proceedings of IEEE Conference on Computer Communications (IEEE INFOCOM). 2023: 1-10.

版权声明：中国计算机学会(CCF)拥有《中国计算机学会通讯》(CCCF)所刊登内容的所有版权，未经CCF允许，不得转载本刊文字及照片，否则被视为侵权。对于侵权行为，CCF将追究其法律责任。