weixin_44887311的博客

Meta Reality Labs开发了一种基于表面肌电信号(sEMG)的手腕带设备，通过16通道干电极捕捉手部动作的神经电信号，实现无需个体校准的普适性人机交互。该系统利用6000多名受试者数据训练出通用神经网络模型，在光标控制、手势识别和手写输入任务中表现优异，准确率超90%，输入速度达20.9词/分钟。研究显示模型性能随数据量和参数增加持续提升，仅需20分钟个性化微调即可提升16.6%识别率。这种非侵入式方案在便携性和隐形交互方面优势显著，为人机交互技术带来重要突破。

摘要：麻省理工学院团队受吸盘鱼的生物黏附机制启发，开发出新型机械式水下软组织黏附系统(MUSAS)。该系统模仿吸盘鱼的"展开-抓取-分腔吸附"机制，采用记忆合金骨片和弹性体唇缘设计，能在多种软组织表面实现强力持久黏附，最大吸附力/重量比达1391倍。实验证明，MUSAS在pH1.5-8.8范围内保持稳定性能，成功应用于水下温度监测、胃酸反流检测、长效药物递送和mRNA疫苗输送等多个场景。该研究为医疗设备和海洋工程提供了创新的仿生解决方案，相关成果发表于《Nature》。

清华大学团队提出DexSim2Real²框架，突破了机器人操作铰接物体的技术瓶颈。该框架通过主动交互构建显式世界模型，结合3D AIGC技术重建物体几何与运动学结构，并利用模型预测控制规划轨迹，支持多种末端执行器操作。实验表明，该方法在橱柜、抽屉等物体上操作精度达20%-25%，优于传统强化学习方法。创新性地采用真实交互视频学习功能可见性，解决了仿真环境不足的问题。该研究为复杂铰接物体的精准操作提供了新思路，相关成果发表于IEEE Transactions on Robotics。

武汉科技大学李公法教授团队在《Biomedical Signal Processing and Control》发表研究成果，提出基于条件扩散模型（DiffSR）的肌电信号修复技术。该技术通过相邻通道重叠采样和噪声估计更新机制，有效解决电极接触不良导致的信号失真问题。实验表明，DiffSR在三种数据集上平均识别准确率较传统方法提升10.9%-23.1%，尤其在高信号损失率（80%）下仍能准确定位并修复缺失信号。该技术无需大规模标注数据，具有良好泛化能力，为人机交互系统的可靠性提供了创新解决方案。

UC伯克利等机构研发的ViTacFormer框架突破机器人灵巧操控难题，通过跨模态注意力机制融合视觉与触觉信息，并创新性地引入未来触觉预测功能。该系统在短程任务中成功率提升50%以上，并能稳定完成长达2.5分钟的汉堡制作等复杂操作流程。搭载SharpaWave灵巧手的双臂机器人展示了出色的多指协调和持续控制能力，标志着视触觉融合技术在精细操作领域取得重大进展。该研究由Pieter Abbeel等知名学者参与，获业界广泛关注。

本文提出了一种新型软体机器人叶片夹持器和冲压注射方法，用于改善植物纳米探针和基因的叶面输送。该方法采用优化的沙漏形设计，注射成功率超过91%，在向日葵和棉花上实现比传统方法12倍的渗透面积增长，同时显著减少损伤。研究验证了水凝胶纳米颗粒（AquaDust）用于监测叶水势，以及农杆菌介导的RUBY基因传递系统。结果表明，气孔导度是影响注射效率的关键因素。该技术为精准农业提供了非破坏性、多物种适用的新型叶面给药方案，有望推动植物表型分析和基因工程的发展。

我们的框架主动从给定的视点收集视觉RGBD观察结果，将其注册到场景表示中，并从其部分观察结果中推断出未知的物体形状，以避免在场景重建过程中机器人与给定环境的不必要交互。6） 一个统一的快速主动传感框架，结合了视点生成和机器人控制方法，用于场景构建，其结果在复杂的模拟和现实世界的橱柜式环境中使用带有手持RGBD相机的6自由度机械手进行了演示。1）基于3DCNN的评分函数，该函数基于过去的观察和视点候选进行场景表示，以预测可能的场景覆盖范围，从而指导视点规划，防止与给定环境的不必要的机器人交互。

科学家受野生燕麦种子湿度驱动运动的启发，开发出新型生物混合微型机器人HybriBot。该机器人通过3D打印复刻燕麦果实结构，利用天然芒刺作为生物马达，能在土壤中自主移动并精准播种。实验显示其钻土能力达0.38N阻力、100mN·mm⁻¹扭矩，成功培育番茄幼苗。这项发表于《Advanced Materials》的研究，为生态修复和精准农业提供了创新解决方案，未来或可实现无人机批量投放进行荒漠化治理和智能耕作。机器人完成任务后可完全降解，兼具高效性与环保性。

本文提出视频预测策略(VPP)，一种利用视频扩散模型(VDM)预测性视觉表征的通用机器人策略。该方法通过两阶段学习：首先微调文本引导视频预测模型以提升操作领域预测能力，随后基于其内部表征学习逆动力学模型。实验表明，VPP在Calvin基准测试中相对性能提升18.6%，在现实灵巧操作任务中成功率提高31.6%。该研究揭示了视频生成模型在具身任务中的潜力，为开发更智能的机器人策略提供了新思路。

本文提出ConRFT方法，解决机器人VLA模型微调中的数据局限问题。该方法通过离线阶段的Cal-ConRFT结合行为克隆和Q学习，从少量演示数据中稳定提取策略；在线阶段的HIL-ConRFT引入人类干预机制，保障安全探索。实验表明，ConRFT在8项真实任务中平均成功率高达96.3%，任务完成步数减少1.9倍，显著优于传统方法。该方法为VLA模型在机器人操作中的高效安全应用提供了新思路，但仍存在对奖励设计敏感等问题，未来可进一步优化。

本文提出"具身空中物理交互(E-APhi)"创新框架，通过仿生柔性形态、分布式触觉感知与简约控制策略的协同设计，突破传统无人机物理交互的三大局限：1)环境适应性差，2)动态响应慢，3)系统复杂度高。该框架实现3.0 m/s高速交互，接触响应时间<0.1秒，在非结构化环境中展现出95%的任务成功率，较传统方法提升3倍以上。实验验证了其在环境DNA采样、工业检测等场景的高效性，为无人机在复杂环境中的自主交互提供了新范式。这一成果将推动具身智能与机器人技术的深度融合。

英国布里斯托大学与南方科技大学的研究团队联合开发了一款仿生章鱼机器人，成功复刻了章鱼触手的灵活性和感知能力。该机器人通过气流和硅胶吸盘实现零损伤抓取、自适应包裹和触感识别等高难度操作，无需复杂电路。其设计借鉴了章鱼的神经肌肉结构，利用吸盘、软计算元件和软致动器的流体能量与信息容量，实现了分级智能和自主决策。这一技术突破不仅提高了机器人的响应速度和适应性，还降低了生产成本，为工业抓取和医疗操作等场景提供了新思路。

在机器人抓取任务中，自然语言理解技术的应用显著提升了人机交互的体验。然而，现有系统通常要求用户明确指定目标对象，限制了交互的自然性。为此，我们提出了PROGrasp系统，该系统结合自然语言处理、视觉识别和强化学习技术，旨在通过理解用户的模糊指令来执行抓取任务。PROGrasp的核心创新包括自然语言意图识别、视觉定位与对象识别的结合，以及基于强化学习的策略优化。实验结果显示，PROGrasp在处理复杂指令和适应新环境方面表现出色，抓取成功率高达94.1%。未来，我们计划进一步扩展系统的功能，以支持更多类型的指

瑞士洛桑联邦理工学院和英国剑桥大学的研究团队提出了一种创新的“开放参数化手”（OPH）设计框架，通过56个可调参数，能够定制从人手到各种灵长类动物手爪，甚至创造出自然界不存在的手型，如双拇指手。这一设计不仅制造简单（单件3D打印、低自由度控制），还能实现复杂的操作行为。研究展示了不同形态手掌的独特优势，如标准人手的多功能性、双拇指手的多点操作能力以及指猴手在狭窄空间中的操作优势。这一设计不仅有助于理解手部形态与功能的关系，还为未来定制化机器手的发展提供了新思路。研究团队已将源代码和设计文件开源，供进一步开发

魔芯科技、新加坡南洋理工大学等机构的研究人员提出了名为CADCrafter的新框架，能够直接从单张图像生成可编辑的CAD工程文件。与传统的图生3D方法不同，CADCrafter能够处理零件渲染图、3D打印零件照片甚至日常生活中的物体，生成对应的原始CAD文件，并通过CAD编译器编译成可直接用于生产的3D文件。该框架采用了两阶段生成架构，结合了变分自编码器（VAE）和扩散模型，并通过蒸馏策略和代码检查机制提升了生成质量和可编译性。实验表明，CADCrafter在细节还原度和实用性上优于现有方法，展示了其在工业

飞行操作型机器人是机器人领域的新兴研究方向，它使飞行机器人从仅观察环境发展为具备与环境交互的能力，提升了传统操作型机器人的机动性和活动范围。然而，微小型飞行器由于欠驱动方式和负载限制，难以满足复杂操作需求。北京理工大学俞玉树团队创新设计多飞行器集联平台，通过组合多个飞行器模块，实现六维全向驱动力，提升操作灵活性和力输出。团队在IEEE Transactions on Robotics上发表研究成果，提出了一种仅依赖机载传感器的多机集联飞行平台（IAP）控制和状态估计框架，成功验证了其在目标跟踪、地图构建和六

但问题是，这种感觉通常很模糊，只像是“电流通过手指”那种轻微的麻麻的刺痛感，不管你是在“摸”猫、钥匙、还是苹果，感觉都差不多。c:每一个刺激电极唤起的感觉的确切位置（在手的图像上以不同的颜色显示）对每个参与者来说都是不同的，这取决于刺激阵列在他们的体感皮层中的位置;这项研究让我们看到：未来的假肢不再只是“能动”，还可能“有感觉”，而且这种感觉不是千篇一律的，而是个性化、可以调节的——就像真的身体一样。想象一下，未来的某天，一个佩戴神经义肢的人，能像我们一样轻轻抚摸一只猫，感受到它柔软的毛发和温暖的体温。

此外，由于粘附力垂直于物体表面，因此可以采用额外的处理策略，例如单点抓取，这是基于机械联锁和摩擦的人手无法实现的。因此，柔软的可穿戴辅助手套引起了人们的关注，在人机交互中提供了更轻的重量和更高的安全性。此外，尽管软质可穿戴辅助手套已被广泛探索，以帮助患者进行简单的手部活动，但有限的致动自由度和缺乏感官反馈的闭环控制限制了可用的抓握姿势和手指运动的精确控制。周围神经病变是一种常见的并发症，发生在高达50%的RA患者、18%的SLE患者、25%的SS患者和65-80%的EGPA患者中。d） FPCB的照片。

除了压阻性外，触觉传感器还可以感知温度，因为PEDOT:PSS也是一种有机热电材料，拥有无数的空穴和质子，可以实现热电之间的直接转换。在这项研究中，证明了我们提出的多功能触觉传感器提供了一种新的策略，帮助截肢者在没有视觉帮助的情况下感知力和温度，并识别物体的材料。近日，中国科学院苏州纳米技术与纳米仿生研究所张挺团队在InfoMat杂志上发表了一篇题为“一种用于智能假肢的机器学习辅助多功能触觉传感器”的文章，提出了一种用于智能假肢的机器学习辅助多功能触觉传感器，为截肢提供了一种类似人类的触觉传感方法。

比如，对于 “把食物放进微波炉加热” 的任务，计划可能是（“食物”，“拿起”），（“微波炉”，“打开门”），（“食物”，“放入”），（“微波炉”，“关闭门”），（“微波炉”，“启动”）。比如，当你说 “机器人，帮我把桌子上的东西收拾一下，再把餐具放进橱柜里”，它就能准确地识别桌子上的物品，规划合理的动作路径，避开障碍物，把东西收拾好并放进橱柜。它能理解人类的语言指令，把任务描述转化为具体的操作步骤。在估计 “食物” 的目标姿态时，它会分析场景中的图像，找到食物的位置和形状，计算出机器人抓取食物的最佳姿态。

用不同的鼓点进行了测试，以评估对各种节奏模式的适应性。实验表明，与基线相比，CoM 在提取任务计划和控制参数方面的准确性提高了三倍，并推广到真实机器人实验中的新任务设置和对象。相比之下，CoM（右）按顺序分析每种模式：首先是力数据以确定何时施加力，然后是手部姿势来推断抓取和扭转动作，最后是图像来识别特定的物体和动作（例如，扭动瓶盖）。在这项工作中，李飞飞教授团队利用传感设备（如测量人体肌肉活动的臂带和记录声音的麦克风）来捕捉人类作过程中的细节，并使机器人能够提取任务计划和控制参数来执行相同的任务。

本文总结了TRRG在机器人手内操作和物体重建中的创新点和贡献，强调了触觉反馈在提升操作稳定性和精度中的重要作用。抓取是机器人在现实世界中操纵物体的关键技能之一，涉及通过接触点施加力和扭矩来控制物体的运动，而触觉传感技术的进步为机器人抓取和操作提供了新的可能性。文中详细描述了TRRG的设计、控制方法及其在多种复杂任务中的应用，展示了其在机器人操作领域的潜力。此外，TRRG通过滚轮运动和触觉传感实现了高效的表面扫描和重建，实验展示了其对信用卡和透明杯的表面重建能力。总结（Conclusion）

近期英国爱丁堡大学发表Nature Machine Intelligence研究工作，提出了一种名为ELLMER（具身大型语言模型支持机器人）的创新框架，通过整合大型语言模型（如GPT-4）、检索增强生成（RAG）、视觉和力反馈，使机器人能够在动态环境中完成复杂的长期任务。动态代码生成：LLM结合检索到的示例生成可执行的Python代码，适配当前环境（如杯子的位置）。知识库检索：通过RAG从预定义的代码库中检索相关动作示例（如“如何倒水”）。：调整动作的力度（如倒水的精确控制）。检索增强生成（RAG）

通过交替地使用高质量的轨迹跟踪数据辅助通用轨迹跟踪控制器的学习，以及借助通用轨迹跟踪器来提高单一轨迹跟踪演示的质量，我们可以逐渐得到一个强大的可以跟踪各种各样轨迹的控制器（图 3）。我们设计了两个策略来提高单一轨迹跟踪演示的质量，1）借助通用轨迹跟踪器来初始化单一轨迹跟踪策略的学习，2） 借助 homotopy optimization 的方式，通过解决一系列的优化任务来降低特定轨迹跟踪任务优化的难度（图 4）。我们的研究对运动轨迹中的噪声比较鲁棒，也可以泛化到从来没有见过的物体的种类以及运动的类别上。

该方法对于不同类型的基于视觉的触觉传感器具有很高的可泛化性，可以通过真实数据的引入来适应不同类型的传感器。针对这一问题，华南师范大学光电科学与工程学院李昕明团队提出了一种跨模态视触觉数据仿真生成模型及模型训练装置，该技术融合注意力机制的跨模态视触觉数据生成模型，通过提升数据真实感和细节丰富度，提高机器人触觉传感器仿真及触觉渲染的效果（相关技术已获国家发明专利）。基于此研究基础，李昕明团队进一步提出基于接触条件引导的扩散模型，从真实数据出发，生成高保真的触觉图像，并提升仿真在不同接触条件下的适应性。

研究提出的策略在频域中对触觉图像在特征对齐后进行小波变换以分离不同特征的数据，对包含精细边缘信息的高频部分采用基于显著性分析的权重融合，以在序列中提取出局部信息量最大的触觉数据，结合通过平均融合的低频信息后整合和还原得到融合触觉图像。综上所述，该研究提出的策略能够在一定程度上克服视触觉传感器曲面接触结构引起的数据应用和触觉行为解析局限，通过触觉图像序列的方式使得策略具有更强的通用性和泛化能力，有潜力在大面积复杂触觉检测和类指尖的精密接触传感中具有应用潜力。

在最近的一项研究中，香港科技大学的科研团队通过引入“数字通道”的概念，在分布力的接触位置上生成可辨别的时序数字信号，解决了多点大面积复杂接触问题，并提出了一种以手为中心的触觉交互系统（PhyTac，图2与图3）。图1 基于液压、气压和机械弹簧原理的握力计近几个世纪，基于液压、气压和机械弹簧原理的握力计是评估人手施加的力的常用方法，但它们只能提供最大力的信息，缺乏空间和时间的细节分布（图1）。“数字通道”概念的引入，可以准确识别复杂接触的位置，从而准确解码大面积接触问题中的分布力。详细视频于视频S5中展示。

基于此研究基础，李昕明团队进一步提出基于接触条件引导的扩散模型，从真实数据出发，生成高保真的触觉图像，并提升仿真在不同接触条件下的适应性。该方法对于不同类型的基于视觉的触觉传感器具有很高的可泛化性，可以通过真实数据的引入来适应不同类型的传感器。针对这一问题，华南师范大学光电科学与工程学院李昕明团队提出了一种跨模态视触觉数据仿真生成模型及模型训练装置，该技术融合注意力机制的跨模态视触觉数据生成模型，通过提升数据真实感和细节丰富度，提高机器人触觉传感器仿真及触觉渲染的效果（相关技术已获国家发明专利）。

写在前面&出发点具身智能融合多种模态，使智能体能够同时理解图像、语言和动作。然而，现有模型通常依赖额外数据集或大量预训练来最大化性能提升，这耗费了大量训练时间和高昂的硬件成本。为解决这一问题，我们提出RoboBERT，这是一种新型的端到端机器人操作模型，并结合了独特的训练策略。该模型利用基于卷积神经网络（CNN）的扩散策略，通过分离不同模态的训练过程，提高并稳定了模型的有效性。同时，我们强调数据增强的重要性，验证了多种技术能显著提升模型性能。与依赖额外数据或大型基础模型的模型不同，RoboBERT仅使用带

对于简单级别，ASAP在IsaacSim（Eg-mpjpe=106和Empjpe=44.3）和Genesis（Eg-mpjpe=125和Empjpe=73.5）中都达到了最低的Eg-mpjpe和Empjpe，同时具有最小的加速度（Eacc）和速度（Evel）误差。为解决这一问题，在后训练阶段需要收集真实世界的运行数据，包括本体感知状态，以及由动作捕捉系统记录的位置信息。具体来说，他们研究了数据集大小、训练时域和动作范数权重的影响，评估它们对开环和闭环性能的影响，如下图10所示，给出了所有因素下的实验结果。

结果发现，FENet在不同时间段、脑区、参与者和电极之间呈现出显著的泛化能力，也就是，即使神经信号随各类因素显著变化的情况下，FENet也能保持相对稳定的解码表现。当前BCI面临设计无约束性的问题，包括有限且昂贵的训练数据、低信噪比的预测特征、复杂的时间动态、非线性的调谐曲线、以及神经信号的不稳定性等。结果发现，FENet在区分手指动作和提高解码能力方面具备显著的优势，FENet在手指网格任务中保留了排序神经元群体的表征结构和动态，同时减少了与动作相关的干扰因素的影响。Fig5. 特征提取技术的比较。

最后涉及缠绕一个形状不规则的长凳，这一任务在使用夹爪时充满挑战和风险，然而，AET的多功能性在此得到了充分体现，通过接近长凳并利用连续体机械臂的闭环构型控制缠绕角落，如图所示。最后，在图c中，环境的复杂性进一步提升。在图a中，建立了一系列路径点以在水平平面上生成字母序列“ARCLAB”，保持与初始末端高度相同的高度，并指示AET的末端执行器跟踪这一一致的轨迹。AET不仅能在空中实现类似象鼻的绕取物体功能，更具备了在复杂受限空间中导航、避障、抓取的能力，有效打破了空中机械臂负载能力与灵活性之间的限制。

具体来说，当薄膜受到直接单点接触并变形时，柔性光栅会向传感器内部凸起，造成表面结构色的损失，但这些结构色实际上会反射到传感器的内壁上，其反射角度会随着负载和薄膜变形程度的增加而上升，从而位置降低，这一现象与施加的法向负载幅度有很强的相关性，可作为新的空间结构色特征用于数据处理。研究团队采用数据驱动的信息解码方法，利用改进的 ResNet 模型，对结构色图像进行处理和分析，从而直接且准确地预测和重建单点接触的相关信息，包括接触点在柔性光栅薄膜上的平面坐标、接触深度以及法向接触力的大小等。制备方法如图2所示。

在这里介绍了一种用于多对象抓取的机器人抓手，它应用手指到手掌和手掌到手指的平移，以使用指尖微妙的拾取和放置功能，同时将多个对象一起固定在手掌中。所提出的抓手可以使用欠驱动的手指从不同方向抓取单个物体，然后通过手指到手掌的平移将它们转移到手掌上，以便将它们一起存储和移动 .移动对象后，抓手通过手掌到手指的平移，用指尖单独检索存储的对象，以实现精确的对象放置。通过简化手指平移和输送机手掌实施的机械设计，提出了一种独特的抓取方法，该方法利用手指的拾取和放置能力和手掌的同步存储能力，拓宽了多物体抓取的多功能性。

I. 引言A. 研究动机将机器人融入日常生活需要它们能够在复杂的环境中交互操作。机器人在实现技能性且高效的物体处理时，面临多自由度和精确控制的挑战，以适应各种物体和任务需求。专为特定任务设计夹持器较为简单，但开发通用型操控器则复杂得多。虽然类人手的仿生设计是常见思路，但它未必是最优解。例如，单自由度的起重机式夹持器能更高效地抓取大件或重物。本研究挑战了“类人抓取是唯一可行方法”的传统理念，提出一种结合工业夹持器强力抓取与仿生设计灵巧操作的混合方案。B. 相关研究人类手部具有21个自由度（不包括手腕），其中

论文信息标题：Diffusion-VLA: Scaling Robot Foundation Models via Unified Diffusion and Autoregression作者：Junjie Wen, Minjie Zhu, Yichen Zhu, Zhibin Tang, Jinming Li, Zhongyi Zhou, Chengmeng Li, Xiaoyu Liu, Yaxin Peng, Chaomin Shen, Feifei Feng机构：Midea Group、East

利用TPU/ZnO NWs为灵敏层制备的压力传感器可以精准感知脉搏信号和手指弯曲等微小力，同时还能进行跳跃等强劲运动信号的检测，为压力传感器在可穿戴电子设备、人机交互和机器人等领域的应用提供了简单而有效的方案。该器件表现出了良好的压力响应性能和循环稳定性，不同器件具有良好的性能一致性。图 3 器件性能表征【人体运动信号检测】利用同一器件分别进行了脉搏信号、各关节弯曲运动信号、行走运动信号和跳跃运动信号的采集，实现了从微小力到高强度力的全范围信号检测，极大程度拓宽了压力传感器在可穿戴电子设备领域的应用场景。

生成式预训练Transformer（GPT）被吹捧为将彻底改变机器人技术。但实际应用中，GPT需要庞大且昂贵的计算资源、冗长的训练时间以及（通常）非机载无线控制，诸多限制之下，GPT技术真的实用吗？• 文章：Are Transformers Truly Foundational for Robotics?• 作者：James A. R. Marshall, Andrew B. Barron• 论文链接：https://arxiv.org/abs/2411.16917• 编译：INDEMIND本文核心内容近

引言在智能机器人抓取任务中，目标识别是一个核心问题。机器人不仅需要识别物体，还需根据物体的形状、纹理、硬度等信息来规划抓取策略。传统的目标识别方法通常依赖于视觉信息，但在许多复杂环境中，单一视觉信息往往不能提供足够的辨识能力，尤其是对于遮挡、反射或者低对比度的物体。触觉信息作为一种重要的感知模态，为机器人提供了另一种理解物体的途径。结合触觉感知和视觉信息，不仅可以增强目标识别的准确性，还能提升机器人抓取操作的鲁棒性和灵活性。本文将对基于触觉的抓取对象识别技术进行系统回顾，重点探讨传统触觉特征提取方法、基

为了获得高质量的标注，应对真实视频带来的挑战，研究团队建立了一套可靠的标注系统：识别并标注相机参数变化的关键帧，确保片段内的一致性；此外，作者还要估计视频中的相机参数，为此研究者们首先人工标记出视频帧中可能出现相机运动（如焦距变化、切换视角等）的位置，然后标注出视频帧和3D模型之间的2D-3D对应关键点。最后，结合这两类标注信息，研究者们使用PnP （Perspective-n-Point）算法估计出每段视频的相机内参数，得到相机参数的初始估计后，利用交互式工具来细化每个视频帧中零件的6D姿态。