nice1的博客

本文介绍了一种基于模式识别的上下文异常分布（OoD）检测方法，命名为CODE。该方法通过学习类条件模式检测器，无需对原始分类器进行微调，即可提供具有可视化解释的OoD检测决策。文章提出了一种基于ID数据集扰动的新基准，用于评估OoD检测方法对扰动的一致性，并通过实验验证了CODE在多个数据集上的优越性能。CODE结合了模式识别和可解释性，为OoD检测提供了新的思路和解决方案。

本文探讨了大语言模型（LLM）在危害分析（HA）中的潜力，特别是通过ChatGPT进行协同危害分析（CoHA）的实验应用。研究聚焦于LLM能否为人类分析师在系统理论过程分析（STPA）中提供有用的结果，并评估其可行性、实用性和可扩展性。实验结果显示，在简单系统的STPA中，LLM具有一定的可行性和实用性，但随着系统复杂度增加，性能下降。文章还讨论了LLM在支持危害分析中的未来发展方向和潜在优化路径。

本文介绍了人工智能安全完整性等级（AI-SIL）的概念与评估方法，通过输入熵和输出非确定性衡量人工智能任务的复杂性，并结合多个应用场景进行说明。同时探讨了大语言模型在危险分析中的应用，提出协同危险分析（CoHA）方法，利用大语言模型辅助人类分析师识别潜在风险。文章还对AI-SIL与CoHA的综合应用进行了分析，并指出了实际应用中的注意事项及未来发展方向。

随着人工智能和机器学习技术在各种复杂场景中的广泛应用，基于AI的系统在安全关键领域的重要性日益凸显。然而，现有的风险评估方法在应对基于AI的系统时存在局限性，无法有效区分不同风险水平的需求。为此，本文提出了人工智能安全完整性等级（AI-SIL）的概念，通过结合输入熵、输出非确定性和分配的SIL来评估AI组件的风险等级，并根据不同的AI-SIL制定相应的工程活动以确保系统的安全性与可靠性。文章还通过多个领域的示例说明了AI-SIL的实际应用，展示了其在合理评估AI系统风险方面的有效性。

本文研究了深度学习模型在不利环境条件下的鲁棒性，特别是在自动驾驶等安全关键应用中的表现。通过使用CARLA模拟器生成多样化的训练和测试数据集，评估了多种先进的语义分割模型（包括基于CNN和Vision Transformer的架构）在合成扰动和不利天气条件下的性能。结果表明，基于Transformer的模型在某些场景中表现出更好的鲁棒性，而EfficientNet等基于CNN的模型则在资源效率方面具有优势。此外，研究表明通过对少量不利条件样本进行微调，可以显著提高模型的鲁棒性。

本博客探讨了在机器学习部署中的安全风险以及异常检测技术的重要性。文章分析了传统基于深度神经网络的异常检测方法存在的不足，包括抽象推理能力有限、资源依赖性强和预测不透明等问题，并讨论了其在分类任务、对象检测、时间动态和结构学习场景下的具体局限性。为解决这些问题，博客提出了一种结合感知系统与推理系统的混合异常检测架构，并通过SuMNIST数据集的概念验证实验展示了其有效性。此外，还介绍了ESG模型卡片和MLOps工具在未来推动环境、社会和治理原则落地方面的潜力。

本文探讨了如何在机器学习生命周期中融入 ESG（环境、安全、治理）原则，提出了一个基于设计层、实现层和使用与监控层的 ESG 模型卡片框架。从模型设计阶段的碳成本控制、公平性和安全性问题，到实现阶段的代码优化和漏洞捕获，再到部署后的持续监控和人工干预策略，文章系统分析了构建可持续、可靠和透明机器学习系统的路径。此外，还介绍了 ESG 模型卡片的概念及其在图像分类等任务中的应用示例，为开发者提供了一个全面评估和改进模型的工具。

本文探讨了动态风险管理（DRM）与安全的机器学习（ML）生命周期中的ESG（环境、社会和公司治理）风险与挑战。重点分析了在复杂系统中实现高置信度安全声明、持续监控安全性能指标以及通过现场反馈增强安全保证的方法。同时，文章提出了应对ML生命周期中数据层ESG风险的缓解措施，并引入了ESG模型卡作为标准化工具来报告ML项目的ESG影响。最后，文章展望了未来发展方向，包括完善标准规范、探索新方法工具以及加强跨学科合作，以推动科技的可持续和负责任发展。

本文探讨了自动驾驶车辆（AV）安全与动态风险管理的关键问题，包括基于法律视角的疏忽责任判定和逐案处理建议，并深入分析了动态风险管理在外部风险因素、内部风险因素及协作场景中的应用。文章还介绍了其在智能交通和工业物流等领域的案例，以及未来发展趋势和挑战，最后提出了技术研发、标准制定和人才培养等方面的建议。

本文探讨了自主机器人集群涌现行为的设计与验证方法，以及自动驾驶技术中安全标准的制定与改进。重点分析了如何通过算法设计和严格测试来保障机器人集群在复杂环境中的安全性，并提出了基于合理驾驶员标准的自动驾驶责任评估框架。文章还强调了技术发展过程中多领域协同合作、持续优化的重要性，旨在推动自主机器人集群和自动驾驶技术的安全可靠应用。

本文介绍了AIMOS和AERoS两种创新方案在人工智能测试和自主机器人集群安全保障领域的应用。AIMOS作为AI变形测试工具，通过发现AI模型与训练数据之间的差异，提升系统的可靠性与安全性；而AERoS则提供了一套全面的安全保障流程，确保自主机器人集群涌现行为在各种环境下的安全稳定运行。两者结合，为AI和机器人技术的未来发展奠定了坚实基础。

本文介绍了 AIMOS（AI Metamorphism Observing Software）工具，其通过定义变质属性对人工智能模型进行测试，评估模型在不同扰动下的稳定性。博文详细阐述了 AIMOS 的测试原理、工具架构及其在雷诺焊接检测和 ACAS Xu 防撞系统中的工业应用案例，并分析了实验结果。此外，还探讨了实际应用中需考虑的因素以及未来发展方向。

本博客主要探讨了不确定性量化（UQ）方法的评估及其在交通标志识别等工业应用中的表现，同时介绍了用于AI模型可靠性测试的AIMOS工具。通过分析不同UQ方法在点不确定性估计和预测集任务中的优劣，为实际场景中的方法选择提供了依据。此外，博客还详细描述了AIMOS工具的工作流程、优势以及未来在更多工业领域的应用前景。

本文系统解析了动态决策模型（DDM）中的不确定性量化（UQ）方法，重点比较了模型内UQ、模型外不确定性包装器（UW）和保形预测（CP）三类方法的特性与优劣，并提出了一种新型UQ方法——UWccp。该方法结合了UW和CP的优势，能够在提供条件概率保证的同时生成保守的不确定性估计，适用于自动驾驶、医疗诊断等安全关键领域。通过实验分析，文章验证了不同UQ方法在不确定性估计与预测集提供任务中的表现，并展望了未来的研究方向。

本研究探讨了基于逻辑回归的群体层面学习方法在提升算法公平性方面的潜力，并结合不确定性量化技术提高模型可靠性。通过使用成人收入数据集和OULA数据集，实验比较了基线逻辑回归模型、Fairlearn公平性约束模型以及群体层面LR模型的表现。结果表明，群体层面的LR方法在某些情况下能够在牺牲一定预测准确性的前提下显著改善公平性指标（如统计公平性和机会平等性）。此外，研究还评估了不同不确定性量化方法（如保形预测和不确定性包装器）在各类任务中的性能，提出了方法选择建议。未来的研究方向包括优化群体层面方法、扩展到其他模

本文提出了一种基于逻辑回归的组级学习方法，旨在通过在训练过程中为敏感群体提供更大的贡献，减少决策算法中的公平性偏差。该方法通过将每个敏感群体的数据作为独立批次处理，并采用中位数聚合函数更新模型参数，从而改善公平性。实验表明，该方法在Adult Income和OULA两个数据集上均能有效降低公平性差异，尤其是在考虑二进制敏感属性时效果更显著。尽管公平性的提升以牺牲部分准确性为代价，但相比不考虑公平性的传统模型，该方法在公平性方面有了显著改进。

本博文探讨了智能交通系统（C-ITS）与人工智能安全工程的挑战与机遇。重点分析了智能交通系统中的信息信任问题、部署挑战和架构设计，以及人工智能在安全关键应用中的重要性和技术难题。文章还介绍了第六届人工智能安全工程国际研讨会（WAISE 2023）的研究成果，涵盖了AI不确定性监测、自主系统保证机制及动态风险管理等内容。通过跨学科合作和技术创新，推动智能交通和AI系统的安全可靠发展，为社会带来更多福祉。

本文探讨了自动驾驶后端碰撞风险分析和合作式自动驾驶车辆面临的主要挑战。通过HLB模型，深入研究了车道内停车场景中的后端碰撞概率变化机制，为预期功能安全（SOTIF）提供了基础支持。同时，文章详细分析了合作式自动驾驶的背景、动机及其在协作系统、架构、通信、伦理隐私、安全信任等方面的关键问题，并提出了未来的研究方向及解决方案。

本文针对自动驾驶领域中的追尾碰撞风险进行了深入研究，重点分析了人类驾驶车辆（HVs）与自动驾驶车辆（AVs）之间的碰撞场景。提出了一种新的制动控制模型——HLB模型，该模型考虑了驾驶员的视觉逼近感知、偏离道路视线（ORG）和车头时距（TH）对制动行为的影响，提高了模拟人类驾驶行为的准确性。通过模型性能验证和案例研究，探讨了不同参数如初始速度、减速度和碰撞速度对HV - AV碰撞概率的影响，为自动驾驶的安全性评估和优化提供了理论支持。此外，还展望了未来在模型完善、技术融合和实验验证等方面的研究方向。

本文提出了一种结合自上而下与自下而上方法的功能场景生成框架，用于自动驾驶系统的测试与验证。通过本体建模生成潜在功能场景，并基于实地观察数据对场景关键性进行评估，利用LDA和聚类技术推广关键特征并减少场景数量。该方法能够有效识别具有代表性的关键场景，提高测试效率与覆盖全面性，为自动驾驶系统的安全部署提供支持。同时，文章讨论了方法的优势与局限，并展望了未来改进方向。

本文介绍了在人机协作系统中，如何通过成对安全规则结构及其推导方法来保障系统安全，并适应系统特征变化和人机行为演变。文章详细阐述了安全规则的整体结构、对应变化的架构设计、具体的推导步骤以及实际案例研究，以自动驾驶系统为例展示了该方法的实际效果。实验结果表明，基于提出的安全规则结构，能够有效提高系统的安全性与效率。

本研究聚焦于高速铁路调度员脑负荷预测与人机协作安全规则，通过采集和分析调度员在应急处置过程中的生理数据，构建了基于多生理特征的脑负荷预测模型，并提出了一种基于配对结构的安全规则方法以促进人机协作的效率与安全。研究结果为提高高速铁路运输的安全性和效率提供了重要支持。

本文围绕交通领域中的可靠性分析与脑负荷预测展开，提出了EviSeg方法用于语义分割模型的不确定性量化，基于Phoenix模型结合多生理信号对高铁调度员的可靠性进行分析，并研究了基于多模态数据和特征选择的脑负荷预测方法。研究成果为安全关键场景下的决策支持、调度流程优化及人员任务安排提供了重要的理论支撑和技术手段。

本文提出了一种基于证据推理的语义分割模型不确定性量化方法——EviSeg。该方法利用Dempster-Shafer（DS）理论，将语义分割模型的特征输出和参数建模为证据，并通过Dempster组合规则计算冲突以量化预测不确定性。EviSeg无需修改模型架构、训练过程或损失函数，具有较高的计算效率，比传统方法提高了三到四倍的效率。实验结果表明，该方法能够有效识别预测中的高不确定性区域，适用于自动驾驶、医疗图像分析等安全关键型应用。

本文探讨了基于马尔可夫链的自主运输系统（ATS）可靠性评估方法，结合物理对象的状态转移模型及其在系统架构中的功能、逻辑和物理映射关系，提出了一套综合评估指标。通过案例研究VEAS架构的运行模拟数据，分析了故障率、占用率、可修复率及重要性对系统可靠性的影响，并提出了提升系统稳定性的优化策略。

本文探讨了智能交通系统（ITS）在安全、可靠性及网络安全方面面临的挑战与解决方案。随着ITS与常规交通系统（RTS）的融合，任务复杂性、AI决策不可靠性和对人类行为理解不足成为主要风险。文章介绍了SRToITS 2023国际研讨会的相关内容，涵盖功能安全、AI系统可靠性、场景验证和人类行为理解等主题。同时，重点讨论了如何通过冗余架构提升网络安全，包括隔离策略、多样化方法及其局限性，并提出基于马尔可夫链的自主交通系统架构可靠性评估方法。最后总结了当前研究现状，并展望了未来发展方向。

本文探讨了在安全关键系统（如铁路系统）中，如何利用系统固有的冗余架构来增强网络安全保护。文章分析了多种冗余架构的特点和适用场景，并重点讨论了通过引入多样性策略来降低共模故障和抵御网络攻击的能力。通过定量方法评估攻击成功的概率，说明了冗余与多样性结合在提升系统安全性、优化安全投资方面的潜力。

本文探讨了安全与安保交互的起源，分析了二者之间的复杂关系及其在系统设计中的重要性。通过结合故障与攻击树（FATs）以及Petri网的形式化方法，提出了一种多层次的分析框架，以识别和建模恐惧事件及其对安全与安保属性的影响。研究以自动驾驶车辆在十字路口轨迹规划的用例为例，展示了如何揭示隐藏的交互关系，并强调了可视化和结构化分析的重要性。文章还指出了未来的研究方向，包括探索其他交互类型、引入状态转换模型、进行概率分析以及扩展更多示例案例。

本文探讨了复杂系统中安全与安保保障的关键方法，介绍了一种基于消除论证（EA）的安全保障案例（AC）模式，并提出了一种结合恐惧事件树（FEPTs）和多层次模型的安全与安保交互分析方法。通过EA模式，系统化地识别威胁并构建可追溯的论证逻辑，同时突出潜在的残留疑虑，以增强论证的可靠性。多层次模型结合FEPTs则提供了在系统、子系统、信息和组件层面上识别恐惧事件及其相关属性的方法，从而全面分析安全与安保之间的交互影响。文中通过海上自主水面舰艇（MASS）和自动驾驶互联车辆（CDV）等案例展示了这些方法的实际应用，强

本文详细解析了RACK平台及其与安全保障相关的技术。RACK是一个基于数据模型的证据整理平台，具备强大的数据处理和验证能力，支持自动创建统一资源标识符（URIs）、三级数据验证体系以及高效的SPARQL查询语言。文章介绍了如何利用RACK构建保障案例，并探讨了其在航空航天、医疗和金融等关键领域的应用。此外，还提出将NIST 800-53网络安全控制集成到安全保障案例的新模式，并展望了RACK平台未来在智能化、跨领域融合及标准统一化方面的发展趋势。

本文介绍了基于计算机辅助生成保证案例的高效框架以及RACK数据管理系统的设计与实现。重点探讨了RACK如何通过三元组存储和语义工具SemTK整合多源异构的认证证据，支持可扩展、自动化的保证案例构建。同时分析了RACK系统的优势、挑战及其未来发展方向，包括智能化、跨领域拓展与新兴技术融合等。

本文介绍了一种计算机辅助生成保证案例（AC）的方法，旨在通过分层步骤自动化证明系统在其运行环境中满足安全性要求。该方法结合了假设-保证（A/G）合同和贝叶斯网络（BN）技术，形式化AC模式并量化论证中的不确定性。框架支持自动生成和验证AC候选方案，并通过置信度评估选择最优方案。文章通过ArduPilot的高级故障安全模块和工业级航空航天系统的案例研究，展示了该方法的有效性和应用前景。尽管在处理复杂系统时面临计算资源需求和证据管理等挑战，但该方法为系统安全性评估提供了可靠的自动化支持。

本文详细解析了操作系统与虚拟机管理程序在安全关键系统中的资格认证方法，并介绍了适用于铁路、汽车、航空航天等领域的相关国际标准。同时，提出了一种自动化框架用于高效生成和验证保证案例（ACs），以提高系统可靠性论证的效率和准确性。通过实际案例分析和流程图展示，为行业提供了可参考的技术路径和应用前景。

本博客探讨了可靠的人工智能系统集成、系统保障及软件资格认证等关键议题。文章分析了人工智能在安全关键系统中应用所面临的挑战，介绍了系统可靠性设计、非确定性函数处理以及弹性工程的概念。此外，还详细描述了操作系统和管理程序资格认证方法，并以Xen管理程序在铁路基础设施中的应用为例进行了分析。同时，介绍了SASSUR研讨会在系统保障和认证领域的最新研究进展，旨在推动可信人工智能自主系统的发展。

本文探讨了开发可靠的人工智能系统所面临的挑战与解决方案，重点涵盖技术、法律、社会和环境等多个维度。通过PESTEL分析，文章评估了政治、经济和社会因素对AI系统的影响，并讨论了当前的法规及标准化活动，如UNECE法规和ISO标准。此外，文章还介绍了数据驱动工程和可解释人工智能等关键技术研究方向，并提出了应对挑战的策略与建议。最后，以自动驾驶汽车为例进行案例分析，展示了实际应用中的问题与解决方法。

本博客探讨了深度神经网络在汽车领域的安全性和鲁棒性应用，重点分析了基于循环神经网络（RNN）的压力预测模型在自动驾驶系统中的实际用例。内容涵盖人工智能标准化进展、系统设计架构、使用级别分类、模型鲁棒性评估方法、对抗攻击防御研究以及后备系统设计策略。通过结合ISO和IEC相关标准，提出了确保系统安全可靠的设计建议，为未来自动驾驶技术的发展提供了参考方向。

本文探讨了运行时自适应技术在应对意外错误和维持系统稳定运行中的作用，重点介绍了基于CRESCO框架的解决方案及其工作流程。同时，分析了深度神经网络（DNNs）在汽车安全关键场景中的应用潜力与挑战，并结合相关研究提出了确保DNN安全使用的方法。文章还讨论了当前汽车领域的功能安全标准以及未来发展方向，强调了运行时可靠性保障和AI在自主系统中的集成前景。

本博客围绕无人机系统的网络安全威胁建模和软件系统运行时自适应两大主题展开研究。在威胁建模部分，采用ThreatGet和基于本体的方法识别潜在威胁，并提出增强安全需求的建议，有效提升系统安全级别。在运行时自适应部分，结合运行时验证、过程挖掘和自动代码生成等技术，构建了高效的故障检测与自适应机制，增强了复杂软件系统的稳定性和可靠性。未来展望包括将这些方法推广到更复杂的网络环境和更多类型的软件系统中。

本文探讨了无人机系统安全保障的关键方面，包括DO-178C合规性中的需求分类与处理，以及基于威胁建模的安全方法。通过ThreatGet工具和基于本体的建模技术，分析了潜在网络威胁并验证了安全需求的有效性。最后总结了从需求分类到威胁建模对无人机系统安全性的重要性，并展望了未来的研究方向。

本文探讨了如何使安全产品符合 DO-178C 标准，详细介绍了 DO-178C 的核心概念、生命周期过程的预期输出以及项目目标。文章分析了复用已有的 Common Criteria（CC）工件的可能性，并进行了差距分析，明确了可复用和缺失的工件。同时，文章阐述了规划、开发和集成过程的具体实施步骤及应对挑战的策略，并总结了整个 DO-178C 合规性实现流程。通过合理复用 CC 工件并结合内部资源，项目成功构建了 DO-178C 认证套件，为航空安全产品的开发与认证提供了实践参考。