ybdesire的专栏

AutoPatchBench里面包含了 136 个在实际代码库中（通过模糊测试发现的 C/C++ 漏洞），以及来自 ARVO 数据集的经过验证的修复方案。

Jinja2 模板引擎在处理模板时执行了攻击者注入的恶意代码，从而引发了严重的安全问题，如敏感信息泄露、服务器被恶意控制

PurpleLlama包含多个关键工具和评估基准，用于提升LLM的安全性：（1）CyberSec Eval：网络安全评估工具，用于量化LLM在网络安全方面的风险，包括生成恶意代码的可能性、不安全代码建议频率以及协助网络攻击的能力。（2）Llama Guard：输入输出保护工具，用于过滤和检查LLM的输入输出内容，防止生成危险输出或被黑客利用。（3）Prompt Guard：提示保护工具，用于检测和阻止恶意提示注入，确保基于LLM的应用程序的安全性。

本文讲解了运行promptfoo做大模型安全性测评的过程以及结果分析

本文汇总了，大语言模型在用户输入prompt的操作后，大语言模型输出相应结果，这个过程中遇到的两大类安全问题，8种“prompt安全”问题与6种“内容安全”问题。