比较两个或多个相关ROC曲线的AUC的非参数检验（R语言）

最新推荐文章于 2023-12-24 22:09:09 发布
最新推荐文章于 2023-12-24 22:09:09 发布
阅读量1.2k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： r语言 开发语言 R语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ByteGlide/article/details/132464465
R语言 专栏收录该内容
100 篇文章 ¥59.90 ¥99.00
订阅专栏
本文介绍了如何使用R语言的pROC包进行ROC曲线的AUC非参数检验，以比较两个或多个相关分类模型的性能。通过DeLong方法计算AUC并分析结果，帮助判断ROC曲线是否存在显著差异。

比较两个或多个相关ROC曲线的AUC的非参数检验（R语言）

ROC曲线是评估分类模型性能的常用工具之一。在比较两个或多个相关ROC曲线的性能时，常常需要进行AUC（Area Under the Curve）的非参数检验。在本文中，我们将介绍如何使用R语言进行这样的检验，并提供相应的源代码。

在R语言中，我们可以使用DeLong等人提出的方法进行相关ROC曲线的AUC比较。下面是一个使用pROC包进行AUC比较的示例代码：

# 安装和加载pROC包
install.packages("pROC")
library(pROC)

# 假设我们有两个相关的ROC曲线数据，分别为roc1和roc2
# 假设roc1是模型1的ROC曲线，roc2是模型2的ROC曲线
# 这里仅为示例数据，实际应根据具体情况进行替换

# 计算AUC
auc1 <- auc(roc1)
auc2 <- auc(roc2)

# 进行AUC比较
result <- roc.test(roc1, roc2, method = "delong")

# 输出结果
print(result)

在上述代码中，我们首先安装并加载了pROC包。接下来，我们假设我们有两个相关的ROC曲线数据，分别为roc1和roc2。我们使用auc()函数计算了每个曲线的AUC值。然后，我们使用roc.test()函数进行AUC比较，其中method参数被设置为"delong"，表示使用DeLong方法进行比较。最后，我们打印出了比较

了解本专栏 订阅专栏 解锁全文
比较两个或多个相关ROC曲线的AUC的非参数检验方法（使用R语言）
ByteWhiz的博客
08-11 1185
接下来，我们需要准备数据。假设我们有两个相关的ROC曲线，每个曲线都有相应的真阳性率（True Positive Rate，TPR）和假阳性率（False Positive Rate，FPR）数据。我们使用了非参数检验方法中的Mann-Whitney U检验来判断两个ROC曲线是否存在显著差异，并使用“ggplot2”包进行了可视化展示。上述代码中，我们使用“roc”函数计算了每个ROC曲线的详细信息，包括AUC。在数据准备完成后，我们可以使用“roc.test”函数来进行相关ROC曲线的AUC比较。
R语言deLong‘s test：使用自定义函数检验两个ROC曲线的差异是否具有统计显著性、比较两个或多个相关ROC曲线的AUC的非参数检验
statistics+insight+vista+power
02-25 639
R语言deLong's test：使用自定义函数检验两个ROC曲线的差异是否具有统计显著性、比较两个或多个相关ROC曲线的AUC的非参数检验
多模型ROC曲线比较分析 Python
code_welike的博客
05-25 574
这里我们使用make_classification函数来生成数据集，并将类别数量设置为2，特征数量设置为10，噪声设置为0.1，随机状态设置为0。在本文中，我们将使用scikit-learn库来训练和测试模型，并使用matplotlib库来绘制ROC曲线。在本文中，我们将使用随机森林和逻辑回归两种分类器，并比较它们的ROC曲线。运行上述代码，我们可以得到一个绘制有随机森林和逻辑回归ROC曲线的图表。这就是如何使用Python对多个最优模型的ROC曲线进行对比分析的简单教程。
【R语言】AUC值的检验(单样本t检验)
JianJuly的博客
01-08 2819
来源 函数：t.test 目的 判断模型的AUC值与多位医生的AUC值（平均水平）是否有显著差异 代码 auc_rads = c(0.750, 0.761, 0.854, 0.729, 0.834, 0.851) # 六位医生诊断的AUC值 auc_cnn = 0.884 # 模型的AUC值 t.test(auc_rads, alternative = "two.sided", mu=a...
绘制并比较两条ROC曲线的AUC或偏AUC差异
CodeGu的博客
08-26 698
在R语言中，可以使用pROC包来绘制和比较两条ROC曲线的AUC（Area Under the Curve）或偏AUC（Partial Area Under the Curve）的差异。要比较两条ROC曲线的AUC或偏AUC的差异，可以使用pROC包的roc.test()函数进行假设检验。需要注意的是，如果希望比较偏AUC的差异，可以在roc.test()函数中设置partial.auc参数为TRUE，并指定感兴趣的偏AUC的起始和终止阈值。绘制并比较两条ROC曲线的AUC或偏AUC差异。
R语言怎么比较两个模型C指数,手把手教你比较两个模型的预测能力
weixin_29129919的博客
05-22 4615
原标题：手把手教你比较两个模型的预测能力本文首发于“百味科研芝士”微信公众号，转载请注明：百味科研芝士，Focus科研人的百味需求。各位科研芝士的朋友，大家好。最近学习到用NRI进行模型比较，起初当听到NRI这个词的时候，我的表情可能是这样的。 其实当时我还真不知道这个概念，不过奈何我们大家都爱学习，接着一顿操作猛如虎，来学习一个这个知识点，今天就把自己学习的一点，分享给大家，希望对大家能有帮助。...
模型评估（二）—— ROC, AUC, 和ROC曲线绘制过程
weixin_46490424的博客
03-10 5012
ROC的全称是Receiver Operating Characteristic，也是模型评估中的重要概念之一。本文将结合sklearn.metrics.roc_curve官方文档的例子来说明ROC曲线的绘制过程, 以及AUC的计算。 @[TPR和FPR] @[官方文档的例子] @[ROC Curve绘制过程] @[AUC的计算] 1) TPR和FPR 在上文介绍过TP,TN,FP,FN和Reca...
多个最佳模型的ROC曲线对比分析 Python
TechGlide的博客
09-05 434
ROC曲线能够通过比较分类器在不同阈值下的真正例率（True Positive Rate，TPR）和假正例率（False Positive Rate，FPR）来帮助我们理解模型的性能。通过对比不同模型的ROC曲线和AUC值，我们可以直观地了解模型的分类性能。图表中的曲线越靠近左上角，表示模型的性能越好。同时，我们还计算并显示了每个模型的AUC（曲线下面积）值，AUC值越接近1，表示模型的性能越好。通过对比不同模型的曲线和AUC值，我们可以更好地评估和选择最佳模型，从而提升分类任务的性能。
Delong检验AUC之间的比较
weixin_73101319的博客
12-24 1561
然后选ROC curves 下的Comparision of ROC curves进入以下界面。然后我使用MedCalc进行了比较，结果是一致的。ROC的显著性检验：Delong test。
R语言两个ROC的比较
笑不语的博客
03-19 6357
一、概述 ROC是以真阳性率（灵敏度）为纵坐标，以假阳性率（特异度）为纵坐标所绘制的曲线，可以通过不同截断点下的ROC曲线下的面积（AUC），可用于判断该检验方法的诊断价值，正好解决了敏感度和特异度的选择问题。如果AUC小于0.5则表示试验无诊断价值，另外AUC面积越大，表明实验的准确性越高。但是如果两个试验参数的AUC面积都大于0.5，那我们该如何比较这两个ROC指标的诊断能力是否有差别呢？ 二、数据集展示 这里就不以科研数据来做展示了，防止泄露个人研究信息，统一采用R语言自带的数据集，接下来就使用pRO
分类模型评估之ROC-AUC曲线和PRC曲线
热门推荐
皮皮blog
06-30 10万+
http://blog.csdn.net/pipisorry/article/details/51788927 ROC曲线和AUC ROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。 AUC是现...
Delong test
liuqiang3的博客
11-02 2万+
最近需要做AUC的显著性检验，delong test是比较常见的AUC显著性检验的方法。我大体研究了一下。 原理： 1.以两个不同的模型对肿瘤良恶性进行分类，其中vgg的AUC为A1A_1A1​,svm结果得到的AUC为A2A_2A2​，delong test就是首先计算两者AUC差值θ=A1−A2\theta = A_1-A_2θ=A1​−A2​ 2.然后根据计算出A1A_1A1​和A2A_2...
ROC(AUC)的显著性检验
医学和生信笔记的博客
09-15 9914
本文首发于公众号：医学和生信笔记 “ 医学和生信笔记，专注R语言在临床医学中的使用，R语言数据分析和可视化。主要分享R语言做医学统计学、meta分析、网络药理学、临床预测模型、机器学习、生物信息学等。 R语言临床预测模型系列文章，目前已更新20+篇内容，持续更新中，欢迎订阅！ 今天说一说ROC(AUC)的比较。 二分类资料的ROC比较 可以通过pROC包实现的，使用其中roc.test()函数可实现两个ROC 的Delong检验。 使用pROC包的aSAH数据，其中outcome列是结果变量，1代表Goo
Delong test比较两个ROC曲线的性能
Darlewo
04-11 2万+
我们知道ROC曲线的性能可以通过曲线下面积即AUC来得到，那么如何通过统计学的角度来比较两个ROC曲线呢，就是这里说的就是Delong test，可以得到两个曲线的P值，p<0.05可以看作两个曲线有较大差异。 Matlab代码见https://github.com/PamixSun/DeLongUI 可以得到曲线的AUC值，方差和两个曲线的协方差，p值 Delong test的具体理...
python 线性回归 统计检验 p值_医学统计与R语言：样本方差的抽样分布
weixin_39875760的博客
11-09 1033
微信公众号：医学统计与R语言如果你觉得对你有帮助，欢迎转发输入1： rdata=matrix(rnorm(1000*6,0,3),6)rvar=apply(rdata,2,var)mean(rvar)结果1： [1]8输入2： var(rvar)结果2： [1]32=2*81/5输入3： library(ggplot2)p1<-ggplot(data...
Delong检验
Lantary的博客
10-26 5560
用于比较两个ROC曲线的性能，Delong检验是用于AUC面积的显著性检验的。如果两个模型的AUC大小有异但是没有通过Delong检验，那么也不能说明这两个模型有显著的不同。总之，Delong检验就是一种统计学上用于检验AUC显著性的检验方法。
DeLong测试 计算两个ROC曲线之间的统计意义
sunflower_sara的机器学习园地
05-16 3万+
本人原帖首发于丁香园。 投了一篇文章，审稿意见说我给出的3个不同模型的roc曲线之间不能只比较AUC，需要看不同ROC的统计意义 问了一下别人查了半天才知道DeLong测试是什么。 看了 Genetic Variants in Fanconi Anemia Pathway GenesBRCA2 and FANCA Predict Melanoma Survival 这个文章，知道...
R语言生成多模型预测结果仿真数据、使用pROC包计算每一个模型的roc曲线，使用roc.test函数对两个模型roc曲线执行德龙检验（delong test）
statistics+insight+vista+power
06-12 5144
R语言生成多模型预测结果仿真数据、使用pROC包计算每一个模型的roc曲线，使用roc.test函数对两个模型roc曲线执行德龙检验（delong test）
如何用GraphPad Prism比较两条ROC曲线的AUC值？
最新发布
03-26
<think>好的，我现在需要回答用户关于如何用GraphPad Prism比较两条ROC曲线的AUC值的问题。首先，我得回忆一下自己之前使用GraphPad Prism的经验，或者查一下相关资料确保步骤正确。可能用户是研究人员或者学生，他们需要比较两个ROC曲线的AUC是否有统计学差异，比如在医学诊断测试中比较两种方法的准确性。 首先，我应该考虑GraphPad Prism是否支持直接比较两个AUC值。根据我之前的知识，GraphPad Prism可以做ROC分析，但比较两个AUC可能需要一些特定的步骤，比如使用内置的统计检验或者通过某些分析工具。 接下来，我需要分解步骤。用户可能需要先创建ROC曲线，然后计算各自的AUC，再进行统计比较。可能涉及到的步骤包括数据输入的方式，选择正确的分析类型，设置比较参数等。同时，需要注意数据是否符合比较的前提条件，比如是否配对数据，或者是否独立样本，这可能会影响检验方法的选择。 然后，我需要考虑可能的误区。例如，用户可能误以为直接查看两个AUC值的大小就能判断显著性，而实际上必须进行统计检验。另外，GraphPad Prism的不同版本可能在菜单选项上有所不同，可能需要提醒用户注意版本差异，或者建议查看帮助文档。 还需要确认比较AUC的方法，比如是否使用DeLong检验、Mann-Whitney检验或其他方法。GraphPad Prism具体使用哪种方法，可能需要查阅文档或验证步骤。例如，在分析结果中是否有提供AUC的标准误或置信区间，从而进行Z检验，或者是否有直接比较两个曲线的选项。 可能用户还会关心结果解读，比如p值的意义，如何判断差异是否显著。需要确保在回答中包含这些信息，帮助用户全面理解输出结果。 现在，我需要将这些思考整理成一个结构化的步骤指南，确保每个步骤清晰，并指出注意事项。同时，提醒用户关于数据输入格式、检验方法的选择和结果解释的关键点，避免常见错误。 最后，检查是否有遗漏的步骤，比如是否需要先进行正态性检验或其他假设检验，或者是否需要特定的数据排列方式。确保回答准确可靠，必要时建议用户参考官方文档或寻求进一步帮助。</think>以下是使用GraphPad Prism比较两条ROC曲线AUC值的分步指南： --- ### **步骤1：数据输入格式** 1. 数据需按 **分组形式** 组织： - **Group A**：包含第一组（如疾病组）的连续测量值和二分类结果（如0/1）。 - **Group B**：包含第二组（如对照组）的连续测量值和二分类结果。 --- ### **步骤2：生成ROC曲线** 1. 点击 `Analyze` → 选择 **`Column analyses`** → **`ROC curve`**。 2. 在对话框中： - 勾选 **`Compare ROC curves`** 选项。 - 选择 **`Two data sets`**（若比较独立组）或 **`Paired`**（若数据配对）。 3. 确认后生成两条ROC曲线及AUC值。 --- ### **步骤3：AUC比较的统计检验** 1. **检验方法**： - GraphPad Prism默认使用 **Mann-Whitney U检验**（非参数法）比较AUC差异。 - 若数据满足正态性假设，可选择 **Z检验**（需勾选 `Assume Gaussian distributions`）。 2. 查看结果： - 报告 **AUC差值**、**95%置信区间** 及 **P值**。 - **P < 0.05** 表示两条曲线AUC差异显著。 --- ### **关键注意事项** 1. **数据独立性**： - 若两组数据来自同一受试者（配对设计），需选择 **Paired** 分析。 2. **样本量要求**： - 小样本可能导致检验效能不足，建议结合置信区间综合判断。 3. **结果验证**： - 可通过 **Bootstrap法**（重复抽样）验证AUC差异的稳健性（需手动设置）。 --- ### **结果解读示例** - **输出表格**： ``` AUC (Group A): 0.85 [95% CI: 0.76–0.93] AUC (Group B): 0.72 [95% CI: 0.62–0.82] Difference: 0.13 [95% CI: 0.01–0.25], P = 0.038 ``` - **结论**：两组AUC差异具有统计学意义（P < 0.05）。 --- ### **常见问题** - **Q**: 如何调整多重比较？ **A**: 若比较多组，需在 `Analysis Settings` 中启用 **Bonferroni校正**。 - **Q**: AUC接近时如何提高灵敏度？ **A**: 增大样本量或使用 **Delong检验**（需通过R/Python扩展分析）。 通过以上步骤，可系统评估两条ROC曲线的诊断效能差异。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值