比较多个分类器：Nemenyi+；R中的Holm检验

我尝试将（1）中的结果作为新手复制到R中。表6是14个数据集上4个分类器的AUC：

auc <- matrix(c(
  0.763 , 0.768 , 0.771 , 0.798 ,
  0.599 , 0.591 , 0.590 , 0.569 ,
  0.954 , 0.971 , 0.968 , 0.967 ,
  0.628 , 0.661 , 0.654 , 0.657 ,
  0.882 , 0.888 , 0.886 , 0.898 ,
  0.936 , 0.931 , 0.916 , 0.931 ,
  0.661 , 0.668 , 0.609 , 0.685 ,
  0.583 , 0.583 , 0.563 , 0.625 ,
  0.775 , 0.838 , 0.866 , 0.875 ,
  1.000 , 1.000 , 1.000 , 1.000 ,
  0.940 , 0.962 , 0.965 , 0.962 ,
  0.619 , 0.666 , 0.614 , 0.669 ,
  0.972 , 0.981 , 0.975 , 0.975 ,
  0.957 , 0.978 , 0.946 , 0.970),
  nrow = 14,
  byrow = TRUE,
  dimnames = list(1 : 14, c("C4.5", "C4.5+m", "C4.5+cf", "C4.5+m+cf"))
)

Friedman chi-squared = 10.952, df = 3, p-value = 0.01199

我能从某处得到临界值2.569和相应的临界距离1.25吗

如何应用Holm测试

---

（1）

我现在正为同样的故事而挣扎。你在R中找到正确的方法和包了吗？我使用python：

crit_value=stats.f.isf（0.05，k-1，（k-1）*（m-1））

pval=stats.f.sf（FF，k-1，（k-1）*（m-1））*2

print'FF statistic=%.3f\npvalue=%.4f%%（FF，pval）

q=2.291341

cd=q*np.sqrt（k*（k+1）/6.0“alpha=0.10时的圆差为%.2f”%cd

> library(PMCMR)
> posthoc.friedman.nemenyi.test(auc)

    Pairwise comparisons using Nemenyi multiple comparison test 
             with q approximation for unreplicated blocked data 

data:  auc 

          C4.5  C4.5+m C4.5+cf
C4.5+m    0.089 -      -      
C4.5+cf   0.972 0.227  -      
C4.5+m+cf 0.062 0.999  0.170  

P value adjustment method: none