Caching Proxmox ceph dd速度仅为10MB/s

我将Proxmox与ceph和1Gbit网络一起使用。 虚拟机i hvae尝试virtio/scsi，不使用缓存和直写。 ceph配置是proxmox的标准配置

当文件大于63MB时，速度仅为10MB/s

60+0 Datensätze ein
60+0 Datensätze aus
62914560 Bytes (63 MB) kopiert, 0,0877214 s, 717 MB/s
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 2,17763 s, 30,8 MB/s
512+0 Datensätze ein
512+0 Datensätze aus
536870912 Bytes (537 MB) kopiert, 48,1766 s, 11,1 MB/s
1+0 Datensätze ein
1+0 Datensätze aus
1073741824 Bytes (1,1 GB) kopiert, 99,2818 s, 10,8 MB/s
1
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 0,0943925 s, 711 MB/s
2
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 0,0984773 s, 681 MB/s
3
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 0,0967093 s, 694 MB/s
4
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 1,35656 s, 49,5 MB/s
5
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 4,29177 s, 15,6 MB/s
6
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 5,40411 s, 12,4 MB/s
7
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 6,03581 s, 11,1 MB/s
8
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 5,76326 s, 11,6 MB/s
9
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 7,21212 s, 9,3 MB/s
10
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 6,4318 s, 10,4 MB/s

此时的日志位于同一osd上。 配置： 3台服务器，一台服务器上有2x2tb 池：3/1-我也测试了池2/1

ceph配置：

[global]
     auth client required = cephx
     auth cluster required = cephx
     auth service required = cephx
     cluster network = 192.168.3.0/24
     filestore xattr use omap = true
     fsid = *****************************
     keyring = /etc/pve/priv/$cluster.$name.keyring
     osd journal size = 5120
     osd pool default min size = 1
     public network = 192.168.3.0/24

hdparm测试在vm virtio/scsi上正常：

/dev/vda:
Timing cached reads:   11098 MB in  2.00 seconds = 5554.98 MB/sec
Timing buffered disk reads: 670 MB in  3.00 seconds = 223.28 MB/sec

/dev/vda2:
Timing cached reads:   9908 MB in  2.00 seconds = 4958.65 MB/sec
Timing buffered disk reads: 152 MB in  3.12 seconds =  48.79 MB/sec


/dev/sda:
Timing cached reads:   11194 MB in  2.00 seconds = 5601.71 MB/sec
Timing buffered disk reads: 792 MB in  3.01 seconds = 263.34 MB/se

/dev/sda2:
Timing cached reads:   10372 MB in  2.00 seconds = 5190.08 MB/sec
Timing buffered disk reads: 138 MB in  3.17 seconds =  43.55 MB/sec

但在DD上，速度仅为10MB/s

60+0 Datensätze ein
60+0 Datensätze aus
62914560 Bytes (63 MB) kopiert, 0,0877214 s, 717 MB/s
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 2,17763 s, 30,8 MB/s
512+0 Datensätze ein
512+0 Datensätze aus
536870912 Bytes (537 MB) kopiert, 48,1766 s, 11,1 MB/s
1+0 Datensätze ein
1+0 Datensätze aus
1073741824 Bytes (1,1 GB) kopiert, 99,2818 s, 10,8 MB/s
1
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 0,0943925 s, 711 MB/s
2
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 0,0984773 s, 681 MB/s
3
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 0,0967093 s, 694 MB/s
4
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 1,35656 s, 49,5 MB/s
5
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 4,29177 s, 15,6 MB/s
6
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 5,40411 s, 12,4 MB/s
7
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 6,03581 s, 11,1 MB/s
8
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 5,76326 s, 11,6 MB/s
9
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 7,21212 s, 9,3 MB/s
10
64+0 Datensätze ein
64+0 Datensätze aus
67108864 Bytes (67 MB) kopiert, 6,4318 s, 10,4 MB/s

如何查找问题并解决