對分布式存儲系統的優(yōu)化離不開(kāi)以下幾點(diǎn)：

1. 硬件層面

• 硬件規劃

• SSD選擇

• BIOS設置

2. 軟件層面

• Linux OS

• Ceph Configurations

• PG Number調整

• CRUSH Map

3. 其他因素

硬件層面

1、CPU

• ceph-osd進(jìn)程在運行過(guò)程中會(huì )消耗CPU資源，所以一般會(huì )為每一個(gè)ceph-osd進(jìn)程綁定一個(gè)CPU核上。

• ceph-mon進(jìn)程并不十分消耗CPU資源，所以不必為ceph-mon進(jìn)程預留過(guò)多的CPU資源。

• ceph-msd也是非常消耗CPU資源的，所以需要提供更多的CPU資源。

2、內存

ceph-mon和ceph-mds需要2G內存，每個(gè)ceph-osd進(jìn)程需要1G內存。

3、網(wǎng)絡(luò )

萬(wàn)兆網(wǎng)絡(luò )現在基本上是跑Ceph必備的，網(wǎng)絡(luò )規劃上，也盡量考慮分離cilent和cluster網(wǎng)絡(luò )。網(wǎng)絡(luò )接口上可以使用bond來(lái)提供高可用或負載均衡。

4、SSD

SSD在ceph中的使用可以有幾種架構

• a、ssd作為Journal

• b、ssd作為高速ssd pool(需要更改crushmap)

• c、ssd做為tier pool

5、BIOS

• a、開(kāi)啟VT和HT，VH是虛擬化云平臺必備的，HT是開(kāi)啟超線(xiàn)程單個(gè)處理器都能使用線(xiàn)程級并行計算。

• b、關(guān)閉節能設置，可有一定的性能提升。

• c、NUMA思路就是將內存和CPU分割為多個(gè)區域，每個(gè)區域叫做NODE,然后將NODE高速互聯(lián)。node內cpu與內存訪(fǎng)問(wèn)速度快于訪(fǎng)問(wèn)其他node的內存， NUMA可能會(huì )在某些情況下影響ceph-osd 。解決的方案，一種是通過(guò)BIOS關(guān)閉NUMA，另外一種就是通過(guò)cgroup將ceph-osd進(jìn)程與某一個(gè)CPU Core以及同一NODE下的內存進(jìn)行綁定。但是第二種看起來(lái)更麻煩，所以一般部署的時(shí)候可以在系統層面關(guān)閉NUMA。CentOS系統下，通過(guò)修改/etc/grub.conf文件，添加numa=off來(lái)關(guān)閉NUMA。

軟件層面

1、Kernel pid max

echo 4194303 > /proc/sys/kernel/pid_max

2、設置MTU，交換機端需要支持該功能，系統網(wǎng)卡設置才有效果

配置文件追加MTU=9000

3、read_ahead, 通過(guò)數據預讀并且記載到隨機訪(fǎng)問(wèn)內存方式提高磁盤(pán)讀操作

echo "8192" > /sys/block/sda/queue/read_ahead_kb

4、swappiness, 主要控制系統對swap的使用

echo "vm.swappiness = 0"/>etc/sysctl.conf ;  sysctl –p

5、I/O Scheduler，SSD要用noop，SATA/SAS使用deadline

echo "deadline" >/sys/block/sd[x]/queue/scheduler
echo "noop" >/sys/block/sd[x]/queue/scheduler

6、ceph.conf 配置選項

[global]#全局設置
fsid = 88caa60a-e6d1-4590-a2b5-bd4e703e46d9    #集群標識ID 
mon host = 10.0.1.21,10.0.1.22,10.0.1.23       #monitor IP 地址
auth cluster required = cephx                  #集群認證
auth service required = cephx                  #服務(wù)認證
auth client required = cephx                   #客戶(hù)端認證
osd pool default size = 2                      #最小副本數
osd pool default min size = 1        #PG 處于 degraded 狀態(tài)不影響其 IO 能力,min_size是一個(gè)PG能接受IO的最小副本數
osd pool default pg num = 128        #pool的pg數量
osd pool default pgp num = 128       #pool的pgp數量
public network = 10.0.1.0/24         #公共網(wǎng)絡(luò )(monitorIP段) 
cluster network = 10.0.1.0/24        #集群網(wǎng)絡(luò )
max open files = 131072   #默認0#如果設置了該選項，Ceph會(huì )設置系統的max open fds
mon initial members = controller1, controller2, compute01 
#初始monitor (由創(chuàng  )建monitor命令而定)
##############################################################
[mon]
mon data = /var/lib/ceph/mon/ceph-$id
mon clock drift allowed = 1       #默認值0.05，monitor間的clock drift
mon osd min down reporters = 13   #默認值1，向monitor報告down的最小OSD數
mon osd down out interval = 600   #默認值300，標記一個(gè)OSD狀態(tài)為down和out之前ceph等待的秒數
##############################################################
[osd]
osd data = /var/lib/ceph/osd/ceph-$id
osd journal size = 20000 #默認5120，osd journal大小
osd journal = /var/lib/ceph/osd/$cluster-$id/journal #osd journal位置
osd mkfs type = xfs                     #格式化系統類(lèi)型
osd mkfs options xfs = -f -i size=2048  #強制格式化
filestore xattr use omap = true         #默認false，為XATTRS使用object map，EXT4文件系統時(shí)使用，XFS或者btrfs也可以使用
filestore min sync interval = 10   #默認0.1，從日志到數據盤(pán)最小同步間隔(seconds)
filestore max sync interval = 15   #默認5，從日志到數據盤(pán)最大同步間隔(seconds)
filestore queue max ops = 25000    #默認500，數據盤(pán)最大接受的操作數
filestore queue max bytes = 1048576000      #默認100，數據盤(pán)一次操作最大字節數(bytes
filestore queue committing max ops = 50000  #默認500，數據盤(pán)能夠commit的操作數
filestore queue committing max bytes = 10485760000 #默認100，數據盤(pán)能夠commit的最大字節數(bytes)
filestore split multiple = 8 #默認值2，#前一個(gè)子目錄分裂成子目錄中的文件的最大數量
filestore merge threshold = 40 #默認值10，#前一個(gè)子類(lèi)目錄中的文件合并到父類(lèi)的最小數量
filestore fd cache size = 1024 #默認值128，#對象文件句柄緩存大小
journal max write bytes = 1073714824 #默認值1048560，journal一次性寫(xiě)入的最大字節數(bytes)
journal max write entries = 10000  #默認值100，journal一次性寫(xiě)入的最大記錄數
journal queue max ops = 50000      #默認值50，journal一次性最大在隊列中的操作數
journal queue max bytes = 10485760000 #默認值33554432，journal一次性最大在隊列中的字節數(bytes)
osd max write size = 512   #默認值90，OSD一次可寫(xiě)入的最大值(MB)
osd client message size cap = 2147483648  #默認值100，客戶(hù)端允許在內存中的最大數據(bytes)
osd deep scrub stride = 131072   #默認值524288，在Deep Scrub時(shí)候允許讀取的字節數(bytes)
osd op threads = 16    #默認值2，并發(fā)文件系統操作數
osd disk threads = 4   #默認值1，#OSD密集型操作例如恢復和Scrubbing時(shí)的線(xiàn)程
osd map cache size = 1024    #默認值500，保留OSD Map的緩存(MB)
osd map cache bl size = 128  #默認值50，OSD進(jìn)程在內存中的OSD Map緩存(MB)
osd mount options xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier" #默認值rw,noatime,inode64，Ceph OSD xfs Mount選項
osd recovery op priority = 2   #默認值10，恢復操作優(yōu)先級，取值1-63，值越高占用資源越高
osd recovery max active = 10    #默認值15，同一時(shí)間內活躍的恢復請求數 
osd max backfills = 4           #默認值10，一個(gè)OSD允許的最大backfills數
osd min pg log entries = 30000  #默認值3000，修建PGLog是保留的最大PGLog數
osd max pg log entries = 100000  #默認值10000，修建PGLog是保留的最大PGLog數
osd mon heartbeat interval = 40  #默認值30，OSD ping一個(gè)monitor的時(shí)間間隔（默認30s）
ms dispatch throttle bytes = 1048576000 #默認值 104857600，等待派遣的最大消息數
objecter inflight ops = 819200    #默認值1024 ，客戶(hù)端流控，允許的最大未發(fā)送io請求數，超過(guò)閥值會(huì )堵塞應用io，為0表示不受限
osd op log threshold = 50       #默認值5，#一次顯示多少操作的log
osd crush chooseleaf type = 0   #默認值為1，CRUSH規則用到chooseleaf時(shí)的bucket的類(lèi)型
##############################################################
[client]
rbd cache = true            #默認值 true ，RBD緩存
rbd cache size = 335544320  #默認值33554432，RBD緩存大小(bytes)
rbd cache max dirty = 134217728 #默認值25165824，緩存為write-back時(shí)允許的最大dirty字節數(bytes)，如果為0，使用write-through
rbd cache max dirty age = 30 #默認值1，在被刷新到存儲盤(pán)前dirty數據存在緩存的時(shí)間(seconds)
rbd cache writethrough until flush = false 
#默認值true，該選項是為了兼容linux-2.6.32之前的virtio驅動(dòng)，避免因為不發(fā)送flush請求，數據不回寫(xiě)。
#設置該參數后，librbd會(huì )以writethrough的方式執行io，直到收到第一個(gè)flush請求，才切換為writeback方式。
rbd cache max dirty object = 2   
#默認值0，最大的Object對象數，默認為0，表示通過(guò)rbd cache size計算得到，librbd默認以4MB為單位對磁盤(pán)Image進(jìn)行邏輯切分。
#每個(gè)chunk對象抽象為一個(gè)Object；librbd中以Object為單位來(lái)管理緩存，增大該值可以提升性能。
rbd cache target dirty = 235544320 
#默認值16777216，開(kāi)始執行回寫(xiě)過(guò)程的臟數據大小，不能超過(guò) rbd_cache_max_dirty

7、PG Number

PG和PGP數量一定要根據OSD的數量進(jìn)行調整，計算公式如下，但是最后算出的結果一定要接近或者等于一個(gè)2的指數。

Total PGs = (Total_number_of_OSD * 100) / max_replication_count

例：有100個(gè)osd，2副本，5個(gè)pool

Total PGs =100*100/2=5000

每個(gè)pool 的PG=5000/5=1000，那么創(chuàng )建pool的時(shí)候就指定pg為1024

ceph osd pool create pool_name 1024

8、修改crush map

Crush map可以設置不同的osd對應到不同的pool，也可以修改每個(gè)osd的weight

9、其他因素

ceph osd perf

通過(guò)osd perf可以提供磁盤(pán)latency的狀況，如果延時(shí)過(guò)長(cháng)，應該剔除osd