SAN
mount disk from FC-SAN
配置硬盘域、存储池、LUN、主机及LUN与与主机之间的映射。
mount disk from iSCSI
[root@qionghai11g ~]# iscsiadm -m discovery -t sendtargets -p 192.16.10.188:3260
Starting iscsid: [ OK ]
192.16.10.188:3260,1 iqn.2004-01.com.storbridge:block02-wt
192.16.10.188:3260,1 iqn.2004-01.com.storbridge:block01-wt
映射逻辑卷到Linux系统中:
[root@qionghai11g ~]# iscsiadm -m node -T iqn.2004-01.com.storbridge:block01-wt -p 192.16.10.188:3260 -l
Logging in to [iface: default, target: iqn.2004-01.com.storbridge:block01-wt, portal: 192.16.10.188,3260] (multiple)
Login to [iface: default, target: iqn.2004-01.com.storbridge:block01-wt, portal: 192.16.10.188,3260] successful.
[root@qionghai11g ~]# iscsiadm -m node -T iqn.2004-01.com.storbridge:block02-wt -p 192.16.10.188:3260 -l
Logging in to [iface: default, target: iqn.2004-01.com.storbridge:block02-wt, portal: 192.16.10.188,3260] (multiple)
Login to [iface: default, target: iqn.2004-01.com.storbridge:block02-wt, portal: 192.16.10.188,3260] successful.
设置开机自动映射
[root@qionghai11g ~]# iscsiadm -m node -T iqn.2004-01.com.storbridge:block02-wt -p 192.16.10.188:3260 --op update -n node.startup -v automatic
[root@qionghai11g ~]# iscsiadm -m node -T iqn.2004-01.com.storbridge:block01-wt -p 192.16.10.188:3260 --op update -n node.startup -v automatic
multipath
apt install multipath-tools
pvcreate /dev/mapper/mpath0
pvs
vgcreate vg01 /dev/mapper/mpatha
fdisk /dev/mapper/mpath0
ls -l /dev/mapper/
mkfs.ext3 /dev/mapper/mpath0p1 #format partition
mount /dev/mapper/mpath0p1 /ipsan/
multipath -ll
lsblk
fdisk -l
fdisk
Linux下的fdisk功能是极其强大的，用它可以划分出最复杂的分区，下面简要介绍一下它的用法：
对于IDE硬盘，每块盘有一个设备名：对应于主板的四个IDE接口，设备名依次为：/dev/hda,/dev/hdb,/dev/hdc,/dev/hdd等，
如果还有IDE Raid卡，则依次为：/dev/hde,/dev/hdf,/dev/hdg,/dev/hdh。对于SCSI硬盘，则设备名依次为/dev/sda,/dev/sdb…等等
fdisk的命令行用法为： fdisk 硬盘设备名
进入fdisk后，首先键入’m’，即可显示fdisk全部菜单。
再键入’p’,显示当前分区表状态。
键入’n’,增加一个分区，然后会提示你选择分区类型(基本分区或扩展分区)，再选择分区号(1-4)。注：MBR每块硬盘最多可划分四个主分区(包括基本分区和扩展分区)，其中：基本分区最多可划分四个，扩展分区最多可划分一个，但扩展分区内可再划分多个逻辑分区(最多几个我没试过，总之很多)。选中你要建立的分区类型和分区号后，会提示输入起始柱面，从1开始；然后再输入终止柱面，此时可输入实际的柱面数，也可用”+分区尺寸”的方式输入，如：+1024M表示在起始柱面后加上1024M。主分区的设备名依次为：/dev/hda1,/dev/hda2,/dev/hda3,/dev/hda4，逻辑分区的设备名依次为：/dev/hda5,/dev/hda6,/dev/hda7…等等。
键入’d‘,删除分区，输入分区号即可删除。注意，删除扩展分区时，将会同时删除所有的逻辑分区。
键入’t‘，改变分区标志(这是Linux的fdisk最精华的部份!)，新建的分区默认标志是83(Linux Ext2)，你可以把它改为82(Linux 交换区)、或是’b’(FAT32)、’f’(FAT32 Extend,只限于扩展分区)、’86′(NTFS)。。。等几十种类型。这样一来，使用多操作系统的朋友们就可以用Linux的fdisk划分出你想要的所有分区了!
键入’a’,切换分区激活开关。请注意：每键入一次，被选的分区就会在激活与非激活间变化一次，但你必须保证最后只有一个分区被激活。这时就用得到’p’命令了，被激活的分区上会有个’*’号。
除以上的几个命令外，还有其它几个，但不太常用。
最后，键入’w’,你对分区所做的改变被写入硬盘；键入’q’，则放弃所有的修改。
MBR/GPT
MBR中分区表的组织将磁盘的可寻址存储空间限制为2TB（232×512字节）。并且只支持4个主分区，或者3个主分区和1个扩展分区的组合。如果要创建更多分区，则需要在扩展分区内创建更多逻辑分区。
GPT 分区表磁盘支持长达 2^64 个块的卷，例如对于具有 512-字节扇区，即 9.44 ZB，并且能够拥有多达 128 个主分区。
WARNING: GPT (GUID Partition Table) detected on ‘/dev/sdb’! The util fdisk doesn’t support GPT. Use GNU Parted.
mkfs.ext3 /dev/sdb1
mount /dev/sdb1 /home
SAN
iSCSI/IP-SAN is SCSI over IP.
FC-SAN is SCSI over FC.
FC（Fibre Channel，光纤通道）协议是SAN（Storage Area Networks，存储区域网络）中使用的一种数据传输协议。SAN可以分为FC SAN和IP SAN，其中FC SAN使用FC协议族，而IP SAN使用TCP/IP协议族（例如iSCSI协议）。
在FC SAN中，通信的双方，通常一端为服务器，另一端为磁盘设备。服务器与磁盘设备之间可以通过光纤直接连接在一起（点对点架构），也可以通过FC交换机间接连接在一起（交换式架构）。
在FC SAN中，服务器和磁盘设备都统称为Node（节点），每个节点使用一个64位的地址来唯一标识，称为WWN（World Wide Name，全球名字）。FC的上层协议通过WWN识别节点并相互通信。
在FC SAN中，FC协议底层使用FC_ID进行寻址访问。FC_ID的长度为24bit，分为三个字段：Domain_ID、Area_ID和Port_ID，每个字段的长度均为8bit。
为了保证FC存储服务的安全性，通常会将物理上连通的FC SAN网络划分为多个VSAN，实现不同服务器之间的隔离访问。同时一个VSAN内的磁盘资源，又可以进一步划分为多个Zone，分别指派给不同的Port，达到访问控制的目的。
服务器需要通过光纤连接到FC存储，但用普通的光口是不行的。FC HBA(全称Host Bus Adapter)是一种专门用于FC存储通信的网卡，通常拥有光纤接口(SFP或GBIC)。每个HBA是一个FC交换对象，拥有一系列特殊的属性，包括HBA ID、Node WWN、Port WWN等参数信息。
服务器如果需要连接到FC SAN使用存储资源，需要配置一块FC HBA卡。HBA卡通常插在服务器的PCI或PCI-E插槽上，然后通过光纤连接到FC存储或FC交换机。
ceph
LVM
# lsblk
# fdisk /dev/sdb
Command (m for help): p
Command (m for help): n
Select (default p): p
Partition number (1-4, default 1): ENTER
First sector (2048-41943039, default 2048): ENTER
Last sector, +sectors or +size{
K,M,G,T,P} (2048-41943039, default 41943039): ENTER
*Created a new partition 1 of type ‘Linux’ and of size 20 GiB.*
Command (m for help): l
Command (m for help): t
Hex code (type L to list all codes): 8e
Command (m for help): p
Command (m for help): w
# partprobe
# pvcreate /dev/sdb1
# pvcreate /dev/sdc1
# pvs
#vgcreate volumegroup /dev/sdb1 /dev/sdc2
# vgs
# lvcreate -L 200M volumegroup -n LVM1
# lvs
# mkfs.ext4 /dev/volumegroup/LVM1
# mkdir /lvm_folder
# mount /dev/volumegroup/LVM1 /lvm_folder/
# df -hT
# pvcreate /dev/xvdc
# vgextend volumegroup /dev/xvdc
# lvextend -l +100%FREE /dev/volumegroup/LVM1
# resize the filesystem
Brocade FC Switch Basics
FC交换机端口的NPIV capability是默认开启的，可以用portcfgshow 0查看
Zone在SAN网络中的作用和以太网络中的VLAN有些类似，主要是把Fabric网络分区，避免不相关的设备之间相互访问。
同一时间只能有一个Zone Cfg处于激活状态
常规zone可以分为端口zone和WWN Zone：
端口划分zone和WWN划分zone无本质区别，但在使用时各有优缺点，应根据实际情况选择划分方法。端口划分zone是位置固定了，更换HBA卡不需要重新划分zone；WWN划分zone，与位置无关，可以更换与交换机的链接端口而不需要重新划分zone。
交换机长距离 L0 LE LD LS
Credit Buffer ： 当发送端向对端发送数据帧时，每发送一个帧就会计一次数，当帧计数值等于其Buffer数量时，就不能继续发送了，必须等待对方的确认信息来重新获得发送能力。这就会产生一个问题，当设备间的距离非常远时，发送端可能很快用完了自己的Buffer，但是帧还在链路上没有到达接收端，发送端只能处于等待状态，这极大的浪费了带宽，所以，Credit Buffer在远距离通信中也是必须注意和配置的一项。
ISL Trunking
传输速率
光纤通道技术在介质上传输的常用速率为1.0625Gbit/s，此速率又称为全速(Full Speed)。除此之外还有该速率的1/2，1/4，1/8倍速率，当然也有该速率的2倍数据传输速率(2.125Gbit/s)以及4倍数据传输速率(4.25Gbit/s)。而考虑到8B/10B编码以及其他的开销的情况下，在全速的情况下净负荷的传输速率为800Mb/s。
Fibre Channel architecture
- Arbitrated loop topology
- Point-to-point topology
- Switched-fabric topology
SCSI 技术则只有点到点的拓扑结构
FC网络端口类型 设备侧端口、交换机侧端口和配置端口。
设备侧端口类型：N_Port（点对点）和NL_Port（仲裁环）
交换机端口类型：
U_Port: 端口空闲
F_Port: Fabric端口模式，可以和N_Port建立连接
FL_Port: Fabric环路端口模式，FL_Port和NL_Port建立连接
G_Port: Generic端口，类似U_Port，等待转变为最终的F_Port或E_Port模式, G_Port不是一个正常工作时的状态，需要排查问题原因
E_Port: Expansion，用于和其他交换机建立互联的端口
D_Port: 诊断端口。
配置远距离端口级联
portcfglongdistance [slot/]port [distance_level] [vc_translation_link_init]
[desired_distance]
distance_level有四种：L0 LE LD LS
Some Commands
licenseshow (“Extended Fabric License”)
switchshow
portbuffershow
portcfgshow
fabricshow
zonecreate cfgcreate cfgadd cfgsave cfgenable cfgshow zoneshow
ipaddrshow ipaddrset version
licenseshow licenseadd
passwd chassisshow switchname date tstimezone tsclockserver fabricshow switchdisable configure switchenable reboot sysshutdown
fcping (received reply…; request timed out; request rejected; )
portenable slotnumber/portnumber
portcfgpersistentenable slotnumber/portnumber
portdisable slotnumber/portnumber
portcfgpersistentdisable slotnumber/portnumber
portcfgspeed 2/3 4
porterrshow errshow nsshow nsallshow portstatsshow portstatsclear
Distributed Storage
去IOE（IBM、ORACLE、EMC）
三种存储类型：块/文件/对象
块存储和文件存储是我们比较熟悉的两种主流的存储类型。二对象存储（Object-based Storage）是一种新的网络存储架构。基于对象存储技术的设备就是对象存储设备（Object-based Storage Device：OSD）。三者应用于不同的业务场景，底层都是块存储，只是对外接口上表现不一致。
三种存储方式：DAS SAN NAS
NAS使用的协议：NFS CIFS HTTP FTP
文章评论