Kubernetes手記（10）- POD 存儲卷

十 POD 存儲卷

大部分有狀態(tài)的應(yīng)用都有持久存儲，在 Docker 上我們將容器所需要的存儲卷放在宿主機上，但是 k8s 上不行，因為 POD 會被在不同的 node 節(jié)點上創(chuàng)建刪除，所以 k8s 需要一套另外的存儲卷機制，它能脫離節(jié)點為整個集群提供持久存儲。

k8s 提供了多種不同的存儲卷，k8s 中存儲卷屬于 POD 而不是容器，POD 可以掛載，POD 為什么能有存儲卷呢？這是因為在所有節(jié)點上運行了一個 Pause 的鏡像，它是 POD 的基礎(chǔ)架構(gòu)容器，它擁有存儲卷，同一個 POD 內(nèi)的所有容器是一個網(wǎng)絡(luò)名稱空間的。

10.1 卷的類型

查看 POD 支持的存儲類型：kubectl explain pods.spec.volumes

HostPath：在節(jié)點本地新建一個路徑，與容器建立關(guān)聯(lián)關(guān)系，但節(jié)點掛了的數(shù)據(jù)也不存在了，所以也不具有持久性，容器被調(diào)度到別的 node 時候不能跨節(jié)點使用HostPath。

Local：直接使用節(jié)點的設(shè)備、也支持一個目錄類似于 HostPath。

EmptyDir：只在節(jié)點本地使用，一旦 POD 刪除，存儲卷也會刪除，它不具有持久性，當臨時目錄或者緩存。

網(wǎng)絡(luò)存儲：iSCSI、NFS、Cifs、glusterfs、cephfs、EBS（AWS)、Disk（Azone）

10.2 容器掛載選項

在 K8S 中卷是屬于 POD 的，而不是容器，所以卷的定義在 POD 中，一個 POD 中可以定義多個卷。

在 POD 中掛載使用，kubectl explain pods.spec.containers.volumeMounts

apiVersion: v1 kind: Pod metadata: name: myapp namespace: default labels: app: myapp spec: containers: - name: myapp image: ikubernetes/myapp:v1 volumeMounts <[]Object> # 卷掛載對象 mountPath # 掛載路徑 mountPropagation # 確定掛載如何從主機傳播到容器 name # 掛載哪個卷 readOnly # 是否只讀掛載 subPath # 掛載在子路徑下 subPathExpr # 與 subPath 類似，掛載在子路徑下，不同的是可以使用 $(VAR_NAME) 表示容器擴展這個變量

10.3 節(jié)點存儲

10.3.1 hostpath存儲卷

在宿主機的路徑掛載到 POD 上，POD 刪除后，卷數(shù)據(jù)是不會隨之刪除的，但如果 node 節(jié)點掛掉，那么數(shù)據(jù)有可能丟失，如果 POD 被調(diào)度到其他的節(jié)點，那么原來卷的數(shù)據(jù)就訪問不到了。

https://kubernetes.io/docs/concepts/storage/volumes/#hostpath

定義參數(shù)，kubectl explain pods.spec.volumes.hostPath

path # 主機上目錄的路徑。 如果路徑是符號鏈接，則會跟隨真實路徑的鏈接。 type # 見下表

示例

apiVersion: v1 kind: Pod metadata: name: myapp namespace: default labels: app: myapp spec: containers: - name: myapp image: ikubernetes/myapp:v1 volumeMounts: # 容器掛載哪些卷 - name: webstore # 掛載哪個卷 mountPath: /usr/share/nginx/html # 掛載到容器內(nèi)哪個目錄 readOnly: false # 是否只讀 volumes: # 存儲卷屬于POD的（不屬于容器) - name: webstore # 存儲卷對象名字 hostPath: # hostpath 類型的存儲卷對象 path: /data/myapp # 處于宿主機的目錄 type: DirectoryOrCreate # 不存在則創(chuàng)建

10.3.2 gitRepo卷

將 git 倉庫的內(nèi)容當作存儲使用，在 POD 創(chuàng)建時候連接到倉庫，并拉取倉庫，并將它掛載到容器內(nèi)當作一個存儲卷。

它其實是建立在 emptyDir 的基礎(chǔ)上，但是對卷的操作不會同步到 gitrepo 上。

注意：需要在各運行pod的node節(jié)點上安裝git工具，用于git的拉取

apiVersion: v1 kind: Pod metadata: labels: run: gitrepo name: gitrepo spec: containers: - image: nginx:latest name: gitrepo volumeMounts: - name: gitrepo mountPath: /usr/share/nginx/html volumes: - name: gitrepo gitRepo: repository: "https://gitee.com/rocket049/mysync.git" revision: "master"

10.3.3 emptyDir緩存卷

它使用宿主機一個目錄作為掛載點，隨著 POD 生命周期的結(jié)束，其中的數(shù)據(jù)也會丟失，但是它有一個非常大的優(yōu)點就是可以使用內(nèi)存當作存儲空間掛載使用。

它可以用在 POD 中兩個容器中有一些數(shù)據(jù)需要共享時候選用。

定義 emptyDir 參數(shù)，kubectl explain pods.spec.volumes.emptyDir

medium # 使用 "" 表示使用 Disk 來存儲，使用 Memory 表示使用內(nèi)存 sizeLimit # 限制存儲空間的大小

使用示例

apiVersion: v1 kind: Pod metadata: name: pod-volume-demo namespace: default labels: app: myapp tier: frontend spec: volumes: - name: html emptyDir: {} # 使用磁盤，且沒有容量限制 containers: - name: myapp image: ikubernetes/myapp:v1 imagePullPolicy: IfNotPresent volumeMounts: - name: html mountPath: /usr/share/nginx/html/ ports: - name: http containerPort: 80 - name: https containerPort: 443 - name: busybox image: busybox:latest imagePullPolicy: IfNotPresent volumeMounts: - name: html mountPath: /data/ command: - "/bin/sh" - "-c" - "while true; do date >> /data/index.html; sleep 10; done"

使用示例

apiVersion: v1 kind: Pod metadata: name: pod-volume-demo namespace: default labels: app: myapp tier: frontend spec: containers: - name: myapp image: ikubernetes/myapp:v1 imagePullPolicy: IfNotPresent volumeMounts: - name: html mountPath: /usr/share/nginx/html/ ports: - name: http containerPort: 80 - name: https containerPort: 443 - name: busybox image: busybox:latest imagePullPolicy: IfNotPresent volumeMounts: - name: html mountPath: /data/ command: - "/bin/sh" - "-c" - "while true; do date >> /data/index.html; sleep 10; done" volumes: - name: html emptyDir: medium: "" sizeLimit: 1536Mi

10.4 網(wǎng)絡(luò)存儲

網(wǎng)絡(luò)存儲，就是脫離了節(jié)點生命周期的存儲設(shè)備，即使 pod 被調(diào)度到別的 node 節(jié)點上，仍然可以掛載使用其中的數(shù)據(jù)。

10.4.1 nfs

nfs 服務(wù)器是存在于集群之外的服務(wù)器，它不受 node 節(jié)點的影響，因而在 node 節(jié)點宕機后仍然能夠提供持久存儲給其他 POD。

在 k8s 的 node 找一個主機，安裝配置 nfs 服務(wù)器并啟動

$ yum install nfs-utils # 安裝 nfs 服務(wù) $ mkdir -p /data/volumes # 創(chuàng)建 volume 卷目錄 echo '/data/volumes 172.16.100.0/16(rw,no_root_squash)' >> /etc/exports # 配置 nfs 服務(wù)器 $ systemctl start nfs # 啟動 nfs 服務(wù)器 $ ss -tnl # 確認監(jiān)聽端口，nfs 監(jiān)聽 TCP 2049 端口

在 k8s 集群的 node 節(jié)點安裝 nfs 驅(qū)動，測試掛載是否正常

$ yum install nfs-utils $ mount -t nfs 172.16.100.104:/data/volumes /mnt

定義 nfs 參數(shù)，kubectl explain pods.spec.volumes.nfs

path # nfs 服務(wù)器的路徑 readOnly # 是否只讀 server # nfs 服務(wù)器地址

使用示例

apiVersion: v1 kind: Pod metadata: name: pod-vol-nfs-demo namespace: default spec: containers: - name: myapp image: ikubernetes/myapp:v1 volumeMounts: - name: html mountPath: /usr/share/nginx/html/ volumes: - name: html nfs: path: /data/volumes server: 172.16.100.104

注意??：各個node節(jié)點也需要安裝yum install nfs-utils,不讓在掛載的時候會出現(xiàn)異常。

10.5 分布式存儲

分布式存儲能提供脫離節(jié)點生命周期的存儲，又比網(wǎng)絡(luò)存儲更加健壯，它是分布式的，有很強的高可用性，但是分布式存儲配置復雜，在由 NFS 提供的網(wǎng)絡(luò)儲存中，用戶需要知道分配給 POD 的 NFS 存儲的地址才能使用，而在由分布式提供的存儲能力的存儲上，用戶需要充分了解該分布式存儲的配置參數(shù)，才能夠使用這個分布式存儲。

由此 K8S 提供了 PV、PVC 兩種機制，讓普通用戶無需關(guān)心底層存儲參數(shù)的配置，只需要說明需要使用多大的持久存儲，就可以了。

一般 PV 與 PVC 是一對綁定的，PV屬于全局，PVC 屬于某個名稱空間，當一個 PV 被一個 PVC 綁定，別的名稱空間 PVC 就不可以再綁定了。請求綁定某個 PV 就是由 PVC 來完成的，被 PVC 綁定的 PV 稱作 PV 的綁定狀態(tài)。

PVC 綁定了一個 PV，那么 PVC 所處名稱空間定義的 POD 就可以使用 persistentVolumeClaim 類型的 volumes 了，然后容器就可以通過 volumeMounts 掛載 PVC 類型的卷了。

persistentVolumeClaim 卷是否允許多路讀寫，這取決于 PV 定義時候的讀寫特性：單路讀寫、多路讀寫、多路只讀。

如果某個 POD 不在需要了，我們把它刪除了、同時也刪除了 PVC、那么此時 PV 還可以有自己的回收策略： delete刪除PV、Retain什么都不做。

10.5.1 PersistentVolume

由管理員添加的的一個存儲的描述，是一個集群級別的全局資源，包含存儲的類型，存儲的大小和訪問模式等。它的生命周期獨立于Pod，例如當使用它的 Pod 銷毀時對 PV 沒有影響。

見：kubectl explain PersistentVolume.spec

在 nfs 上定義存儲，/etc/exports，并且導出 nfs 定義

/data/volumes/v1 172.16.100.0/16(rw,no_root_squash) /data/volumes/v2 172.16.100.0/16(rw,no_root_squash) /data/volumes/v3 172.16.100.0/16(rw,no_root_squash) /data/volumes/v4 172.16.100.0/16(rw,no_root_squash) /data/volumes/v5 172.16.100.0/16(rw,no_root_squash)

exportfs -arv

將 nfs 在 k8s 中定義為 PersistentVolume，詳見：kubectl explain PersistentVolume.spec.nfs

apiVersion: v1 kind: PersistentVolume metadata: name: pv-001 labels: name: pv001 spec: accessModes: - ReadWriteMany - ReadWriteOnce capacity: storage: 1Gi nfs: path: /data/volumes/v1 server: 172.16.100.104 --- apiVersion: v1 kind: PersistentVolume metadata: name: pv-002 labels: name: pv003 spec: accessModes: - ReadWriteMany - ReadWriteOnce capacity: storage: 2Gi nfs: path: /data/volumes/v2 server: 172.16.100.104 --- apiVersion: v1 kind: PersistentVolume metadata: name: pv-003 labels: name: pv003 spec: accessModes: - ReadWriteMany - ReadWriteOnce capacity: storage: 3Gi nfs: path: /data/volumes/v3 server: 172.16.100.104

kubectl get persistentvolume NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE pv-001 1Gi RWO,RWX Retain Available 3m38s pv-002 2Gi RWO,RWX Retain Available 3m38s pv-003 3Gi RWO,RWX Retain Available 3m38s

10.5.2. PersistentVolumeClaim

是 Namespace 級別的資源，描述對 PV 的一個請求。請求信息包含存儲大小，訪問模式等。

定義 PVC，kubectl explain PersistentVolumeClaim.spec

accessModes <[]string> # 設(shè)置訪問模式 ReadWriteOnce # 單個節(jié)點以讀寫方式掛載 ReadOnlyMany # - 多節(jié)點以只讀方式掛載 ReadWriteMany # - 多節(jié)點以讀寫方式掛載 dataSource