云容器引擎，你了解多少？【與云原生的故事】

本文主要內容：

概述

云容器引擎架構

云容器引擎功能介紹

云容器引擎優勢

應用場景

最佳實踐

操作指導

未來展望

1、概述

1.1、什么是云容器引擎

云容器引擎（Cloud Container Engine）可提供高可靠高性能的企業級容器應用管理服務，支持Kubernetes社區原生應用和工具，簡化云上自動化容器運行環境搭建，面向云原生2.0打造CCE Turbo容器集群，計算、網絡、調度全面加速，全面加速企業應用創新。

1.2、為什么選擇云容器引擎

云容器引擎深度整合華為云高性能的計算（ECS/BMS）、網絡（VPC/EIP/ELB）、存儲（EVS/OBS/SFS）等服務，并支持GPU、NPU、ARM、FPGA等異構計算架構，支持多可用區（Available Zone，簡稱AZ）、多區域（Region）容災等技術構建高可用Kubernetes集群。

華為云是全球首批Kubernetes認證服務提供商（Kubernetes Certified Service Provider，KCSP），是國內最早投入Kubernetes社區的廠商，是容器開源社區主要貢獻者和容器生態領導者。華為云也是CNCF云原生計算基金會的創始成員及白金會員，云容器引擎是全球首批通過CNCF基金會Kubernetes一致性認證的容器服務。

2、云容器引擎架構

云容器引擎架構可支持多集群部署，同時可實現容器編排、應用管理、服務治理等功能。

3、云容器引擎功能介紹

云容器引擎提供高度可擴展的、高性能的企業級Kubernetes集群，包括集群管理、節點管理、節點池管理、工作負載、親和/反親和性調度、容器網絡、容器存儲、插件管理、模板市場、彈性伸縮、權限管理、系統管家等功能，為您提供一站式容器平臺服務。

3.1、集群管理

云容器引擎CCE是一種托管的Kubernetes服務，可進一步簡化基于容器的應用程序部署和管理，您可以在CCE中方便的創建Kubernetes集群、部署您的容器化應用，以及方便的管理和維護。

一站式部署和運維：使用云容器引擎，您可以一鍵創建Kubernetes容器集群，無需自行搭建Docker和Kubernetes集群。您可以通過云容器引擎自動化部署和一站式運維容器應用，使得應用的整個生命周期都在云容器引擎內高效完成。

支持多類型容器集群：通過云容器引擎您可以直接使用華為云高性能的彈性云服務器、裸金屬服務器、GPU加速云服務器等多種異構基礎設施，您可以根據業務需要在云容器引擎中快速創建集群，并通過云容器引擎對創建的集群進行統一管理。

3.2、節點管理

節點是容器集群組成的基本元素。節點取決于業務，既可以是虛擬機，也可以是物理機。每個節點都包含運行Pod所需要的基本組件，包括 Kubelet、Kube-proxy 、Container Runtime等。在云容器引擎CCE中，主要采用高性能的彈性云服務器ECS或裸金屬服務器BMS作為節點來構建高可用的Kubernetes集群。

節點管理功能介紹

功能模塊

功能概述

添加節點

支持兩種添加節點的方式：購買節點和納管節點，納管節點是指將“已購買的彈性云服務器（ECS）加入到CCE集群中”。

支持虛擬機、裸金屬服務器、GPU、NPU等異構節點的購買添加。

節點監控

CCE通過云監控服務（Cloud Eye）為您提供節點的監控，每個節點對應一臺彈性云服務器。

重置節點

在CCE集群中重置節點會將該節點以及節點內運行的業務都銷毀，重置前請確認您的正常業務運行不受影響，請謹慎操作。該功能支持v1.13及以上版本的集群。

刪除節點

在CCE集群中刪除節點會將該節點以及節點內運行的業務都銷毀，刪除前請確認您的正常業務運行不受影響，請謹慎操作。

3.3、節點池管理

支持創建新的自定義節點池，借助節點池基本功能方便快捷地創建、管理和銷毀節點，而不會影響整個集群。新節點池中所有節點的參數和類型都彼此相同，您無法在節點池中配置單個節點，任何配置更改都會影響節點池中的所有節點。

3.4、工作負載

工作負載是在Kubernetes上運行的應用程序。無論您的工作負載是單個組件還是協同工作的多個組件，您都可以在Kubernetes上的一組Pod中運行它。在Kubernetes中，工作負載是對一組Pod的抽象模型，用于描述業務的運行載體，包括Deployment、Statefulset、Daemonset、Job、CronJob等多種類型。

CCE提供基于Kubernetes原生類型的容器部署和管理能力，支持容器工作負載部署、配置、監控、擴容、升級、卸載、服務發現及負載均衡等生命周期管理。

3.5、持久化存儲卷

云容器引擎除支持本地磁盤存儲外，還支持將工作負載數據存儲在華為云的云存儲上，當前支持的云存儲包括：云硬盤存儲卷（EVS）、文件存儲卷（SFS）、對象存儲卷（OBS）和極速文件存儲卷（SFS Turbo）。

存儲管理功能介紹

功能模塊

功能概述

本地磁盤存儲

通過本地磁盤存儲將容器所在宿主機的文件目錄掛載到容器的指定路徑中（對應Kubernetes的HostPath），也可以不填寫源路徑（對應Kubernetes的EmptyDir），不填寫時將分配主機的臨時目錄掛載到容器的掛載點，指定源路徑的本地硬盤數據卷適用于將數據持久化存儲到容器所在宿主機，EmptyDir（不填寫源路徑）適用于容器的臨時存儲。

云硬盤存儲卷

支持將云硬盤（EVS）掛載到容器中。通過云硬盤，可以將存儲系統的遠端文件目錄掛載到容器中，數據卷中的數據將被永久保存，即使刪除了容器，數據卷中的數據依然保存在存儲系統中。

文件存儲卷

支持創建SFS存儲卷并掛載到容器的某一路徑下，也可以使用底層SFS服務創建的文件存儲卷，SFS存儲卷適用于多讀多寫的持久化存儲，適用于多種工作負載場景，包括媒體處理、內容管理、大數據分析和分析工作負載程序等場景。

對象存儲卷

支持創建OBS對象存儲卷并掛載到容器的某一路徑下，對象存儲適用于云工作負載、數據分析、內容分析和熱點對象等場景。

極速文件存儲卷

CCE支持創建SFS Turbo極速文件存儲卷并掛載到容器的某一路徑下，極速文件存儲具有按需申請，快速供給，彈性擴展，方便靈活等特點，適用于DevOps、容器微服務、企業辦公等應用場景。

快照與備份

通過EVS服務為您提供快照功能，云硬盤快照簡稱快照，指云硬盤數據在某個時刻的完整拷貝或鏡像，是一種重要的數據容災手段，當數據丟失時，可通過快照將數據完整的恢復到快照時間點。

3.6、插件擴展

CCE提供了多種類型的系統插件，用于管理集群的擴展功能，以支持選擇性擴展滿足特性需求的功能。

提供OpenAPI和社區原生API。

提供Kubectl插件和社區原生Kubectl工具。

3.7、生態工具

云容器引擎深度集成應用服務網格和Kubernetes Helm標準模板。

Kubernetes生態

功能模塊

功能概述

應用服務網格

提供非侵入式的微服務治理解決方案，支持完整的生命周期管理和流量治理能力，兼容Kubernetes和Istio生態。您無需修改任何服務代碼，也無需手動安裝代理，只需開啟應用服務網格功能，即可實現豐富的服務治理能力。

模板市場

模板市場是CCE基于Kubernetes Helm標準的模板提供統一的資源管理與調度，高效地實現了模板的快速部署與后期管理，大幅簡化了Kubernetes資源的安裝管理過程。CCE提供的模板市場功能包括：示例模板和我的模板。

·?????? 示例模板：使用社區Helm開源鏡像，提供基礎的容器集群體驗與模板體驗功能，當前支持redis、etcd、mysql-ndb、mongodb、istio、zookeeper、elasticsearch、kibana等示例模板。

·?????? 我的模板：通過自定義Helm模板來簡化工作負載部署的服務。

4、云容器引擎優勢

云容器引擎是基于業界主流的Docker和Kubernetes開源技術構建的容器服務，提供眾多契合企業大規模容器集群場景的功能，在系統可靠性、高性能、開源社區兼容性等多個方面具有獨特的優勢，滿足企業在構建容器云方面的各種需求。

4.1、 簡單易用

通過WEB界面一鍵創建Kubernetes集群，支持管理虛擬機節點或裸金屬節點，支持虛擬機與物理機混用場景。

一站式自動化部署和運維容器應用，整個生命周期都在容器服務內一站式完成。

通過Web界面輕松實現集群節點和工作負載的擴容和縮容，自由組合策略以應對多變的突發浪涌。

通過Web界面一鍵完成Kubernetes集群的升級。

深度集成應用服務網格和Helm標準模板，真正實現開箱即用。

4.2、高性能

基于華為在計算、網絡、存儲、異構等方面多年的行業技術積累，提供業界領先的高性能云容器引擎，支撐您業務的高并發、大規模場景。

采用高性能裸金屬NUMA架構和高速IB網卡，AI計算性能提升3-5倍以上。

4.3、安全可靠

高可靠：集群控制面支持3 Master?HA高可用，3個Master節點可以處于不同可用區，保障您的業務高可用。集群內節點和工作負載支持跨可用區（AZ）部署，幫助您輕松構建多活業務架構，保證業務系統在主機故障、機房中斷、自然災害等情況下可持續運行，獲得生產環境的高穩定性，實現業務系統零中斷。

高安全：私有集群，完全由用戶掌控，并深度整合華為云帳號和Kubernetes RBAC能力，支持用戶在界面為子用戶設置不同的RBAC權限。

4.4、開放兼容

云容器引擎在Docker技術的基礎上，為容器化的應用提供部署運行、資源調度、服務發現和動態伸縮等一系列完整功能，提高了大規模容器集群管理的便捷性。

云容器引擎基于業界主流的Kubernetes實現，完全兼容Kubernetes/Docker社區原生版本，與社區最新版本保持緊密同步，完全兼容Kubernetes API和Kubectl。

5、應用場景

5.1、 基礎設施與容器應用管理

CCE集群支持管理X86資源池和ARM資源池，能方便的創建Kubernetes集群、部署您的容器化應用，以及方便的管理和維護。

價值

通過容器化改造，使應用部署資源成本降低，提升應用的部署效率和升級效率，可以實現升級時業務不中斷以及統一的自動化運維。

多種類型的容器部署

支持部署無狀態工作負載、有狀態工作負載、守護進程集、普通任務、定時任務等。

應用升級

支持替換升級、滾動升級（按比例、實例個數進行滾動升級）；支持升級回滾。

彈性伸縮

支持節點和工作負載的彈性伸縮。

5.2、秒級彈性伸縮

電商客戶遇到促銷、限時秒殺等活動期間，訪問量激增，需及時、自動擴展云計算資源。

視頻直播客戶業務負載變化難以預測，需要根據CPU/內存使用率進行實時擴縮容。

游戲客戶每天中午12點及晚上18:00-23:00間需求增長，需要定時擴容。

云容器引擎可根據用戶的業務需求預設策略自動調整計算資源，使云服務器或容器數量自動隨業務負載增長而增加，隨業務負載降低而減少，保證業務平穩健康運行，節省成本。

自由靈活

支持多種策略配置，業務流量達到擴容指標，秒級觸發容器擴容操作。

高可用

自動檢測伸縮組中實例運行狀況，啟用新實例替換不健康實例，保證業務健康可用。

低成本

只按照實際用量收取云服務器費用。

HPA（Horizontal Pod Autoscaling）+ CA（Cluster AutoScaling）

圖1?彈性伸縮場景

5.3、微服務流量治理

伴隨著互聯網技術的不斷發展，各大企業的系統越來越復雜，傳統的系統架構越來越不能滿足業務的需求，取而代之的是微服務架構。微服務是將復雜的應用切分為若干服務，每個服務均可以獨立開發、部署和伸縮；微服務和容器組合使用，可進一步簡化微服務的交付，提升應用的可靠性和可伸縮性。

隨著微服務的大量應用，其構成的分布式應用架構在運維、調試、和安全管理等維度變得更加復雜，在管理微服務時，往往需要在業務代碼中添加微服務治理相關的代碼，導致開發人員不能專注于業務開發，還需要考慮微服務治理的解決方案，并且將解決方案融合到其業務系統中。

云容器引擎深度集成應用服務網格，提供開箱即用的應用服務網格流量治理能力，用戶無需修改代碼，即可實現灰度發布、流量治理和流量監控能力。

開箱即用

與云容器引擎無縫對接，一鍵開啟后即可提供非侵入的智能流量治理解決方案。

策略化智能路由

無需修改代碼，即可實現HTTP、TCP等服務連接策略和安全策略。

流量治理可視化

基于無侵入的監控數據采集，深度整合華為云APM能力，提供實時流量拓撲、調用鏈等服務性能監控和運行診斷，構建全景的服務運行視圖，可實時、一站式觀測服務流量健康和性能狀態。

彈性負載均衡ELB + 應用性能管理APM + 應用運維管理AOM

微服務治理場景

5.4、混合云架構

多云部署、容災備份

為保證業務高可用，需要將業務同時部署在多個云的容器服務上，在某個云出現事故時，通過統一流量分發的機制，自動的將業務流量切換到其他云上。

流量分發、彈性伸縮

大型企業客戶需要將業務同時部署在不同地域的云機房中，并能自動彈性擴容和縮容，以節約成本。

業務上云、數據庫托管

對于金融、安全等行業用戶，業務數據的敏感性要求將數據業務保留在本地的IDC中而將一般業務部署在云上，并需要進行統一管理。

開發與部署分離

出于IP安全的考慮，用戶希望將生產環境部署在公有云上，而將開發環境部署在本地的IDC。

云容器引擎利用容器環境無關的特性，將私有云和公有云容器服務實現網絡互通和統一管理，應用和數據可在云上云下無縫遷移，并可統一運維多個云端資源，從而實現資源的靈活使用以及業務容災等目的。

云上容災

通過云容器引擎，可以將業務系統同時部署在多個云的容器服務上，統一流量分發，單云故障后能夠自動將業務流量切換到其他云上，并能快速自動解決現網事故。

流量自動分發

通過云容器引擎的統一流量分發機制，實現應用訪問流量的地域親和，降低業務訪問時延，并需要能夠將線下IDC中的業務在云上擴展，可根據業務流量峰值情況，自動彈性擴容和縮容。

計算與數據分離，能力共享

通過華為云容器引擎，用戶可以實現敏感業務數據與一般業務數據的分離，可以實現開發環境和生產環境分離，可以實現特殊計算能力與一般業務的分離，并能夠實現彈性擴展和集群的統一管理，達到云上云下資源和能力的共享。

降低成本

業務高峰時，利用公有云資源池快速擴容，用戶不再需要根據流量峰值始終保持和維護大量資源，節約成本。

彈性云服務器ECS + 云專線DC + 虛擬專用網絡VPN + 容器鏡像服務SWR

混合云場景

6、最佳實踐

6.1、容災-在CCE中實現高可用部署

在CCE中，容器部署要實現高可用，可參考如下幾點：

集群選擇3個控制節點的高可用模式。

創建節點選擇在不同的可用區，在多個可用區（AZ）多個節點的情況下，根據自身業務需求合理的配置自定義調度策略，可達到資源分配的最大化。

創建多個節點池，不同節點池部署在不同可用區，通過節點池擴展節點。

工作負載創建時設置實例數需大于2個。

設置工作負載親和性規則，盡量讓Pod分布在不同可用區、不同節點上。

為了便于描述，假設集群中有4個節點，其可用區分布如下所示。

NAME STATUS ROLES AGE VERSION ZONE HOSTNAME 192.168.5.112 Ready 42m v1.21.7-r0-CCE21.11.1.B007 cn-south-2b 192.168.5.112 192.168.5.179 Ready 42m v1.21.7-r0-CCE21.11.1.B007 cn-south-2b 192.168.5.179 192.168.5.252 Ready 37m v1.21.7-r0-CCE21.11.1.B007 cn-south-1f 192.168.5.252 192.168.5.8 Ready 33h v1.21.7-r0-CCE21.11.1.B007 cn-south-1e 192.168.5.8

第一條在可用區下工作負載反親和，參數設置如下。

權重weight：權重值越高會被優先調度，本示例設置為50。

拓撲域topologyKey：包含默認和自定義標簽，用于指定調度時的作用域。本示例設置為failure-domain.beta.kubernetes.io/zone，此為節點上標識節點在哪個可用區的標簽。

標簽選擇labelSelector：選擇Pod的標簽，與工作負載本身反親和。

第二條在節點名稱作用域下工作負載反親和，參數設置如下。

權重weight：設置為50。

拓撲域topologyKey：設置為io/hostname。

kind: Deployment apiVersion: apps/v1 metadata: name: nginx namespace: default memory: 512Mi affinity: podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: - weight: 50 podAffinityTerm: labelSelector: # 選擇Pod的標簽，與工作負載本身反親和。 topologyKey: failure-domain.beta.kubernetes.io/zone # 在同一個可用區下起作用 topologyKey: kubernetes.io/hostname # 在節點上起作用 imagePullSecrets: - name: default-secret 創建工作負載，然后查看Pod所在的節點。 $ kubectl get pod -owide NAME READY STATUS RESTARTS AGE IP NODE nginx-6fffd8d664-dpwbk 1/1 Running 0 17s 10.0.0.132 192.168.5.112 nginx-6fffd8d664-qhclc 1/1 Running 0 17s 10.0.1.133 192.168.5.252 將Pod數量增加到3，可以看到Pod被調度到了另外一個節點，且這個當前這3個節點是在3個不同可用區。

6.2、基于ELB監控指標彈性伸縮

基于CPU/內存使用率有一個問題，就是資源使用率數據反映是滯后的，不能及時反映應用實際需求，根據資源使用率進行擴縮容對一些需要快速彈性擴縮容的業務（比如搶購、社交媒體）來說就來不及了，會導致業務問題。

本文介紹一種基于ELB監控指標的彈性伸縮方法，相比CPU/內存使用率進行彈性伸縮，基于ELB的QPS數據彈性伸縮更有針對性，更加及時。

本方案的關鍵點是獲取ELB的指標數據并上報到Prometheus，再將Prometheus中的數據轉換成HPA能夠識別的metric數據，然后HPA根據metric數據進行彈性伸縮。

基于ELB監控指標的彈性伸縮具體實施方案如下所示：

開發一個Prometheus exporter，獲取ELB的指標，并轉化成Prometheus需要的格式，上報到Prometheus。

將Prometheus的數據轉換成kubernetes metric api提供給HPA controller使用。

設置HPA規則，使用ELB的監控數據作為彈性伸縮指標。

圖1?ELB流量與監控數據示意圖

說明：

本文介紹的方法不限于ELB指標，其他指標可按照類似方法操作。

Prometheus可以動態監測，一般來說給Pod打上Prometheus知名的annotations，Prometheus會自動采集該Pod的監控信息。

有如下prometheus知名的annotations。

io/scrape： true的話該pod會作為監控目標

io/path: 采集的url，默認為/metrics

io/port: 采集endpoint的端口號

io/scheme: 默認http，如果為了安全設置了https，此處需要改為https

通常打上prometheus.io/scrape這個annotations就可以了，這樣Prometheus就會從“/metrics”采集Pod的的監控信息。

exporter上報到Prometheus的數據，經過Prometheus adapter監控數據轉換成kubernetes metric api后，就可以創建HPA規則實現彈性伸縮。

創HPA規則示例如下，使用ELB的入流量來作為擴容的標準，當m7_in_Bps（網絡流入速率）的值超過10k時，會觸發名為nginx的Deployment彈性伸縮。

apiVersion: autoscaling/v2beta2 kind: HorizontalPodAutoscaler metadata: name: nginx namespace: default spec: metrics: - type: Object object: describedObject: kind: Service name: nginx target: type: Value value: 10k metric: name: m7_in_Bps

創建完后，可以對負載進行壓測（也就是通過ELB訪問Pod），然后HPA controller會根據設置的值計算是否需要擴容。

7、操作指導

完整的云容器引擎使用流程包含以下步驟：

1、注冊華為云帳號，授予IAM用戶相應的權限。

華為云注冊帳號無需授權即可擁有所有權限，由華為云帳號創建的IAM子用戶需要授予相應的權限才能使用CCE，具體請參見權限管理。

2、創建集群。

通過鏡像或編排模板創建工作負載（應用）。

使用鏡像創建無狀態Deployment工作負載。

創建MySQL。

查看部署后工作負載的狀態和日志信息，對工作負載進行相應的升級、伸縮和監控。

8、未來展望

作為云原生發展的基石，云容器引擎技術的新趨勢和新挑戰備受關注。

趨勢一：圍繞云原生應用的高度自動化

得益于 Kubernetes 面向終態的理念，云原生架構天然具備高度自動化的能力。在應用云原生化的過程中會充分享用到自動化帶來的優勢，副本數維持、版本一致性、錯誤重試、異步事件驅動等能力，相比過去面向過程的運維模式而言是一次新理念、新技術帶來的進步。在這片蓬勃發展的土壤之上，如何圍繞云原生、為應用打造更加自動化的基礎設施是未來探索的重點方向之一：

應用部署運維更加自動化：云原生業務類型及其多樣化，不管是傳統 IT、互聯網，還是 Web 服務、搜索、游戲、AI、邊緣等細分領域，每一種都會有自身特殊應用場景，而抽象、提煉出其中核心通用的部署運維訴求并轉化為更加自動化的能力則是深耕云原生的必經之路。

風險防控能力更加自動化：面向終態的自動化是一把 “雙刃劍”，它既為應用帶來了聲明式的部署能力，同時也潛在地會將一些誤操作行為被終態化放大，例如在發生操作故障時副本數維持、版本一致性、級聯刪除等機制反而很可能導致爆炸半徑擴大。因此，通過防護、攔截、限流、熔斷等防控自動化能力來抑制其他功能性自動化能力的缺陷和副作用，是伴隨著云原生規模急劇擴大的必要防護措施。

Operator 運行時更加自動化：Kubernetes 能成為容器集群調度管理引擎的事實標準，其強大而又靈活的擴展能力功不可沒。Operator 既是一種特殊的應用，也是不少有狀態應用的自動化管理者。而過去社區整體 Operator 趨勢還停留在數量野蠻增長、周邊運行時機制卻無太大進步，未來Operator 的運行時將會在水平擴展、灰度升級、租戶隔離、安全防護、可觀測性等方面獲得充分的自動化增強。

趨勢二：以“應用”為中心構建高可擴展的上層平臺

隨著容器技術的進一步成熟，越來越多的企業開始關注容器技術如何更好的為業務帶來價值。我們可以看到以 Kubernetes 為交付界面的云原生生態日益龐大，越來越多的團隊會基于 Kubernetes 構建上層抽象，增加更多的擴展能力，以“應用”為中心構建高可擴展的云原生平臺。

基于 Kubernetes 與標準應用模型構建的易用、可擴展的上層平臺將取代傳統 PaaS 成為主流。當前云原生生態的軟件雖然日益豐富，但是學習和使用門檻依舊非常高，易用性將成為“以應用為中心”的首要突破點。除此之外，在易用的同時保證可擴展性，保證以 Kubernetes 為接入點的開源軟件無需或只要較小改造便可接入使用，也是這樣類型應用管理平臺的重要特征。

“關注點分離”的標準化應用構建方式進一步深入人心。圍繞 Kubernetes 構建應用交付平臺已經逐漸成為共識，任何一個 PaaS 平臺都不想把 Kubernetes 屏蔽掉。但是這并不意味著直接把 Kubernetes 所有的信息暴露給用戶，PaaS 平臺的構建者們極度渴望給用戶最佳的體驗。解決這個問題的突破點就是大家使用一個標準化的、關注點分離的應用構建模型，平臺的構建者們關注 Kubernetes 接口（CRD 和 Operator），而平臺的用戶，也就是應用開發者們關注的則是一個標準化的抽象應用模型。

應用中間件能力進一步下沉，應用邏輯與中間件邏輯逐步解耦。隨著云原生以及整個生態的發展，中間件領域也在逐步發展變化，從原先的中心化 ESB 到如今通過 Sidecar 模式提供能力的 Service Mesh 。應用中間件不再是通過一個胖客戶端提供能力，而是成為一個能力的標準接入層，能力的提供則由應用管理平臺通過 Sidecar 的方式在應用運行時注入。相信 Sidecar 這種模式將在除流量治理、路由策略、訪問控制之外的更多中間件場景中得到應用，“以應用為中心”，讓業務更專注，更聚焦。

【與云原生的故事】有獎征文火熱進行 快來參加:https://bbs.huaweicloud.com/blogs/345260

云原生 云容器引擎 CCE 容器

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。