Kubernetes基础知识

我计划在k8s集群基础上搭建一个融合prometheue+grafana的监控系统，用于监控集群中各节点的运行情况，以便之后更加深入的研究k8s的各个组件。

# 1 Kubernetes介绍

# 1.1 应用部署方式演变

传统部署：应用程序直接部署在物理机上
- 优点：简单
- 缺点：不能为应用程序定义资源使用边界，不能隔离应用程序，很难合理分配计算资源。
虚拟化部署：可以在一个物理机上运行多个虚拟机，每个都是独立的一个环境。
- 优点：应用程序相互隔离，提供了一定程度的安全性
- 缺点：虚拟机部署会在宿主机上安装一个虚拟操作系统，这个操作系统会占用一部分宿主机资源，增加一些额外的资源消耗
容器化部署：与虚拟化类似，但是共享了宿主机的操作系统
- 优点：与虚拟化相比，不需要额外消耗宿主机的资源，容器体积小，速度快，可移植。
- 随之而来的问题：
  - 如何较为合理地进行资源调度，降低整体集群的负载
  - 一个容器由于故障停机，怎样让另一个容器启动去替换停机的容器的服务
  - 当并发量变大时，如何及时做到扩展容器数据，提前预防这些异常流量，降低服务器的压力。
  - ......
这些容器管理的问题统称为容器编排问题，为了解决容器编排问题，就产生了一些容器编排的软件：
- Swarm: Dockers自己的容器编排工具
- Mesos: Apache 的一个资源统一管控工具，需要和Marathon结合使用
- Kubernetes: Google开源的容器编排工具

# 1.2 kubernetes简介

kubernetes简称k8s，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。 kubernetes本质上是一组服务器集群，目的是实现资源管理的自动化，主要提供如下主要功能：

自我修复：一旦某一个容器崩溃，能够在1秒中左右迅速启动新的容器
弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整
服务发现：服务可以通过自动发现的形式找到它所依赖的服务
负载均衡：如果一个服务起动了多个容器，能够自动实现请求的负载均衡
版本回退：如果发现新发布的程序版本有问题，可以立即回退到原来的版本
存储编排：可以根据容器自身的需求自动创建存储卷

# 1.3 kubernetes组件

一个 Kubernetes集群主要是由控制节点(master)、工作节点(node)构成。

master: 集群的控制平面(control-plane)，负责集群的决策(管理)
- ApiServer:资源操作的入口，接受用户输入的命令，提供认证、授权、API注册和发现机制
- Scheduler:负责集群资源调度，按照预定的调度策略将pod调度到相应的pod节点上
- ControllerManager:负责维护集群状态，比如程序部署安排、故障检测、自动扩展、滚动更新等。
- Etcd: 负责存储集群中各种资源对象的信息
node：集群的数据平面，负责为容器提供运行环境 ( 干活 )
- Kubelet : 负责维护容器的生命周期，即通过控制docker，来创建、更新、销毁容器
- KubeProxy : 负责提供集群内部的服务发现和负载均衡
- Docker : 负责节点上容器的各种操作

内部架构下面以部署一个nginx服务来说明kubernetes系统各个组件的调用关系： 1. 首先要明确，一旦kubernetes环境启动之后，master和node都会将自身的信息存储到etcd数据库中 2. 一个nginx服务的安装请求会首先被发送到master节点的apiServer组件 3. apiServer组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上，在此时，它会从etcd中读取各个node节点的信息，然后按照一定的算法进行选择，并将结果告知apiServer 4. apiServer调用controller-manager去调度Node节点安装nginx服务 5. kubelet接收到指令后，会通知docker，然后由docker来启动一个nginx的pod，pod是kubernetes的最小操作单元，容器必须跑在pod中。 6. 一个nginx服务就运行了，如果需要访问nginx，就需要通过kube-proxy来暴露出端口对pod产生访问的代理这样虚拟机外面就可以本地访问集群中的nginx服务了。

# 1.4 kubernetes概念

Master: 集群控制节点，每个集群需要至少一个master节点负责集群的管控 Node: 工作负载节点，由master分配容器到这些node工作节点上，然后node节点上的docker负责容器的运行 Pod: kubernetes的最小控制单元，容器都是运行在pod中的，一个pod中可以有1个或者多个容器 Controller: 控制器，通过它来实现对pod的管理，比如启动pod、停止pod、伸缩pod的数量等等 Service: pod对外服务的统一入口，下面可以维护者同一类的多个pod Label: 标签，用于对pod进行分类，同一类pod会拥有相同的标签 NameSpace：命名空间，用来隔离pod的运行环境

# 2 部署方式介绍

1）、kubeadm Kubeadm 是一个K8s 部署工具，提供kubeadm init 和kubeadm join，用于快速部署Kubernetes 集群。官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/ 2）、二进制包从github 下载发行版的二进制包，手动部署每个组件，组成Kubernetes 集群。我这边采用的kubeadm的方式来部署k8s集群的，以便学习更多工作原理

# 3 资源管理

资源管理

# 3.1 YAML语言介绍

YAML是一个类似 XML、JSON 的标记性语言。它强调以数据为中心，并不是以标识语言为重点。因而YAML本身的定义比较简单，号称"一种人性化的数据格式语言"。

zhangsan: 
 age: 15
 gender：man

1
2
3

YAML 语法比较简单，主要下面几个：

大小写敏感
使用缩进表示层级关系
缩进不允许使用tab，只允许使用空格
缩进的空格数不重要，只要相同层级的元素左对齐即可
'#'表示注释

YAML支持以下几种数据类型：

纯量：单个的，不可再分的值
对象：键值对的集合，又称为映射（mapping）/ 哈希（hash） / 字典（dictionary）
数组：一组按次序排列的值，又称为序列（sequence） / 列表（list）

# 纯量, 就是指的一个简单的值，字符串、布尔值、整数、浮点数、Null、时间、日期
# 1 布尔类型
c1: true (或者True)
# 2 整型
c2: 234
# 3 浮点型
c3: 3.14
# 4 null类型 
c4: ~  # 使用~表示null
# 5 日期类型
c5: 2018-02-17    # 日期必须使用ISO 8601格式，即yyyy-MM-dd
# 6 时间类型
c6: 2018-02-17T15:02:31+08:00  # 时间使用ISO 8601格式，时间和日期之间使用T连接，最后使用+代表时区
# 7 字符串类型
c7: zhangsan     # 简单写法，直接写值 , 如果字符串中间有特殊字符，必须使用双引号或者单引号包裹 
c8: line1    
    line2     # 字符串过多的情况可以拆成多行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# 对象
# 形式一(推荐):
zhangsan:  
    age: 15  
    address: Beijing
# 形式二(了解):
zhangsan: {age: 15,address: Beijing}

1
2
3
4
5
6
7

# 数组
# 形式一(推荐):
address:  
    - 顺义  
    - 昌平  
# 形式二(了解):
address: [顺义,昌平]

1
2
3
4
5
6
7

# 3.2 资源管理方式

命令式对象管理：直接使用命令去操作kubernetes资源

kubectl run nginx-pod --image=nginx:1.17.1 --port=80
# nginx-pod 是pod名字，后面是要拉取的镜像版本，容器端口为80

1
2

命令式对象配置：通过命令配置和配置文件去操作kubernetes资源

# -f就是指定文件
kubectl create -f nginx-pod.yaml

1
2

声明式对象配置：通过apply命令和配置文件去操作kubernetes资源

# 用于创建或者更新资源
kubectl apply -f nginx-pod.yaml

1
2

# 3.2.1 命令式对象管理

Kubectl

# 查看所有pod
kubctl get pod

# 查看某个pod
kubctl get pod pod_name

# 查看某个pod,以yaml格式展示结果
kubectl get pod pod_name -o yaml

1
2
3
4
5
6
7
8

Kubectl [command] [type] [name] [flags] Command : 对资源执行的操作，create、get、delete Type: 资源类型，deployment、pod、service Name: 资源名称 Flags: 额外可选参数

经常使用的资源有：

集群节点：nodes(no)
命名空间： namespaces(ns)
pod资源：pods(po)
pod资源控制器：replicasets(rs), deployment(deploy),daemonsets(ds),jobs,cronjobs(cj),hpa
服务发现资源：services(svc),ingress(ing)
存储资源：pv,pvc
配置资源：configmaps(cm),secrets

常用的k8s的操作，可以通过kubectl --help查看详细的操作命令

# 3.2.2 命令式对象配置

1）创建一个nginxpod.yaml，内容如下：

apiVersion: v1
kind: Namespace
metadata:
  name: dev

---

apiVersion: v1
kind: Pod
metadata:
  name: nginxpod
  namespace: dev
spec:
  containers:
  - name: nginx-containers
    image: nginx:latest

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

2）执行create命令，创建资源：执行get命令，查看资源：执行delete命令，删除资源：

kubectl create -f nginxpod.yaml
kubectl get -f nginxpod.yaml
kubectl delete -f nginxpod.yaml

1
2
3

# 3.2.3 声明式对象配置

声明式对象配置跟命令式对象配置很相似，但是它只有一个命令apply。

创建/更新资源使用声明式对象配置 kubectl apply -f XXX.yaml

删除资源使用命令式对象配置 kubectl delete -f XXX.yaml

查询资源使用命令式对象管理 kubectl get(describe) 资源名称

# 4 实战

# 4.1 Namespace

# 4.1.1 查看

# 1 查看所有的ns  命令：kubectl get ns
[root@master ~]# kubectl get ns
NAME              STATUS   AGE
default           Active   45h
kube-node-lease   Active   45h
kube-public       Active   45h     
kube-system       Active   45h     

# 2 查看指定的ns   命令：kubectl get ns ns名称
[root@master ~]# kubectl get ns default
NAME      STATUS   AGE
default   Active   45h

# 3 指定输出格式  命令：kubectl get ns ns名称  -o 格式参数
# kubernetes支持的格式有很多，比较常见的是wide、json、yaml
[root@master ~]# kubectl get ns default -o yaml
apiVersion: v1
kind: Namespace
metadata:
  creationTimestamp: "2021-05-08T04:44:16Z"
  name: default
  resourceVersion: "151"
  selfLink: /api/v1/namespaces/default
  uid: 7405f73a-e486-43d4-9db6-145f1409f090
spec:
  finalizers:
  - kubernetes
status:
  phase: Active
  
# 4 查看ns详情  命令：kubectl describe ns ns名称
[root@master ~]# kubectl describe ns default
Name:         default
Labels:       <none>
Annotations:  <none>
Status:       Active  # Active 命名空间正在使用中  Terminating 正在删除命名空间

# ResourceQuota 针对namespace做的资源限制
# LimitRange针对namespace中的每个组件做的资源限制
No resource quota.
No LimitRange resource.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

# 4.1.2 创建

# 创建namespace
[root@master ~]# kubectl create ns dev
namespace/dev created

1
2
3

# 4.1.3 删除

# 删除namespace
[root@master ~]# kubectl delete ns dev
namespace "dev" deleted

1
2
3

# 4.2 Pod

Pod是kubernetes集群进行管理的最小单元，程序要运行必须部署在容器中，而容器必须存在于Pod中。

Pod可以认为是容器的封装，一个Pod中可以存在一个或者多个容器。

# 4.2.1 创建并运行

kubernetes没有提供单独运行Pod的命令，都是通过Pod控制器来实现的

# 命令格式： kubectl run (pod控制器名称) [参数] 
# --image  指定Pod的镜像
# --port   指定端口
# --namespace  指定namespace
[root@master ~]# kubectl run nginx --image=nginx:latest --port=80 --namespace dev 
deployment.apps/nginx created

1
2
3
4
5
6

# 4.2.2 查看Pod信息

# 查看Pod基本信息
kubectl get pods -n dev

# 查看Pod的详细信息
kubectl describe pod nginx -n dev

1
2
3
4
5
6

# 4.2.3 访问Pod

# 获取podIP
[root@master ~]# kubectl get pods -n dev -o wide
NAME    READY   STATUS    RESTARTS   AGE    IP             NODE    ... 
nginx   1/1     Running   0          190s   10.244.1.23   node1   ...

#访问POD
[root@master ~]# curl http://10.244.1.23:80
<!DOCTYPE html>
<html>
<head>
	<title>Welcome to nginx!</title>
</head>
<body>
	<p><em>Thank you for using nginx.</em></p>
</body>
</html>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# 4.2.4 删除指定Pod

# 删除指定Pod
[root@master ~]# kubectl delete pod nginx -n dev
pod "nginx" deleted

# 此时，显示删除Pod成功，但是再查询，发现又新产生了一个 
[root@master ~]# kubectl get pods -n dev
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          21s

# 这是因为当前Pod是由Pod控制器创建的，控制器会监控Pod状况，一旦发现Pod死亡，会立即重建
# 此时要想删除Pod，必须删除Pod控制器

# 先来查询一下当前namespace下的Pod控制器
[root@master ~]# kubectl get deploy -n  dev
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
nginx   1/1     1            1           9m7s

# 接下来，删除此PodPod控制器
[root@master ~]# kubectl delete deploy nginx -n dev
deployment.apps "nginx" deleted

# 稍等片刻，再查询Pod，发现Pod被删除了
[root@master ~]# kubectl get pods -n dev
No resources found in dev namespace.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

# 4.2.5 配置操作

创建一个pod-nginx.yaml，内容如下：

apiVersion: v1
kind: Pod
metadata:
  name: nginx
  namespace: dev
spec:
  containers:
  - image: nginx:latest
    name: pod
    ports:
    - name: nginx-port
      containerPort: 80
      protocol: TCP

1
2
3
4
5
6
7
8
9
10
11
12
13

然后就可以执行对应的创建和删除命令了：

创建：kubectl create -f pod-nginx.yaml

删除：kubectl delete -f pod-nginx.yaml

# 4.3 Label

Label是kubernetes系统中的一个重要概念。它的作用就是在资源上添加标识，用来对它们进行区分和选择。

Label的特点：

一个Label会以key/value键值对的形式附加到各种对象上，如Node、Pod、Service等等
一个资源对象可以定义任意数量的Label ，同一个Label也可以被添加到任意数量的资源对象上去
Label通常在资源对象定义时确定，当然也可以在对象创建后动态添加或者删除

标签定义完毕之后，还要考虑到标签的选择，这就要使用到Label Selector，即：

Label用于给某个资源对象定义标识

Label Selector用于查询和筛选拥有某些标签的资源对象

# 4.3.1 命令方式

# 为pod资源打标签
[root@master ~]# kubectl label pod nginx-pod version=1.0 -n dev
pod/nginx-pod labeled

# 为pod资源更新标签
[root@master ~]# kubectl label pod nginx-pod version=2.0 -n dev --overwrite
pod/nginx-pod labeled

# 查看标签
[root@master ~]# kubectl get pod nginx-pod  -n dev --show-labels
NAME        READY   STATUS    RESTARTS   AGE   LABELS
nginx-pod   1/1     Running   0          10m   version=2.0

# 筛选标签
[root@master ~]# kubectl get pod -n dev -l version=2.0  --show-labels
NAME        READY   STATUS    RESTARTS   AGE   LABELS
nginx-pod   1/1     Running   0          17m   version=2.0
[root@master ~]# kubectl get pod -n dev -l version!=2.0 --show-labels
No resources found in dev namespace.

#删除标签
[root@master ~]# kubectl label pod nginx-pod -n dev tier-
pod/nginx unlabeled

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# 4.3.2 配置方式

apiVersion: v1
kind: Pod
metadata:
  name: nginx
  namespace: dev
  labels:
    version: "3.0" 
    env: "test"
spec:
  containers:
  - image: nginx:latest
    name: pod
    ports:
    - name: nginx-port
      containerPort: 80
      protocol: TCP

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

然后就可以执行对应的更新命令了：kubectl apply -f pod-nginx.yaml

# 4.4 Deployment

在kubernetes中，Pod是最小的控制单元，但是kubernetes很少直接控制Pod，一般都是通过Pod控制器来完成的。Pod控制器用于pod的管理，确保pod资源符合预期的状态，当pod的资源出现故障时，会尝试进行重启或重建pod。

# 4.4.1 命令操作

# 命令格式: kubectl create deployment 名称  [参数] 
# --image  指定pod的镜像
# --port   指定端口
# --replicas  指定创建pod数量
# --namespace  指定namespace
[root@master ~]# kubectl run nginx --image=nginx:latest --port=80 --replicas=3 -n dev
deployment.apps/nginx created

# 查看创建的Pod
[root@master ~]# kubectl get pods -n dev
NAME                     READY   STATUS    RESTARTS   AGE
nginx-5ff7956ff6-6k8cb   1/1     Running   0          19s
nginx-5ff7956ff6-jxfjt   1/1     Running   0          19s
nginx-5ff7956ff6-v6jqw   1/1     Running   0          19s

# 查看deployment的信息
[root@master ~]# kubectl get deploy -n dev
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
nginx   3/3     3            3           2m42s

# UP-TO-DATE：成功升级的副本数量
# AVAILABLE：可用副本的数量
[root@master ~]# kubectl get deploy -n dev -o wide
NAME    READY UP-TO-DATE  AVAILABLE   AGE     CONTAINERS   IMAGES              SELECTOR
nginx   3/3     3         3           2m51s   nginx        nginx:latest        run=nginx

# 查看deployment的详细信息
[root@master ~]# kubectl describe deploy nginx -n dev
Name:                   nginx
Namespace:              dev
CreationTimestamp:      Wed, 08 May 2021 11:14:14 +0800
Labels:                 run=nginx
Annotations:            deployment.kubernetes.io/revision: 1
Selector:               run=nginx
Replicas:               3 desired | 3 updated | 3 total | 3 available | 0 unavailable
StrategyType:           RollingUpdate
MinReadySeconds:        0
RollingUpdateStrategy:  25% max unavailable, 25% max 违规词汇
Pod Template:
  Labels:  run=nginx
  Containers:
   nginx:
    Image:        nginx:latest
    Port:         80/TCP
    Host Port:    0/TCP
    Environment:  <none>
    Mounts:       <none>
  Volumes:        <none>
Conditions:
  Type           Status  Reason
  ----           ------  ------
  Available      True    MinimumReplicasAvailable
  Progressing    True    NewReplicaSetAvailable
OldReplicaSets:  <none>
NewReplicaSet:   nginx-5ff7956ff6 (3/3 replicas created)
Events:
  Type    Reason             Age    From                   Message
  ----    ------             ----   ----                   -------
  Normal  ScalingReplicaSet  5m43s  deployment-controller  Scaled up replicaset nginx-5ff7956ff6 to 3
  
# 删除 
[root@master ~]# kubectl delete deploy nginx -n dev
deployment.apps "nginx" deleted

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63

# 4.4.2 配置操作

创建一个deploy-nginx.yaml，内容如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  namespace: dev
spec:
  replicas: 3
  selector:
    matchLabels:
      run: nginx
  template:
    metadata:
      labels:
        run: nginx
    spec:
      containers:
      - image: nginx:latest
        name: nginx
        ports:
        - containerPort: 80
          protocol: TCP

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

然后就可以执行对应的创建和删除命令了：

创建：kubectl create -f deploy-nginx.yaml

删除：kubectl delete -f deploy-nginx.yaml

# 4.5 Service

Service可以看作是一组同类Pod对外的访问接口。借助Service，应用可以方便地实现服务发现和负载均衡。

# 4.5.1 创建集群内部可访问的Service

# 暴露Service
[root@master ~]# kubectl expose deploy nginx --name=svc-nginx1 --type=ClusterIP --port=80 --target-port=80 -n dev
service/svc-nginx1 exposed

# 查看service
[root@master ~]# kubectl get svc svc-nginx1 -n dev -o wide
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE     SELECTOR
svc-nginx1   ClusterIP   10.109.179.231   <none>        80/TCP    3m51s   run=nginx

# 这里产生了一个CLUSTER-IP，这就是service的IP，在Service的生命周期中，这个地址是不会变动的
# 可以通过这个IP访问当前service对应的POD
[root@master ~]# curl 10.109.179.231:80
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
</head>
<body>
<h1>Welcome to nginx!</h1>
.......
</body>
</html>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 4.5.2 创建集群外部也可访问的Service

# 上面创建的Service的type类型为ClusterIP，这个ip地址只用集群内部可访问
# 如果需要创建外部也可以访问的Service，需要修改type为NodePort
[root@master ~]# kubectl expose deploy nginx --name=svc-nginx2 --type=NodePort --port=80 --target-port=80 -n dev
service/svc-nginx2 exposed

# 此时查看，会发现出现了NodePort类型的Service，而且有一对Port（80:31928/TC）
[root@master ~]# kubectl get svc  svc-nginx2  -n dev -o wide
NAME          TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE    SELECTOR
svc-nginx2    NodePort    10.100.94.0      <none>        80:31928/TCP   9s     run=nginx

# 接下来就可以通过集群外的主机访问 节点IP:31928访问服务了
# 例如在的电脑主机上通过浏览器访问下面的地址
http://192.168.90.100:31928/

1
2
3
4
5
6
7
8
9
10
11
12
13

# 4.5.4 配置方式

创建一个svc-nginx.yaml，内容如下：

apiVersion: v1
kind: Service
metadata:
  name: svc-nginx
  namespace: dev
spec:
  clusterIP: 10.109.179.231 #固定svc的内网ip
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    run: nginx
  type: ClusterIP

1
2
3
4
5
6
7
8
9
10
11
12
13
14

然后就可以执行对应的创建和删除命令了：

创建：kubectl create -f svc-nginx.yaml

删除：kubectl delete -f svc-nginx.yaml

Pod相关→