├── kubernetes-with-ca ├── ca │ ├── ca-csr.json │ ├── calico │ │ └── calico-csr.json │ ├── admin │ │ └── admin-csr.json │ ├── kube-proxy │ │ └── kube-proxy-csr.json │ ├── etcd │ │ └── etcd-csr.json │ ├── ca-config.json │ └── kubernetes │ │ └── kubernetes-csr.json ├── master-node │ ├── kube-scheduler.service │ ├── kube-controller-manager.service │ ├── etcd.service │ └── kube-apiserver.service ├── worker-node │ ├── kube-proxy.service │ ├── 10-calico.conf │ └── kubelet.service ├── all-node │ └── kube-calico.service └── services │ ├── kube-dashboard.yaml │ └── kube-dns.yaml ├── kubernetes-simple ├── worker-node │ ├── kube-proxy.kubeconfig │ ├── 10-calico.conf │ ├── kubelet.kubeconfig │ ├── kube-proxy.service │ └── kubelet.service ├── master-node │ ├── kube-scheduler.service │ ├── etcd.service │ ├── kube-controller-manager.service │ └── kube-apiserver.service ├── all-node │ └── kube-calico.service └── services │ └── kube-dns.yaml ├── config.properties ├── service-config ├── api-gateway.yaml ├── message-service.yaml ├── course-service.yaml └── user-service.yaml ├── README.md ├── docs ├── 4-microservice-deploy.md ├── 1-pre.md ├── 2-kubernetes-simple.md └── 3-kubernetes-with-ca.md └── gen-config.sh /kubernetes-with-ca/ca/ca-csr.json: -------------------------------------------------------------------------------- 1 | { 2 | "CN": "kubernetes", 3 | "key": { 4 | "algo": "rsa", 5 | "size": 2048 6 | }, 7 | "names": [ 8 | { 9 | "C": "CN", 10 | "ST": "Beijing", 11 | "L": "XS", 12 | "O": "k8s", 13 | "OU": "System" 14 | } 15 | ] 16 | } 17 | -------------------------------------------------------------------------------- /kubernetes-simple/worker-node/kube-proxy.kubeconfig: -------------------------------------------------------------------------------- 1 | apiVersion: v1 2 | clusters: 3 | - cluster: 4 | server: http://{{MASTER_IP}}:8080 5 | name: kubernetes 6 | contexts: 7 | - context: 8 | cluster: kubernetes 9 | name: default 10 | current-context: default 11 | kind: Config 12 | preferences: {} 13 | users: [] 14 | -------------------------------------------------------------------------------- /kubernetes-with-ca/ca/calico/calico-csr.json: -------------------------------------------------------------------------------- 1 | { 2 | "CN": "calico", 3 | "hosts": [], 4 | "key": { 5 | "algo": "rsa", 6 | "size": 2048 7 | }, 8 | "names": [ 9 | { 10 | "C": "CN", 11 | "ST": "Beijing", 12 | "L": "XS", 13 | "O": "k8s", 14 | "OU": "System" 15 | } 16 | ] 17 | } 18 | -------------------------------------------------------------------------------- /kubernetes-with-ca/ca/admin/admin-csr.json: -------------------------------------------------------------------------------- 1 | { 2 | "CN": "admin", 3 | "hosts": [], 4 | "key": { 5 | "algo": "rsa", 6 | "size": 2048 7 | }, 8 | "names": [ 9 | { 10 | "C": "CN", 11 | "ST": "Beijing", 12 | "L": "XS", 13 | "O": "system:masters", 14 | "OU": "System" 15 | } 16 | ] 17 | } 18 | -------------------------------------------------------------------------------- /config.properties: -------------------------------------------------------------------------------- 1 | #kubernetes二进制文件目录,eg: /home/michael/bin 2 | BIN_PATH= 3 | 4 | #当前节点ip, eg: 192.168.1.102 5 | NODE_IP= 6 | 7 | #etcd服务集群列表, eg: http://192.168.1.102:2379 8 | #如果已有etcd集群可以填写现有的。没有的话填写：http://${MASTER_IP}:2379 （MASTER_IP自行替换成自己的主节点ip） 9 | ETCD_ENDPOINTS= 10 | 11 | #kubernetes主节点ip地址, eg: 192.168.1.102 12 | MASTER_IP= 13 | 14 | -------------------------------------------------------------------------------- /kubernetes-with-ca/ca/kube-proxy/kube-proxy-csr.json: -------------------------------------------------------------------------------- 1 | { 2 | "CN": "system:kube-proxy", 3 | "hosts": [], 4 | "key": { 5 | "algo": "rsa", 6 | "size": 2048 7 | }, 8 | "names": [ 9 | { 10 | "C": "CN", 11 | "ST": "Beijing", 12 | "L": "XS", 13 | "O": "k8s", 14 | "OU": "System" 15 | } 16 | ] 17 | } 18 | -------------------------------------------------------------------------------- /kubernetes-with-ca/ca/etcd/etcd-csr.json: -------------------------------------------------------------------------------- 1 | { 2 | "CN": "etcd", 3 | "hosts": [ 4 | "127.0.0.1", 5 | "{{NODE_IP}}" 6 | ], 7 | "key": { 8 | "algo": "rsa", 9 | "size": 2048 10 | }, 11 | "names": [ 12 | { 13 | "C": "CN", 14 | "ST": "Beijing", 15 | "L": "XS", 16 | "O": "k8s", 17 | "OU": "System" 18 | } 19 | ] 20 | } 21 | -------------------------------------------------------------------------------- /kubernetes-simple/worker-node/10-calico.conf: -------------------------------------------------------------------------------- 1 | { 2 | "name": "calico-k8s-network", 3 | "cniVersion": "0.1.0", 4 | "type": "calico", 5 | "etcd_endpoints": "{{ETCD_ENDPOINTS}}", 6 | "log_level": "info", 7 | "ipam": { 8 | "type": "calico-ipam" 9 | }, 10 | "kubernetes": { 11 | "k8s_api_root": "http://{{MASTER_IP}}:8080" 12 | } 13 | } 14 | -------------------------------------------------------------------------------- /kubernetes-simple/worker-node/kubelet.kubeconfig: -------------------------------------------------------------------------------- 1 | apiVersion: v1 2 | clusters: 3 | - cluster: 4 | insecure-skip-tls-verify: true 5 | server: http://{{MASTER_IP}}:8080 6 | name: kubernetes 7 | contexts: 8 | - context: 9 | cluster: kubernetes 10 | user: "" 11 | name: system:node:kube-master 12 | current-context: system:node:kube-master 13 | kind: Config 14 | preferences: {} 15 | users: [] 16 | -------------------------------------------------------------------------------- /kubernetes-with-ca/ca/ca-config.json: -------------------------------------------------------------------------------- 1 | { 2 | "signing": { 3 | "default": { 4 | "expiry": "87600h" 5 | }, 6 | "profiles": { 7 | "kubernetes": { 8 | "usages": [ 9 | "signing", 10 | "key encipherment", 11 | "server auth", 12 | "client auth" 13 | ], 14 | "expiry": "87600h" 15 | } 16 | } 17 | } 18 | } 19 | -------------------------------------------------------------------------------- /kubernetes-simple/master-node/kube-scheduler.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes Scheduler 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | 5 | [Service] 6 | ExecStart={{BIN_PATH}}/kube-scheduler \ 7 | --address=127.0.0.1 \ 8 | --master=http://127.0.0.1:8080 \ 9 | --leader-elect=true \ 10 | --v=2 11 | Restart=on-failure 12 | RestartSec=5 13 | [Install] 14 | WantedBy=multi-user.target 15 | -------------------------------------------------------------------------------- /kubernetes-with-ca/master-node/kube-scheduler.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes Scheduler 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | 5 | [Service] 6 | ExecStart={{BIN_PATH}}/kube-scheduler \ 7 | --address=127.0.0.1 \ 8 | --master=http://127.0.0.1:8080 \ 9 | --leader-elect=true \ 10 | --v=2 11 | Restart=on-failure 12 | RestartSec=5 13 | [Install] 14 | WantedBy=multi-user.target 15 | -------------------------------------------------------------------------------- /kubernetes-simple/worker-node/kube-proxy.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes Kube-Proxy Server 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | After=network.target 5 | [Service] 6 | WorkingDirectory=/var/lib/kube-proxy 7 | ExecStart={{BIN_PATH}}/kube-proxy \ 8 | --bind-address={{NODE_IP}} \ 9 | --hostname-override={{NODE_IP}} \ 10 | --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig \ 11 | --logtostderr=true \ 12 | --v=2 13 | Restart=on-failure 14 | RestartSec=5 15 | LimitNOFILE=65536 16 | 17 | [Install] 18 | WantedBy=multi-user.target 19 | -------------------------------------------------------------------------------- /kubernetes-with-ca/worker-node/kube-proxy.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes Kube-Proxy Server 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | After=network.target 5 | [Service] 6 | WorkingDirectory=/var/lib/kube-proxy 7 | ExecStart={{BIN_PATH}}/kube-proxy \ 8 | --bind-address={{NODE_IP}} \ 9 | --hostname-override={{NODE_IP}} \ 10 | --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig \ 11 | --logtostderr=true \ 12 | --v=2 13 | Restart=on-failure 14 | RestartSec=5 15 | LimitNOFILE=65536 16 | 17 | [Install] 18 | WantedBy=multi-user.target 19 | -------------------------------------------------------------------------------- /kubernetes-with-ca/worker-node/10-calico.conf: -------------------------------------------------------------------------------- 1 | { 2 | "name": "calico-k8s-network", 3 | "cniVersion": "0.1.0", 4 | "type": "calico", 5 | "etcd_endpoints": "{{ETCD_ENDPOINTS}}", 6 | "etcd_key_file": "/etc/kubernetes/ca/calico/calico-key.pem", 7 | "etcd_cert_file": "/etc/kubernetes/ca/calico/calico.pem", 8 | "etcd_ca_cert_file": "/etc/kubernetes/ca/ca.pem", 9 | "log_level": "info", 10 | "ipam": { 11 | "type": "calico-ipam" 12 | }, 13 | "kubernetes": { 14 | "kubeconfig": "/etc/kubernetes/kubelet.kubeconfig" 15 | } 16 | } 17 | -------------------------------------------------------------------------------- /kubernetes-with-ca/ca/kubernetes/kubernetes-csr.json: -------------------------------------------------------------------------------- 1 | { 2 | "CN": "kubernetes", 3 | "hosts": [ 4 | "127.0.0.1", 5 | "{{MASTER_IP}}", 6 | "10.68.0.1", 7 | "kubernetes", 8 | "kubernetes.default", 9 | "kubernetes.default.svc", 10 | "kubernetes.default.svc.cluster", 11 | "kubernetes.default.svc.cluster.local" 12 | ], 13 | "key": { 14 | "algo": "rsa", 15 | "size": 2048 16 | }, 17 | "names": [ 18 | { 19 | "C": "CN", 20 | "ST": "Beijing", 21 | "L": "XS", 22 | "O": "k8s", 23 | "OU": "System" 24 | } 25 | ] 26 | } 27 | -------------------------------------------------------------------------------- /kubernetes-simple/master-node/etcd.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Etcd Server 3 | After=network.target 4 | After=network-online.target 5 | Wants=network-online.target 6 | Documentation=https://github.com/coreos 7 | 8 | [Service] 9 | Type=notify 10 | WorkingDirectory=/var/lib/etcd/ 11 | ExecStart={{BIN_PATH}}/etcd \ 12 | --name={{NODE_IP}} \ 13 | --listen-client-urls=http://{{NODE_IP}}:2379,http://127.0.0.1:2379 \ 14 | --advertise-client-urls=http://{{NODE_IP}}:2379 \ 15 | --data-dir=/var/lib/etcd 16 | Restart=on-failure 17 | RestartSec=5 18 | LimitNOFILE=65536 19 | 20 | [Install] 21 | WantedBy=multi-user.target 22 | -------------------------------------------------------------------------------- /kubernetes-simple/master-node/kube-controller-manager.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes Controller Manager 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | [Service] 5 | ExecStart={{BIN_PATH}}/kube-controller-manager \ 6 | --address=127.0.0.1 \ 7 | --master=http://127.0.0.1:8080 \ 8 | --allocate-node-cidrs=true \ 9 | --service-cluster-ip-range=10.68.0.0/16 \ 10 | --cluster-cidr=172.20.0.0/16 \ 11 | --cluster-name=kubernetes \ 12 | --leader-elect=true \ 13 | --cluster-signing-cert-file= \ 14 | --cluster-signing-key-file= \ 15 | --v=2 16 | Restart=on-failure 17 | RestartSec=5 18 | [Install] 19 | WantedBy=multi-user.target 20 | -------------------------------------------------------------------------------- /service-config/api-gateway.yaml: -------------------------------------------------------------------------------- 1 | apiVersion: v1 2 | kind: Service 3 | metadata: 4 | labels: 5 | app: api-gateway 6 | name: api-gateway 7 | spec: 8 | ports: 9 | - port: 80 10 | protocol: TCP 11 | targetPort: 8080 12 | nodePort: 80 13 | selector: 14 | app: api-gateway 15 | type: NodePort 16 | --- 17 | apiVersion: apps/v1beta1 18 | kind: Deployment 19 | metadata: 20 | name: api-gateway-deployment 21 | spec: 22 | replicas: 1 23 | template: 24 | metadata: 25 | labels: 26 | app: api-gateway 27 | spec: 28 | containers: 29 | - name: api-gateway 30 | image: {{HUB}}/micro-service/api-gateway-zuul:latest 31 | ports: 32 | - containerPort: 8080 33 | 34 | -------------------------------------------------------------------------------- /service-config/message-service.yaml: -------------------------------------------------------------------------------- 1 | apiVersion: v1 2 | kind: Service 3 | metadata: 4 | labels: 5 | app: message-service 6 | name: message-service 7 | spec: 8 | ports: 9 | - port: 9090 10 | protocol: TCP 11 | targetPort: 9090 12 | selector: 13 | app: message-service 14 | type: ClusterIP 15 | --- 16 | apiVersion: apps/v1beta1 17 | kind: Deployment 18 | metadata: 19 | name: message-service-deployment 20 | spec: 21 | replicas: 1 22 | template: 23 | metadata: 24 | labels: 25 | app: message-service 26 | spec: 27 | containers: 28 | - name: message-service 29 | image: {{HUB}}/micro-service/message-service:latest 30 | ports: 31 | - containerPort: 9090 32 | 33 | -------------------------------------------------------------------------------- /kubernetes-with-ca/master-node/kube-controller-manager.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes Controller Manager 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | [Service] 5 | ExecStart={{BIN_PATH}}/kube-controller-manager \ 6 | --address=127.0.0.1 \ 7 | --master=http://127.0.0.1:8080 \ 8 | --allocate-node-cidrs=true \ 9 | --service-cluster-ip-range=10.68.0.0/16 \ 10 | --cluster-cidr=172.20.0.0/16 \ 11 | --cluster-name=kubernetes \ 12 | --leader-elect=true \ 13 | --cluster-signing-cert-file=/etc/kubernetes/ca/ca.pem \ 14 | --cluster-signing-key-file=/etc/kubernetes/ca/ca-key.pem \ 15 | --service-account-private-key-file=/etc/kubernetes/ca/ca-key.pem \ 16 | --root-ca-file=/etc/kubernetes/ca/ca.pem \ 17 | --v=2 18 | Restart=on-failure 19 | RestartSec=5 20 | [Install] 21 | WantedBy=multi-user.target 22 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # 综述 2 | 3 |  **必读：本项目是专门针对慕课网的在线课程[《Docker + Kubernetes微服务容器化实践》][5]中的kubernetes实战部分使用的，主要讲解了kubernetes在绿色网络环境下的集群搭建及集群的使用、常用命令、应用的部署。首先剥离了认证授权和服务发现模块，从最核心的模块开始构建集群，然后逐步增加认证授权和服务发现部分，在搭建过程中逐步熟悉kubernetes。最后在集群上部署我们前面开发的所有微服务模块。如果没有结合视频教程请忽略第四部分，敬请谅解！** 4 | 5 | ## [一、预先准备环境][1] 6 | ## [二、基础集群部署 - kubernetes-simple][2] 7 | ## [三、完整集群部署 - kubernetes-with-ca][3] 8 | ## [四、在kubernetes上部署我们的微服务][4] 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | [1]: https://github.com/liuyi01/kubernetes-starter/tree/master/docs/1-pre.md 18 | [2]: https://github.com/liuyi01/kubernetes-starter/tree/master/docs/2-kubernetes-simple.md 19 | [3]: https://github.com/liuyi01/kubernetes-starter/tree/master/docs/3-kubernetes-with-ca.md 20 | [4]: https://github.com/liuyi01/kubernetes-starter/tree/master/docs/4-microservice-deploy.md 21 | [5]: https://coding.imooc.com/class/198.html 22 | -------------------------------------------------------------------------------- /service-config/course-service.yaml: -------------------------------------------------------------------------------- 1 | apiVersion: v1 2 | kind: Service 3 | metadata: 4 | labels: 5 | app: course-service 6 | name: course-service 7 | spec: 8 | ports: 9 | - port: 8081 10 | protocol: TCP 11 | targetPort: 8081 12 | selector: 13 | app: course-service 14 | type: ClusterIP 15 | --- 16 | apiVersion: apps/v1beta1 17 | kind: Deployment 18 | metadata: 19 | name: course-service-deployment 20 | spec: 21 | replicas: 1 22 | template: 23 | metadata: 24 | labels: 25 | app: course-service 26 | spec: 27 | containers: 28 | - name: course-service 29 | image: {{HUB}}/micro-service/course-service:latest 30 | ports: 31 | - containerPort: 20880 32 | - name: course-edge-service 33 | image: {{HUB}}/micro-service/course-edge-service:latest 34 | ports: 35 | - containerPort: 8081 36 | 37 | -------------------------------------------------------------------------------- /kubernetes-simple/master-node/kube-apiserver.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes API Server 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | After=network.target 5 | [Service] 6 | ExecStart={{BIN_PATH}}/kube-apiserver \ 7 | --admission-control=NamespaceLifecycle,LimitRanger,DefaultStorageClass,ResourceQuota,NodeRestriction \ 8 | --insecure-bind-address=0.0.0.0 \ 9 | --kubelet-https=false \ 10 | --service-cluster-ip-range=10.68.0.0/16 \ 11 | --service-node-port-range=20000-40000 \ 12 | --etcd-servers={{ETCD_ENDPOINTS}} \ 13 | --enable-swagger-ui=true \ 14 | --allow-privileged=true \ 15 | --audit-log-maxage=30 \ 16 | --audit-log-maxbackup=3 \ 17 | --audit-log-maxsize=100 \ 18 | --audit-log-path=/var/lib/audit.log \ 19 | --event-ttl=1h \ 20 | --v=2 21 | Restart=on-failure 22 | RestartSec=5 23 | Type=notify 24 | LimitNOFILE=65536 25 | [Install] 26 | WantedBy=multi-user.target 27 | -------------------------------------------------------------------------------- /docs/4-microservice-deploy.md: -------------------------------------------------------------------------------- 1 | # 四、kubernetes集群部署微服务 2 | ## 1. 微服务部署方案 - 思路整理 3 | ##### 我们有如下微服务： 4 | - 消息服务：message-service 5 | - 课程dubbo服务：course-dubbo-service 6 | - 课程web服务：course-edge-service 7 | - 用户thrift服务：user-thrift-service 8 | - 用户web服务：user-edge-service 9 | - API网关：api-gateway 10 | 11 | ##### 把它们放到kubernetes集群运行我们要考虑什么问题？ 12 | - 哪些服务适合单独成为一个pod？哪些服务适合在一个pod中？ 13 | - 在一个pod里面的服务如何彼此访问？他们的服务如何对外提供服务？ 14 | - 单独的pod如何对外提供服务？ 15 | - 哪个服务作为整个服务的入口，入口服务如何对外提供服务？ 16 | 17 | 18 | ## 2. 搞定配置 19 | 配置的模板已经为大家准备好了，但是还需要大家做一下处理才能使用哦，参考下面脚本： 20 | ```bash 21 | $ cd ~/kubernetes-starter/service-config/ 22 | $ ls 23 | api-gateway.yaml message-service.yaml 24 | course-service.yaml user-service.yaml 25 | #替换变量 - (hub.mooc.com:8080是我的环境的镜像仓库地址，大家修改为各自的仓库) 26 | $ sed -i 's/{{HUB}}/hub.mooc.com:8080/g' * 27 | ``` 28 | ## 3. 部署服务 29 | ##### 部署前准备： 30 | - **要过一遍我们现有的代码配置，看看是否有需要修改的，修改后需要新生成镜像** 31 | - **要启动好微服务依赖的服务，像zookeeper，mysql，registry等** 32 | 33 | -------------------------------------------------------------------------------- /service-config/user-service.yaml: -------------------------------------------------------------------------------- 1 | apiVersion: v1 2 | kind: Service 3 | metadata: 4 | labels: 5 | app: user-service 6 | name: user-service 7 | namespace: default 8 | spec: 9 | ports: 10 | - name: user-edge-service-port 11 | port: 8082 12 | protocol: TCP 13 | targetPort: 8082 14 | - name: user-service-port 15 | port: 7911 16 | protocol: TCP 17 | targetPort: 7911 18 | selector: 19 | app: user-service 20 | sessionAffinity: None 21 | type: ClusterIP 22 | --- 23 | apiVersion: apps/v1beta1 24 | kind: Deployment 25 | metadata: 26 | name: user-service-deployment 27 | spec: 28 | replicas: 1 29 | template: 30 | metadata: 31 | labels: 32 | app: user-service 33 | spec: 34 | containers: 35 | - name: user-service 36 | image: {{HUB}}/micro-service/user-service:latest 37 | ports: 38 | - containerPort: 7911 39 | - name: user-edge-service 40 | image: {{HUB}}/micro-service/user-edge-service:latest 41 | ports: 42 | - containerPort: 8082 43 | 44 | -------------------------------------------------------------------------------- /kubernetes-with-ca/master-node/etcd.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Etcd Server 3 | After=network.target 4 | After=network-online.target 5 | Wants=network-online.target 6 | Documentation=https://github.com/coreos 7 | 8 | [Service] 9 | Type=notify 10 | WorkingDirectory=/var/lib/etcd/ 11 | ExecStart={{BIN_PATH}}/etcd \ 12 | --name={{NODE_IP}} \ 13 | --listen-client-urls=https://{{NODE_IP}}:2379,http://127.0.0.1:2379 \ 14 | --advertise-client-urls=https://{{NODE_IP}}:2379 \ 15 | --data-dir=/var/lib/etcd \ 16 | --listen-peer-urls=https://{{NODE_IP}}:2380 \ 17 | --initial-advertise-peer-urls=https://{{NODE_IP}}:2380 \ 18 | --cert-file=/etc/kubernetes/ca/etcd/etcd.pem \ 19 | --key-file=/etc/kubernetes/ca/etcd/etcd-key.pem \ 20 | --peer-cert-file=/etc/kubernetes/ca/etcd/etcd.pem \ 21 | --peer-key-file=/etc/kubernetes/ca/etcd/etcd-key.pem \ 22 | --trusted-ca-file=/etc/kubernetes/ca/ca.pem \ 23 | --peer-trusted-ca-file=/etc/kubernetes/ca/ca.pem 24 | Restart=on-failure 25 | RestartSec=5 26 | LimitNOFILE=65536 27 | 28 | [Install] 29 | WantedBy=multi-user.target 30 | -------------------------------------------------------------------------------- /kubernetes-simple/all-node/kube-calico.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=calico node 3 | After=docker.service 4 | Requires=docker.service 5 | 6 | [Service] 7 | User=root 8 | PermissionsStartOnly=true 9 | ExecStart=/usr/bin/docker run --net=host --privileged --name=calico-node \ 10 | -e ETCD_ENDPOINTS={{ETCD_ENDPOINTS}} \ 11 | -e CALICO_LIBNETWORK_ENABLED=true \ 12 | -e CALICO_NETWORKING_BACKEND=bird \ 13 | -e CALICO_DISABLE_FILE_LOGGING=true \ 14 | -e CALICO_IPV4POOL_CIDR=172.20.0.0/16 \ 15 | -e CALICO_IPV4POOL_IPIP=off \ 16 | -e FELIX_DEFAULTENDPOINTTOHOSTACTION=ACCEPT \ 17 | -e FELIX_IPV6SUPPORT=false \ 18 | -e FELIX_LOGSEVERITYSCREEN=info \ 19 | -e FELIX_IPINIPMTU=1440 \ 20 | -e FELIX_HEALTHENABLED=true \ 21 | -e IP= \ 22 | -v /var/run/calico:/var/run/calico \ 23 | -v /lib/modules:/lib/modules \ 24 | -v /run/docker/plugins:/run/docker/plugins \ 25 | -v /var/run/docker.sock:/var/run/docker.sock \ 26 | -v /var/log/calico:/var/log/calico \ 27 | registry.cn-hangzhou.aliyuncs.com/imooc/calico-node:v2.6.2 28 | ExecStop=/usr/bin/docker rm -f calico-node 29 | Restart=always 30 | RestartSec=10 31 | 32 | [Install] 33 | WantedBy=multi-user.target 34 | -------------------------------------------------------------------------------- /kubernetes-simple/worker-node/kubelet.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes Kubelet 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | After=docker.service 5 | Requires=docker.service 6 | 7 | [Service] 8 | WorkingDirectory=/var/lib/kubelet 9 | ExecStart={{BIN_PATH}}/kubelet \ 10 | --address={{NODE_IP}} \ 11 | --hostname-override={{NODE_IP}} \ 12 | --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/imooc/pause-amd64:3.0 \ 13 | --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \ 14 | --network-plugin=cni \ 15 | --cni-conf-dir=/etc/cni/net.d \ 16 | --cni-bin-dir={{BIN_PATH}} \ 17 | --cluster-dns=10.68.0.2 \ 18 | --cluster-domain=cluster.local. \ 19 | --allow-privileged=true \ 20 | --fail-swap-on=false \ 21 | --logtostderr=true \ 22 | --v=2 23 | #kubelet cAdvisor 默认在所有接口监听 4194 端口的请求, 以下iptables限制内网访问 24 | ExecStartPost=/sbin/iptables -A INPUT -s 10.0.0.0/8 -p tcp --dport 4194 -j ACCEPT 25 | ExecStartPost=/sbin/iptables -A INPUT -s 172.16.0.0/12 -p tcp --dport 4194 -j ACCEPT 26 | ExecStartPost=/sbin/iptables -A INPUT -s 192.168.0.0/16 -p tcp --dport 4194 -j ACCEPT 27 | ExecStartPost=/sbin/iptables -A INPUT -p tcp --dport 4194 -j DROP 28 | Restart=on-failure 29 | RestartSec=5 30 | 31 | [Install] 32 | WantedBy=multi-user.target 33 | -------------------------------------------------------------------------------- /kubernetes-with-ca/all-node/kube-calico.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=calico node 3 | After=docker.service 4 | Requires=docker.service 5 | 6 | [Service] 7 | User=root 8 | PermissionsStartOnly=true 9 | ExecStart=/usr/bin/docker run --net=host --privileged --name=calico-node \ 10 | -e ETCD_ENDPOINTS={{ETCD_ENDPOINTS}} \ 11 | -e ETCD_CA_CERT_FILE=/etc/kubernetes/ca/ca.pem \ 12 | -e ETCD_CERT_FILE=/etc/kubernetes/ca/calico/calico.pem \ 13 | -e ETCD_KEY_FILE=/etc/kubernetes/ca/calico/calico-key.pem \ 14 | -e CALICO_LIBNETWORK_ENABLED=true \ 15 | -e CALICO_NETWORKING_BACKEND=bird \ 16 | -e CALICO_DISABLE_FILE_LOGGING=true \ 17 | -e CALICO_IPV4POOL_CIDR=172.20.0.0/16 \ 18 | -e CALICO_IPV4POOL_IPIP=off \ 19 | -e FELIX_DEFAULTENDPOINTTOHOSTACTION=ACCEPT \ 20 | -e FELIX_IPV6SUPPORT=false \ 21 | -e FELIX_LOGSEVERITYSCREEN=info \ 22 | -e FELIX_IPINIPMTU=1440 \ 23 | -e FELIX_HEALTHENABLED=true \ 24 | -e IP= \ 25 | -v /etc/kubernetes/ca:/etc/kubernetes/ca \ 26 | -v /var/run/calico:/var/run/calico \ 27 | -v /lib/modules:/lib/modules \ 28 | -v /run/docker/plugins:/run/docker/plugins \ 29 | -v /var/run/docker.sock:/var/run/docker.sock \ 30 | -v /var/log/calico:/var/log/calico \ 31 | registry.cn-hangzhou.aliyuncs.com/imooc/calico-node:v2.6.2 32 | ExecStop=/usr/bin/docker rm -f calico-node 33 | Restart=always 34 | RestartSec=10 35 | 36 | [Install] 37 | WantedBy=multi-user.target 38 | -------------------------------------------------------------------------------- /kubernetes-with-ca/worker-node/kubelet.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes Kubelet 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | After=docker.service 5 | Requires=docker.service 6 | 7 | [Service] 8 | WorkingDirectory=/var/lib/kubelet 9 | ExecStart={{BIN_PATH}}/kubelet \ 10 | --address={{NODE_IP}} \ 11 | --hostname-override={{NODE_IP}} \ 12 | --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/imooc/pause-amd64:3.0 \ 13 | --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \ 14 | --experimental-bootstrap-kubeconfig=/etc/kubernetes/bootstrap.kubeconfig \ 15 | --cert-dir=/etc/kubernetes/ca \ 16 | --hairpin-mode hairpin-veth \ 17 | --network-plugin=cni \ 18 | --cni-conf-dir=/etc/cni/net.d \ 19 | --cni-bin-dir={{BIN_PATH}} \ 20 | --cluster-dns=10.68.0.2 \ 21 | --cluster-domain=cluster.local. \ 22 | --allow-privileged=true \ 23 | --fail-swap-on=false \ 24 | --logtostderr=true \ 25 | --v=2 26 | #kubelet cAdvisor 默认在所有接口监听 4194 端口的请求, 以下iptables限制内网访问 27 | ExecStartPost=/sbin/iptables -A INPUT -s 10.0.0.0/8 -p tcp --dport 4194 -j ACCEPT 28 | ExecStartPost=/sbin/iptables -A INPUT -s 172.16.0.0/12 -p tcp --dport 4194 -j ACCEPT 29 | ExecStartPost=/sbin/iptables -A INPUT -s 192.168.0.0/16 -p tcp --dport 4194 -j ACCEPT 30 | ExecStartPost=/sbin/iptables -A INPUT -p tcp --dport 4194 -j DROP 31 | Restart=on-failure 32 | RestartSec=5 33 | 34 | [Install] 35 | WantedBy=multi-user.target 36 | -------------------------------------------------------------------------------- /gen-config.sh: -------------------------------------------------------------------------------- 1 | #!/bin/bash 2 | 3 | declare -A kvs=() 4 | 5 | function replace_files() { 6 | local file=$1 7 | if [ -f $file ];then 8 | echo "$file" 9 | for key in ${!kvs[@]} 10 | do 11 | value=${kvs[$key]} 12 | value=${value//\//\\\/} 13 | sed -i "s/{{$key}}/${value}/g" $file 14 | done 15 | return 0 16 | fi 17 | if [ -d $file ];then 18 | for f in `ls $file` 19 | do 20 | replace_files "${file}/${f}" 21 | done 22 | fi 23 | return 0 24 | } 25 | 26 | target=$1 27 | 28 | if [ "$target" != "simple" -a "$target" != "with-ca" ];then 29 | echo -e "Usage:\n\t sh gen-config.sh (simple / with-ca)" 30 | exit 1 31 | fi 32 | 33 | if [ "$target" == "simple" ];then 34 | folder="kubernetes-simple" 35 | else 36 | folder="kubernetes-with-ca" 37 | fi 38 | 39 | target="target" 40 | rm -fr $target 41 | cp -r $folder $target 42 | cd $target 43 | 44 | echo "====替换变量列表====" 45 | while read line;do 46 | if [ "${line:0:1}" == "#" -o "${line:0:1}" == "" ];then 47 | continue; 48 | fi 49 | key=${line/=*/} 50 | value=${line#*=} 51 | echo "$key=$value" 52 | kvs["$key"]="$value" 53 | done < ../config.properties 54 | echo "====================" 55 | 56 | echo "====替换配置文件====" 57 | for element in `ls` 58 | do 59 | dir_or_file=$element 60 | if [ ! -d $dir_or_file ];then 61 | continue 62 | fi 63 | replace_files $dir_or_file 64 | done 65 | echo "=================" 66 | echo "配置生成成功，位置: `pwd`" 67 | -------------------------------------------------------------------------------- /kubernetes-with-ca/master-node/kube-apiserver.service: -------------------------------------------------------------------------------- 1 | [Unit] 2 | Description=Kubernetes API Server 3 | Documentation=https://github.com/GoogleCloudPlatform/kubernetes 4 | After=network.target 5 | [Service] 6 | ExecStart={{BIN_PATH}}/kube-apiserver \ 7 | --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,NodeRestriction \ 8 | --insecure-bind-address=127.0.0.1 \ 9 | --kubelet-https=true \ 10 | --bind-address={{NODE_IP}} \ 11 | --authorization-mode=Node,RBAC \ 12 | --runtime-config=rbac.authorization.k8s.io/v1 \ 13 | --enable-bootstrap-token-auth \ 14 | --token-auth-file=/etc/kubernetes/ca/kubernetes/token.csv \ 15 | --tls-cert-file=/etc/kubernetes/ca/kubernetes/kubernetes.pem \ 16 | --tls-private-key-file=/etc/kubernetes/ca/kubernetes/kubernetes-key.pem \ 17 | --client-ca-file=/etc/kubernetes/ca/ca.pem \ 18 | --service-account-key-file=/etc/kubernetes/ca/ca-key.pem \ 19 | --etcd-cafile=/etc/kubernetes/ca/ca.pem \ 20 | --etcd-certfile=/etc/kubernetes/ca/kubernetes/kubernetes.pem \ 21 | --etcd-keyfile=/etc/kubernetes/ca/kubernetes/kubernetes-key.pem \ 22 | --service-cluster-ip-range=10.68.0.0/16 \ 23 | --service-node-port-range=20000-40000 \ 24 | --etcd-servers={{ETCD_ENDPOINTS}} \ 25 | --enable-swagger-ui=true \ 26 | --allow-privileged=true \ 27 | --audit-log-maxage=30 \ 28 | --audit-log-maxbackup=3 \ 29 | --audit-log-maxsize=100 \ 30 | --audit-log-path=/var/lib/audit.log \ 31 | --event-ttl=1h \ 32 | --v=2 33 | Restart=on-failure 34 | RestartSec=5 35 | Type=notify 36 | LimitNOFILE=65536 37 | [Install] 38 | WantedBy=multi-user.target 39 | -------------------------------------------------------------------------------- /docs/1-pre.md: -------------------------------------------------------------------------------- 1 | # 一、预先准备环境 2 | ## 1. 准备服务器 3 | 这里准备了三台ubuntu虚拟机，每台一核cpu和2G内存，配置好root账户，并安装好了docker，后续的所有操作都是使用root账户。虚拟机具体信息如下表： 4 | 5 | | 系统类型 | IP地址 | 节点角色 | CPU | Memory | Hostname | 6 | | :------: | :--------: | :-------: | :-----: | :---------: | :-----: | 7 | | ubuntu16.04 | 192.168.1.101 | worker | 1 | 2G | server01 | 8 | | ubuntu16.04 | 192.168.1.102 | master | 1 | 2G | server02 | 9 | | ubuntu16.04 | 192.168.1.103 | worker | 1 | 2G | server03 | 10 | 11 | > 使用centos的同学也可以参考此文档，需要注意替换系统命令即可 12 | 13 | ## 2. 安装docker（所有节点） 14 | 一般情况使用下面的方法安装即可 15 | 16 | #### 2.1 卸载旧版本(如果有的话) 17 | ```bash 18 | $ apt-get remove docker docker-engine docker.io 19 | ``` 20 | #### 2.2 更新apt-get源 21 | ```bash 22 | $ add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" 23 | ``` 24 | ```bash 25 | $ apt-get update 26 | ``` 27 | #### 2.3 安装apt的https支持包并添加gpg秘钥 28 | ```bash 29 | $ apt-get install \ 30 | apt-transport-https \ 31 | ca-certificates \ 32 | curl \ 33 | software-properties-common 34 | $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add - 35 | ``` 36 | 37 | #### 2.4 安装docker-ce 38 | 39 | - 安装最新的稳定版 40 | ```bash 41 | $ apt-get install -y docker-ce 42 | ``` 43 | - 安装指定版本 44 | ```bash 45 | #获取版本列表 46 | $ apt-cache madison docker-ce 47 | 48 | #指定版本安装(比如版本是17.09.1~ce-0~ubuntu) 49 | $ apt-get install -y docker-ce=17.09.1~ce-0~ubuntu 50 | 51 | ``` 52 | - 接受所有ip的数据包转发 53 | ```bash 54 | $ vi /lib/systemd/system/docker.service 55 | 56 | #找到ExecStart=xxx，在这行上面加入一行，内容如下：(k8s的网络需要) 57 | ExecStartPost=/sbin/iptables -I FORWARD -s 0.0.0.0/0 -j ACCEPT 58 | ``` 59 | - 启动服务 60 | ```bash 61 | $ systemctl daemon-reload 62 | $ service docker start 63 | ``` 64 | 65 | 66 | 遇到问题可以参考：[官方教程][1] 67 | 68 | ## 3. 系统设置（所有节点） 69 | #### 3.1 关闭、禁用防火墙(让所有机器之间都可以通过任意端口建立连接) 70 | ```bash 71 | $ ufw disable 72 | #查看状态 73 | $ ufw status 74 | ``` 75 | #### 3.2 设置系统参数 - 允许路由转发，不对bridge的数据进行处理 76 | ```bash 77 | #写入配置文件 78 | $ cat < /etc/sysctl.d/k8s.conf 79 | net.ipv4.ip_forward = 1 80 | net.bridge.bridge-nf-call-ip6tables = 1 81 | net.bridge.bridge-nf-call-iptables = 1 82 | EOF 83 | 84 | #生效配置文件 85 | $ sysctl -p /etc/sysctl.d/k8s.conf 86 | ``` 87 | 88 | #### 3.3 配置host文件 89 | ```bash 90 | #配置host，使每个Node都可以通过名字解析到ip地址 91 | $ vi /etc/hosts 92 | #加入如下片段(ip地址和servername替换成自己的) 93 | 192.168.1.101 server01 94 | 192.168.1.102 server02 95 | 192.168.1.103 server03 96 | ``` 97 | 98 | ## 4. 准备二进制文件（所有节点） 99 | kubernetes的安装有几种方式，不管是kube-admin还是社区贡献的部署方案都离不开这几种方式： 100 | - **使用现成的二进制文件** 101 | > 直接从官方或其他第三方下载，就是kubernetes各个组件的可执行文件。拿来就可以直接运行了。不管是centos，ubuntu还是其他的linux发行版本，只要gcc编译环境没有太大的区别就可以直接运行的。使用较新的系统一般不会有什么跨平台的问题。 102 | 103 | - **使用源码编译安装** 104 | >编译结果也是各个组件的二进制文件，所以如果能直接下载到需要的二进制文件基本没有什么编译的必要性了。 105 | 106 | - **使用镜像的方式运行** 107 | > 同样一个功能使用二进制文件提供的服务，也可以选择使用镜像的方式。就像nginx，像mysql，我们可以使用安装版，搞一个可执行文件运行起来，也可以使用它们的镜像运行起来，提供同样的服务。kubernetes也是一样的道理，二进制文件提供的服务镜像也一样可以提供。 108 | 109 | 从上面的三种方式中其实使用镜像是比较优雅的方案，容器的好处自然不用多说。但从初学者的角度来说容器的方案会显得有些复杂，不那么纯粹，会有很多容器的配置文件以及关于类似二进制文件提供的服务如何在容器中提供的问题，容易跑偏。 110 | 所以我们这里使用二进制的方式来部署。二进制文件已经这里备好，大家可以打包下载，把下载好的文件放到每个节点上，放在哪个目录随你喜欢，**放好后最好设置一下环境变量$PATH**，方便后面可以直接使用命令。(科学上网的同学也可以自己去官网找找) 111 | ####[下载地址（kubernetes 1.9.0版本）][2] 112 | 113 | ## 5. 准备配置文件（所有节点） 114 | 上一步我们下载了kubernetes各个组件的二进制文件，这些可执行文件的运行也是需要添加很多参数的，包括有的还会依赖一些配置文件。现在我们就把运行它们需要的参数和配置文件都准备好。 115 | #### 5.1 下载配置文件 116 | ```bash 117 | #到home目录下载项目 118 | $ cd 119 | $ git clone https://github.com/liuyi01/kubernetes-starter.git 120 | #看看git内容 121 | $ cd ~/kubernetes-starter && ls 122 | ``` 123 | #### 5.2 文件说明 124 | - **gen-config.sh** 125 | > shell脚本，用来根据每个同学自己的集群环境(ip，hostname等)，根据下面的模板，生成适合大家各自环境的配置文件。生成的文件会放到target文件夹下。 126 | 127 | - **kubernetes-simple** 128 | > 简易版kubernetes配置模板（剥离了认证授权）。 129 | > 适合刚接触kubernetes的同学，首先会让大家在和kubernetes初次见面不会印象太差（太复杂啦~~），再有就是让大家更容易抓住kubernetes的核心部分，把注意力集中到核心组件及组件的联系，从整体上把握kubernetes的运行机制。 130 | 131 | - **kubernetes-with-ca** 132 | > 在simple基础上增加认证授权部分。大家可以自行对比生成的配置文件，看看跟simple版的差异，更容易理解认证授权的（认证授权也是kubernetes学习曲线较高的重要原因） 133 | 134 | - **service-config** 135 | >这个先不用关注，它是我们曾经开发的那些微服务配置。 136 | > 等我们熟悉了kubernetes后，实践用的，通过这些配置，把我们的微服务都运行到kubernetes集群中。 137 | 138 | #### 5.3 生成配置 139 | 这里会根据大家各自的环境生成kubernetes部署过程需要的配置文件。 140 | 在每个节点上都生成一遍，把所有配置都生成好，后面会根据节点类型去使用相关的配置。 141 | ```bash 142 | #cd到之前下载的git代码目录 143 | $ cd ~/kubernetes-starter 144 | #编辑属性配置（根据文件注释中的说明填写好每个key-value） 145 | $ vi config.properties 146 | #生成配置文件，确保执行过程没有异常信息 147 | $ ./gen-config.sh simple 148 | #查看生成的配置文件，确保脚本执行成功 149 | $ find target/ -type f 150 | target/all-node/kube-calico.service 151 | target/master-node/kube-controller-manager.service 152 | target/master-node/kube-apiserver.service 153 | target/master-node/etcd.service 154 | target/master-node/kube-scheduler.service 155 | target/worker-node/kube-proxy.kubeconfig 156 | target/worker-node/kubelet.service 157 | target/worker-node/10-calico.conf 158 | target/worker-node/kubelet.kubeconfig 159 | target/worker-node/kube-proxy.service 160 | target/services/kube-dns.yaml 161 | ``` 162 | > **执行gen-config.sh常见问题：** 163 | > 1. gen-config.sh: 3: gen-config.sh: Syntax error: "(" unexpected 164 | > - bash版本过低，运行：bash -version查看版本，如果小于4需要升级 165 | > - 不要使用 sh gen-config.sh的方式运行（sh和bash可能不一样哦） 166 | > 2. config.properties文件填写错误，需要重新生成 167 | > 再执行一次./gen-config.sh simple即可，不需要手动删除target 168 | 169 | [1]: https://docs.docker.com/engine/installation/linux/docker-ce/ubuntu/ 170 | [2]: https://pan.baidu.com/s/1bMnqWY 171 | -------------------------------------------------------------------------------- /kubernetes-with-ca/services/kube-dashboard.yaml: -------------------------------------------------------------------------------- 1 | # Copyright 2017 The Kubernetes Authors. 2 | # 3 | # Licensed under the Apache License, Version 2.0 (the "License"); 4 | # you may not use this file except in compliance with the License. 5 | # You may obtain a copy of the License at 6 | # 7 | # http://www.apache.org/licenses/LICENSE-2.0 8 | # 9 | # Unless required by applicable law or agreed to in writing, software 10 | # distributed under the License is distributed on an "AS IS" BASIS, 11 | # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 12 | # See the License for the specific language governing permissions and 13 | # limitations under the License. 14 | 15 | # Configuration to deploy release version of the Dashboard UI compatible with 16 | # Kubernetes 1.8. 17 | # 18 | # Example usage: kubectl create -f 19 | 20 | # ------------------- Dashboard Secret ------------------- # 21 | 22 | apiVersion: v1 23 | kind: Secret 24 | metadata: 25 | labels: 26 | k8s-app: kubernetes-dashboard 27 | name: kubernetes-dashboard-certs 28 | namespace: kube-system 29 | type: Opaque 30 | 31 | --- 32 | # ------------------- Dashboard Service Account ------------------- # 33 | 34 | apiVersion: v1 35 | kind: ServiceAccount 36 | metadata: 37 | labels: 38 | k8s-app: kubernetes-dashboard 39 | name: kubernetes-dashboard 40 | namespace: kube-system 41 | 42 | --- 43 | # ------------------- Dashboard Role & Role Binding ------------------- # 44 | 45 | kind: Role 46 | apiVersion: rbac.authorization.k8s.io/v1 47 | metadata: 48 | name: kubernetes-dashboard-minimal 49 | namespace: kube-system 50 | rules: 51 | # Allow Dashboard to create 'kubernetes-dashboard-key-holder' secret. 52 | - apiGroups: [""] 53 | resources: ["secrets"] 54 | verbs: ["create"] 55 | # Allow Dashboard to create 'kubernetes-dashboard-settings' config map. 56 | - apiGroups: [""] 57 | resources: ["configmaps"] 58 | verbs: ["create"] 59 | # Allow Dashboard to get, update and delete Dashboard exclusive secrets. 60 | - apiGroups: [""] 61 | resources: ["secrets"] 62 | resourceNames: ["kubernetes-dashboard-key-holder", "kubernetes-dashboard-certs"] 63 | verbs: ["get", "update", "delete"] 64 | # Allow Dashboard to get and update 'kubernetes-dashboard-settings' config map. 65 | - apiGroups: [""] 66 | resources: ["configmaps"] 67 | resourceNames: ["kubernetes-dashboard-settings"] 68 | verbs: ["get", "update"] 69 | # Allow Dashboard to get metrics from heapster. 70 | - apiGroups: [""] 71 | resources: ["services"] 72 | resourceNames: ["heapster"] 73 | verbs: ["proxy"] 74 | - apiGroups: [""] 75 | resources: ["services/proxy"] 76 | resourceNames: ["heapster", "http:heapster:", "https:heapster:"] 77 | verbs: ["get"] 78 | 79 | --- 80 | apiVersion: rbac.authorization.k8s.io/v1 81 | kind: RoleBinding 82 | metadata: 83 | name: kubernetes-dashboard-minimal 84 | namespace: kube-system 85 | roleRef: 86 | apiGroup: rbac.authorization.k8s.io 87 | kind: Role 88 | name: kubernetes-dashboard-minimal 89 | subjects: 90 | - kind: ServiceAccount 91 | name: kubernetes-dashboard 92 | namespace: kube-system 93 | 94 | --- 95 | # ------------------- Dashboard Deployment ------------------- # 96 | 97 | kind: Deployment 98 | apiVersion: apps/v1beta2 99 | metadata: 100 | labels: 101 | k8s-app: kubernetes-dashboard 102 | name: kubernetes-dashboard 103 | namespace: kube-system 104 | spec: 105 | replicas: 1 106 | revisionHistoryLimit: 10 107 | selector: 108 | matchLabels: 109 | k8s-app: kubernetes-dashboard 110 | template: 111 | metadata: 112 | labels: 113 | k8s-app: kubernetes-dashboard 114 | spec: 115 | containers: 116 | - name: kubernetes-dashboard 117 | image: registry.cn-hangzhou.aliyuncs.com/imooc/kubernetes-dashboard-amd64:v1.8.1 118 | ports: 119 | - containerPort: 8443 120 | protocol: TCP 121 | args: 122 | - --auto-generate-certificates 123 | # Uncomment the following line to manually specify Kubernetes API server Host 124 | # If not specified, Dashboard will attempt to auto discover the API server and connect 125 | # to it. Uncomment only if the default does not work. 126 | # - --apiserver-host=http://my-address:port 127 | volumeMounts: 128 | - name: kubernetes-dashboard-certs 129 | mountPath: /certs 130 | # Create on-disk volume to store exec logs 131 | - mountPath: /tmp 132 | name: tmp-volume 133 | livenessProbe: 134 | httpGet: 135 | scheme: HTTPS 136 | path: / 137 | port: 8443 138 | initialDelaySeconds: 30 139 | timeoutSeconds: 30 140 | volumes: 141 | - name: kubernetes-dashboard-certs 142 | secret: 143 | secretName: kubernetes-dashboard-certs 144 | - name: tmp-volume 145 | emptyDir: {} 146 | serviceAccountName: kubernetes-dashboard 147 | # Comment the following tolerations if Dashboard must not be deployed on master 148 | tolerations: 149 | - key: node-role.kubernetes.io/master 150 | effect: NoSchedule 151 | 152 | --- 153 | # ------------------- Dashboard Service ------------------- # 154 | 155 | kind: Service 156 | apiVersion: v1 157 | metadata: 158 | labels: 159 | k8s-app: kubernetes-dashboard 160 | name: kubernetes-dashboard 161 | namespace: kube-system 162 | spec: 163 | ports: 164 | - port: 443 165 | targetPort: 8443 166 | nodePort: 9443 167 | selector: 168 | k8s-app: kubernetes-dashboard 169 | type: NodePort 170 | -------------------------------------------------------------------------------- /kubernetes-with-ca/services/kube-dns.yaml: -------------------------------------------------------------------------------- 1 | --- 2 | apiVersion: v1 3 | kind: ConfigMap 4 | metadata: 5 | name: kube-dns 6 | namespace: kube-system 7 | labels: 8 | addonmanager.kubernetes.io/mode: EnsureExists 9 | 10 | --- 11 | apiVersion: v1 12 | kind: ServiceAccount 13 | metadata: 14 | name: kube-dns 15 | namespace: kube-system 16 | labels: 17 | addonmanager.kubernetes.io/mode: Reconcile 18 | 19 | --- 20 | apiVersion: v1 21 | kind: Service 22 | metadata: 23 | name: kube-dns 24 | namespace: kube-system 25 | labels: 26 | k8s-app: kube-dns 27 | addonmanager.kubernetes.io/mode: Reconcile 28 | kubernetes.io/name: "KubeDNS" 29 | spec: 30 | selector: 31 | k8s-app: kube-dns 32 | clusterIP: 10.68.0.2 33 | ports: 34 | - name: dns 35 | port: 53 36 | protocol: UDP 37 | - name: dns-tcp 38 | port: 53 39 | protocol: TCP 40 | 41 | --- 42 | apiVersion: apps/v1 43 | kind: Deployment 44 | metadata: 45 | name: kube-dns 46 | namespace: kube-system 47 | labels: 48 | k8s-app: kube-dns 49 | addonmanager.kubernetes.io/mode: Reconcile 50 | spec: 51 | strategy: 52 | rollingUpdate: 53 | maxSurge: 10% 54 | maxUnavailable: 0 55 | selector: 56 | matchLabels: 57 | k8s-app: kube-dns 58 | template: 59 | metadata: 60 | labels: 61 | k8s-app: kube-dns 62 | annotations: 63 | scheduler.alpha.kubernetes.io/critical-pod: '' 64 | spec: 65 | tolerations: 66 | - key: "CriticalAddonsOnly" 67 | operator: "Exists" 68 | volumes: 69 | - name: kube-dns-config 70 | configMap: 71 | name: kube-dns 72 | optional: true 73 | containers: 74 | - name: kubedns 75 | image: registry.cn-hangzhou.aliyuncs.com/imooc/k8s-dns-kube-dns-amd64:1.14.5 76 | resources: 77 | # TODO: Set memory limits when we've profiled the container for large 78 | # clusters, then set request = limit to keep this container in 79 | # guaranteed class. Currently, this container falls into the 80 | # "burstable" category so the kubelet doesn't backoff from restarting it. 81 | limits: 82 | memory: 170Mi 83 | requests: 84 | cpu: 100m 85 | memory: 70Mi 86 | livenessProbe: 87 | httpGet: 88 | path: /healthcheck/kubedns 89 | port: 10054 90 | scheme: HTTP 91 | initialDelaySeconds: 60 92 | timeoutSeconds: 5 93 | successThreshold: 1 94 | failureThreshold: 5 95 | readinessProbe: 96 | httpGet: 97 | path: /readiness 98 | port: 8081 99 | scheme: HTTP 100 | # we poll on pod startup for the Kubernetes master service and 101 | # only setup the /readiness HTTP server once that's available. 102 | initialDelaySeconds: 3 103 | timeoutSeconds: 5 104 | args: 105 | - --domain=cluster.local. 106 | - --dns-port=10053 107 | - --config-dir=/kube-dns-config 108 | - --v=2 109 | env: 110 | - name: PROMETHEUS_PORT 111 | value: "10055" 112 | ports: 113 | - containerPort: 10053 114 | name: dns-local 115 | protocol: UDP 116 | - containerPort: 10053 117 | name: dns-tcp-local 118 | protocol: TCP 119 | - containerPort: 10055 120 | name: metrics 121 | protocol: TCP 122 | volumeMounts: 123 | - name: kube-dns-config 124 | mountPath: /kube-dns-config 125 | - name: dnsmasq 126 | image: registry.cn-hangzhou.aliyuncs.com/imooc/k8s-dns-dnsmasq-nanny-amd64:1.14.5 127 | livenessProbe: 128 | httpGet: 129 | path: /healthcheck/dnsmasq 130 | port: 10054 131 | scheme: HTTP 132 | initialDelaySeconds: 60 133 | timeoutSeconds: 5 134 | successThreshold: 1 135 | failureThreshold: 5 136 | args: 137 | - -v=2 138 | - -logtostderr 139 | - -configDir=/etc/k8s/dns/dnsmasq-nanny 140 | - -restartDnsmasq=true 141 | - -- 142 | - -k 143 | - --cache-size=1000 144 | - --log-facility=- 145 | - --server=/cluster.local./127.0.0.1#10053 146 | - --server=/in-addr.arpa/127.0.0.1#10053 147 | - --server=/ip6.arpa/127.0.0.1#10053 148 | ports: 149 | - containerPort: 53 150 | name: dns 151 | protocol: UDP 152 | - containerPort: 53 153 | name: dns-tcp 154 | protocol: TCP 155 | # see: https://github.com/kubernetes/kubernetes/issues/29055 for details 156 | resources: 157 | requests: 158 | cpu: 150m 159 | memory: 20Mi 160 | volumeMounts: 161 | - name: kube-dns-config 162 | mountPath: /etc/k8s/dns/dnsmasq-nanny 163 | - name: sidecar 164 | image: registry.cn-hangzhou.aliyuncs.com/imooc/k8s-dns-sidecar-amd64:1.14.5 165 | livenessProbe: 166 | httpGet: 167 | path: /metrics 168 | port: 10054 169 | scheme: HTTP 170 | initialDelaySeconds: 60 171 | timeoutSeconds: 5 172 | successThreshold: 1 173 | failureThreshold: 5 174 | args: 175 | - --v=2 176 | - --logtostderr 177 | - --probe=kubedns,127.0.0.1:10053,kubernetes.default.svc.cluster.local.,5,A 178 | - --probe=dnsmasq,127.0.0.1:53,kubernetes.default.svc.cluster.local.,5,A 179 | ports: 180 | - containerPort: 10054 181 | name: metrics 182 | protocol: TCP 183 | resources: 184 | requests: 185 | memory: 20Mi 186 | cpu: 10m 187 | dnsPolicy: Default # Don't use cluster DNS. 188 | serviceAccountName: kube-dns 189 | -------------------------------------------------------------------------------- /kubernetes-simple/services/kube-dns.yaml: -------------------------------------------------------------------------------- 1 | --- 2 | #ConfigMap是我们见到的一个新类型，顾名思义是做配置管理的，这里用作kube-dns配置存储 3 | apiVersion: v1 4 | kind: ConfigMap 5 | metadata: 6 | name: kube-dns 7 | namespace: kube-system 8 | labels: 9 | addonmanager.kubernetes.io/mode: EnsureExists 10 | 11 | --- 12 | #认证授权使用，这里未用到 13 | apiVersion: v1 14 | kind: ServiceAccount 15 | metadata: 16 | name: kube-dns 17 | namespace: kube-system 18 | labels: 19 | addonmanager.kubernetes.io/mode: Reconcile 20 | 21 | --- 22 | #dns服务 23 | apiVersion: v1 24 | kind: Service 25 | metadata: 26 | name: kube-dns 27 | namespace: kube-system 28 | labels: 29 | k8s-app: kube-dns 30 | addonmanager.kubernetes.io/mode: Reconcile 31 | kubernetes.io/name: "KubeDNS" 32 | spec: 33 | selector: 34 | #选择器，一个服务包含了哪些pods 35 | k8s-app: kube-dns 36 | #服务的clusterip，需要跟kubelet保持一致 37 | clusterIP: 10.68.0.2 38 | ports: 39 | - name: dns 40 | port: 53 41 | protocol: UDP 42 | - name: dns-tcp 43 | port: 53 44 | protocol: TCP 45 | 46 | --- 47 | #具体的pod定义，包含了三个容器 48 | apiVersion: apps/v1 49 | kind: Deployment 50 | metadata: 51 | name: kube-dns 52 | namespace: kube-system 53 | labels: 54 | k8s-app: kube-dns 55 | addonmanager.kubernetes.io/mode: Reconcile 56 | spec: 57 | strategy: 58 | rollingUpdate: 59 | maxSurge: 10% 60 | maxUnavailable: 0 61 | selector: 62 | matchLabels: 63 | k8s-app: kube-dns 64 | template: 65 | metadata: 66 | labels: 67 | k8s-app: kube-dns 68 | annotations: 69 | scheduler.alpha.kubernetes.io/critical-pod: '' 70 | spec: 71 | tolerations: 72 | - key: "CriticalAddonsOnly" 73 | operator: "Exists" 74 | volumes: 75 | - name: kube-dns-config 76 | configMap: 77 | name: kube-dns 78 | optional: true 79 | containers: 80 | #实现dns解析功能 81 | - name: kubedns 82 | image: registry.cn-hangzhou.aliyuncs.com/imooc/k8s-dns-kube-dns-amd64:1.14.5 83 | resources: 84 | # TODO: Set memory limits when we've profiled the container for large 85 | # clusters, then set request = limit to keep this container in 86 | # guaranteed class. Currently, this container falls into the 87 | # "burstable" category so the kubelet doesn't backoff from restarting it. 88 | limits: 89 | memory: 170Mi 90 | requests: 91 | cpu: 100m 92 | memory: 70Mi 93 | livenessProbe: 94 | httpGet: 95 | path: /healthcheck/kubedns 96 | port: 10054 97 | scheme: HTTP 98 | initialDelaySeconds: 60 99 | timeoutSeconds: 5 100 | successThreshold: 1 101 | failureThreshold: 5 102 | readinessProbe: 103 | httpGet: 104 | path: /readiness 105 | port: 8081 106 | scheme: HTTP 107 | # we poll on pod startup for the Kubernetes master service and 108 | # only setup the /readiness HTTP server once that's available. 109 | initialDelaySeconds: 3 110 | timeoutSeconds: 5 111 | args: 112 | - --domain=cluster.local. 113 | - --dns-port=10053 114 | - --config-dir=/kube-dns-config 115 | #访问kube-apiserver的地址 116 | - --kube-master-url=http://{{MASTER_IP}}:8080 117 | - --v=2 118 | env: 119 | - name: PROMETHEUS_PORT 120 | value: "10055" 121 | ports: 122 | - containerPort: 10053 123 | name: dns-local 124 | protocol: UDP 125 | - containerPort: 10053 126 | name: dns-tcp-local 127 | protocol: TCP 128 | - containerPort: 10055 129 | name: metrics 130 | protocol: TCP 131 | volumeMounts: 132 | - name: kube-dns-config 133 | mountPath: /kube-dns-config 134 | #dnsmasq类似一个dns缓存，用于提高访问效率 135 | - name: dnsmasq 136 | image: registry.cn-hangzhou.aliyuncs.com/imooc/k8s-dns-dnsmasq-nanny-amd64:1.14.5 137 | livenessProbe: 138 | httpGet: 139 | path: /healthcheck/dnsmasq 140 | port: 10054 141 | scheme: HTTP 142 | initialDelaySeconds: 60 143 | timeoutSeconds: 5 144 | successThreshold: 1 145 | failureThreshold: 5 146 | args: 147 | - -v=2 148 | - -logtostderr 149 | - -configDir=/etc/k8s/dns/dnsmasq-nanny 150 | - -restartDnsmasq=true 151 | - -- 152 | - -k 153 | - --cache-size=1000 154 | - --log-facility=- 155 | - --server=/cluster.local./127.0.0.1#10053 156 | - --server=/in-addr.arpa/127.0.0.1#10053 157 | - --server=/ip6.arpa/127.0.0.1#10053 158 | ports: 159 | - containerPort: 53 160 | name: dns 161 | protocol: UDP 162 | - containerPort: 53 163 | name: dns-tcp 164 | protocol: TCP 165 | # see: https://github.com/kubernetes/kubernetes/issues/29055 for details 166 | resources: 167 | requests: 168 | cpu: 150m 169 | memory: 20Mi 170 | volumeMounts: 171 | - name: kube-dns-config 172 | mountPath: /etc/k8s/dns/dnsmasq-nanny 173 | #sidecar是一个监控功能，负责监控另外两个容器的运行 174 | - name: sidecar 175 | image: registry.cn-hangzhou.aliyuncs.com/imooc/k8s-dns-sidecar-amd64:1.14.5 176 | livenessProbe: 177 | httpGet: 178 | path: /metrics 179 | port: 10054 180 | scheme: HTTP 181 | initialDelaySeconds: 60 182 | timeoutSeconds: 5 183 | successThreshold: 1 184 | failureThreshold: 5 185 | args: 186 | - --v=2 187 | - --logtostderr 188 | - --probe=kubedns,127.0.0.1:10053,kubernetes.default.svc.cluster.local.,5,A 189 | - --probe=dnsmasq,127.0.0.1:53,kubernetes.default.svc.cluster.local.,5,A 190 | ports: 191 | - containerPort: 10054 192 | name: metrics 193 | protocol: TCP 194 | resources: 195 | requests: 196 | memory: 20Mi 197 | cpu: 10m 198 | dnsPolicy: Default # Don't use cluster DNS. 199 | serviceAccountName: kube-dns 200 | -------------------------------------------------------------------------------- /docs/2-kubernetes-simple.md: -------------------------------------------------------------------------------- 1 | # 二、基础集群部署 - kubernetes-simple 2 | ## 1. 部署ETCD（主节点） 3 | #### 1.1 简介 4 |   kubernetes需要存储很多东西，像它本身的节点信息，组件信息，还有通过kubernetes运行的pod，deployment，service等等。都需要持久化。etcd就是它的数据中心。生产环境中为了保证数据中心的高可用和数据的一致性，一般会部署最少三个节点。我们这里以学习为主就只在主节点部署一个实例。 5 | > 如果你的环境已经有了etcd服务(不管是单点还是集群)，可以忽略这一步。前提是你在生成配置的时候填写了自己的etcd endpoint哦~ 6 | 7 | #### 1.2 部署 8 | **etcd的二进制文件和服务的配置我们都已经准备好，现在的目的就是把它做成系统服务并启动。** 9 | 10 | ```bash 11 | #把服务配置文件copy到系统服务目录 12 | $ cp ~/kubernetes-starter/target/master-node/etcd.service /lib/systemd/system/ 13 | #enable服务 14 | $ systemctl enable etcd.service 15 | #创建工作目录(保存数据的地方) 16 | $ mkdir -p /var/lib/etcd 17 | # 启动服务 18 | $ service etcd start 19 | # 查看服务日志，看是否有错误信息，确保服务正常 20 | $ journalctl -f -u etcd.service 21 | ``` 22 | 23 | ## 2. 部署APIServer（主节点） 24 | #### 2.1 简介 25 | kube-apiserver是Kubernetes最重要的核心组件之一，主要提供以下的功能 26 | - 提供集群管理的REST API接口，包括认证授权（我们现在没有用到）数据校验以及集群状态变更等 27 | - 提供其他模块之间的数据交互和通信的枢纽（其他模块通过API Server查询或修改数据，只有API Server才直接操作etcd） 28 | 29 | > 生产环境为了保证apiserver的高可用一般会部署2+个节点，在上层做一个lb做负载均衡，比如haproxy。由于单节点和多节点在apiserver这一层说来没什么区别，所以我们学习部署一个节点就足够啦 30 | 31 | #### 2.2 部署 32 | APIServer的部署方式也是通过系统服务。部署流程跟etcd完全一样，不再注释 33 | ```bash 34 | $ cp target/master-node/kube-apiserver.service /lib/systemd/system/ 35 | $ systemctl enable kube-apiserver.service 36 | $ service kube-apiserver start 37 | $ journalctl -f -u kube-apiserver 38 | ``` 39 | 40 | #### 2.3 重点配置说明 41 | > [Unit] 42 | > Description=Kubernetes API Server 43 | > ... 44 | > [Service] 45 | > \#可执行文件的位置 46 | > ExecStart=/home/michael/bin/kube-apiserver \\ 47 | > \#非安全端口(8080)绑定的监听地址 这里表示监听所有地址 48 | > --insecure-bind-address=0.0.0.0 \\ 49 | > \#不使用https 50 | > --kubelet-https=false \\ 51 | > \#kubernetes集群的虚拟ip的地址范围 52 | > --service-cluster-ip-range=10.68.0.0/16 \\ 53 | > \#service的nodeport的端口范围限制 54 | > --service-node-port-range=20000-40000 \\ 55 | > \#很多地方都需要和etcd打交道，也是唯一可以直接操作etcd的模块 56 | > --etcd-servers=http://192.168.1.102:2379 \\ 57 | > ... 58 | 59 | ## 3. 部署ControllerManager（主节点） 60 | #### 3.1 简介 61 | Controller Manager由kube-controller-manager和cloud-controller-manager组成，是Kubernetes的大脑，它通过apiserver监控整个集群的状态，并确保集群处于预期的工作状态。 62 | kube-controller-manager由一系列的控制器组成，像Replication Controller控制副本，Node Controller节点控制，Deployment Controller管理deployment等等 63 | cloud-controller-manager在Kubernetes启用Cloud Provider的时候才需要，用来配合云服务提供商的控制 64 | > controller-manager、scheduler和apiserver 三者的功能紧密相关，一般运行在同一个机器上，我们可以把它们当做一个整体来看，所以保证了apiserver的高可用即是保证了三个模块的高可用。也可以同时启动多个controller-manager进程，但只有一个会被选举为leader提供服务。 65 | 66 | #### 3.2 部署 67 | **通过系统服务方式部署** 68 | ```bash 69 | $ cp target/master-node/kube-controller-manager.service /lib/systemd/system/ 70 | $ systemctl enable kube-controller-manager.service 71 | $ service kube-controller-manager start 72 | $ journalctl -f -u kube-controller-manager 73 | ``` 74 | #### 3.3 重点配置说明 75 | > [Unit] 76 | > Description=Kubernetes Controller Manager 77 | > ... 78 | > [Service] 79 | > ExecStart=/home/michael/bin/kube-controller-manager \\ 80 | > \#对外服务的监听地址，这里表示只有本机的程序可以访问它 81 | > --address=127.0.0.1 \\ 82 | > \#apiserver的url 83 | > --master=http://127.0.0.1:8080 \\ 84 | > \#服务虚拟ip范围，同apiserver的配置 85 | > --service-cluster-ip-range=10.68.0.0/16 \\ 86 | > \#pod的ip地址范围 87 | > --cluster-cidr=172.20.0.0/16 \\ 88 | > \#下面两个表示不使用证书，用空值覆盖默认值 89 | > --cluster-signing-cert-file= \\ 90 | > --cluster-signing-key-file= \\ 91 | > ... 92 | 93 | ## 4. 部署Scheduler（主节点） 94 | #### 4.1 简介 95 | kube-scheduler负责分配调度Pod到集群内的节点上，它监听kube-apiserver，查询还未分配Node的Pod，然后根据调度策略为这些Pod分配节点。我们前面讲到的kubernetes的各种调度策略就是它实现的。 96 | 97 | #### 4.2 部署 98 | **通过系统服务方式部署** 99 | ```bash 100 | $ cp target/master-node/kube-scheduler.service /lib/systemd/system/ 101 | $ systemctl enable kube-scheduler.service 102 | $ service kube-scheduler start 103 | $ journalctl -f -u kube-scheduler 104 | ``` 105 | 106 | #### 4.3 重点配置说明 107 | > [Unit] 108 | > Description=Kubernetes Scheduler 109 | > ... 110 | > [Service] 111 | > ExecStart=/home/michael/bin/kube-scheduler \\ 112 | > \#对外服务的监听地址，这里表示只有本机的程序可以访问它 113 | > --address=127.0.0.1 \\ 114 | > \#apiserver的url 115 | > --master=http://127.0.0.1:8080 \\ 116 | > ... 117 | 118 | ## 5. 部署CalicoNode（所有节点） 119 | #### 5.1 简介 120 | Calico实现了CNI接口，是kubernetes网络方案的一种选择，它一个纯三层的数据中心网络方案（不需要Overlay），并且与OpenStack、Kubernetes、AWS、GCE等IaaS和容器平台都有良好的集成。 121 | Calico在每一个计算节点利用Linux Kernel实现了一个高效的vRouter来负责数据转发，而每个vRouter通过BGP协议负责把自己上运行的workload的路由信息像整个Calico网络内传播——小规模部署可以直接互联，大规模下可通过指定的BGP route reflector来完成。 这样保证最终所有的workload之间的数据流量都是通过IP路由的方式完成互联的。 122 | #### 5.2 部署 123 | **calico是通过系统服务+docker方式完成的** 124 | ```bash 125 | $ cp target/all-node/kube-calico.service /lib/systemd/system/ 126 | $ systemctl enable kube-calico.service 127 | $ service kube-calico start 128 | $ journalctl -f -u kube-calico 129 | ``` 130 | #### 5.3 calico可用性验证 131 | **查看容器运行情况** 132 | ```bash 133 | $ docker ps 134 | CONTAINER ID IMAGE COMMAND CREATED ... 135 | 4d371b58928b calico/node:v2.6.2 "start_runit" 3 hours ago... 136 | ``` 137 | **查看节点运行情况** 138 | ```bash 139 | $ calicoctl node status 140 | Calico process is running. 141 | IPv4 BGP status 142 | +---------------+-------------------+-------+----------+-------------+ 143 | | PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO | 144 | +---------------+-------------------+-------+----------+-------------+ 145 | | 192.168.1.103 | node-to-node mesh | up | 13:13:13 | Established | 146 | +---------------+-------------------+-------+----------+-------------+ 147 | IPv6 BGP status 148 | No IPv6 peers found. 149 | ``` 150 | **查看端口BGP 协议是通过TCP 连接来建立邻居的，因此可以用netstat 命令验证 BGP Peer** 151 | ```bash 152 | $ netstat -natp|grep ESTABLISHED|grep 179 153 | tcp 0 0 192.168.1.102:60959 192.168.1.103:179 ESTABLISHED 29680/bird 154 | ``` 155 | **查看集群ippool情况** 156 | ```bash 157 | $ calicoctl get ipPool -o yaml 158 | - apiVersion: v1 159 | kind: ipPool 160 | metadata: 161 | cidr: 172.20.0.0/16 162 | spec: 163 | nat-outgoing: true 164 | ``` 165 | #### 5.4 重点配置说明 166 | > [Unit] 167 | > Description=calico node 168 | > ... 169 | > [Service] 170 | > \#以docker方式运行 171 | > ExecStart=/usr/bin/docker run --net=host --privileged --name=calico-node \\ 172 | > \#指定etcd endpoints（这里主要负责网络元数据一致性，确保Calico网络状态的准确性） 173 | > -e ETCD_ENDPOINTS=http://192.168.1.102:2379 \\ 174 | > \#网络地址范围（同上面ControllerManager） 175 | > -e CALICO_IPV4POOL_CIDR=172.20.0.0/16 \\ 176 | > \#镜像名，为了加快大家的下载速度，镜像都放到了阿里云上 177 | > registry.cn-hangzhou.aliyuncs.com/imooc/calico-node:v2.6.2 178 | 179 | ## 6. 配置kubectl命令（任意节点） 180 | #### 6.1 简介 181 | kubectl是Kubernetes的命令行工具，是Kubernetes用户和管理员必备的管理工具。 182 | kubectl提供了大量的子命令，方便管理Kubernetes集群中的各种功能。 183 | #### 6.2 初始化 184 | 使用kubectl的第一步是配置Kubernetes集群以及认证方式，包括： 185 | - cluster信息：api-server地址 186 | - 用户信息：用户名、密码或密钥 187 | - Context：cluster、用户信息以及Namespace的组合 188 | 189 | 我们这没有安全相关的东西，只需要设置好api-server和上下文就好啦： 190 | ```bash 191 | #指定apiserver地址（ip替换为你自己的api-server地址） 192 | kubectl config set-cluster kubernetes --server=http://192.168.1.102:8080 193 | #指定设置上下文，指定cluster 194 | kubectl config set-context kubernetes --cluster=kubernetes 195 | #选择默认的上下文 196 | kubectl config use-context kubernetes 197 | ``` 198 | > 通过上面的设置最终目的是生成了一个配置文件：~/.kube/config，当然你也可以手写或复制一个文件放在那，就不需要上面的命令了。 199 | 200 | ## 7. 配置kubelet（工作节点） 201 | #### 7.1 简介 202 | 每个工作节点上都运行一个kubelet服务进程，默认监听10250端口，接收并执行master发来的指令，管理Pod及Pod中的容器。每个kubelet进程会在API Server上注册节点自身信息，定期向master节点汇报节点的资源使用情况，并通过cAdvisor监控节点和容器的资源。 203 | #### 7.2 部署 204 | **通过系统服务方式部署，但步骤会多一些，具体如下：** 205 | ```bash 206 | #确保相关目录存在 207 | $ mkdir -p /var/lib/kubelet 208 | $ mkdir -p /etc/kubernetes 209 | $ mkdir -p /etc/cni/net.d 210 | 211 | #复制kubelet服务配置文件 212 | $ cp target/worker-node/kubelet.service /lib/systemd/system/ 213 | #复制kubelet依赖的配置文件 214 | $ cp target/worker-node/kubelet.kubeconfig /etc/kubernetes/ 215 | #复制kubelet用到的cni插件配置文件 216 | $ cp target/worker-node/10-calico.conf /etc/cni/net.d/ 217 | 218 | $ systemctl enable kubelet.service 219 | $ service kubelet start 220 | $ journalctl -f -u kubelet 221 | ``` 222 | #### 7.3 重点配置说明 223 | **kubelet.service** 224 | > [Unit] 225 | Description=Kubernetes Kubelet 226 | [Service] 227 | \#kubelet工作目录，存储当前节点容器，pod等信息 228 | WorkingDirectory=/var/lib/kubelet 229 | ExecStart=/home/michael/bin/kubelet \\ 230 | \#对外服务的监听地址 231 | --address=192.168.1.103 \\ 232 | \#指定基础容器的镜像，负责创建Pod 内部共享的网络、文件系统等，这个基础容器非常重要：K8S每一个运行的 POD里面必然包含这个基础容器，如果它没有运行起来那么你的POD 肯定创建不了 233 | --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/imooc/pause-amd64:3.0 \\ 234 | \#访问集群方式的配置，如api-server地址等 235 | --kubeconfig=/etc/kubernetes/kubelet.kubeconfig \\ 236 | \#声明cni网络插件 237 | --network-plugin=cni \\ 238 | \#cni网络配置目录，kubelet会读取该目录下得网络配置 239 | --cni-conf-dir=/etc/cni/net.d \\ 240 | \#指定 kubedns 的 Service IP(可以先分配，后续创建 kubedns 服务时指定该 IP)，--cluster-domain 指定域名后缀，这两个参数同时指定后才会生效 241 | --cluster-dns=10.68.0.2 \\ 242 | ... 243 | 244 | **kubelet.kubeconfig** 245 | kubelet依赖的一个配置，格式看也是我们后面经常遇到的yaml格式，描述了kubelet访问apiserver的方式 246 | > apiVersion: v1 247 | > clusters: 248 | > \- cluster: 249 | > \#跳过tls，即是kubernetes的认证 250 | > insecure-skip-tls-verify: true 251 | > \#api-server地址 252 | > server: http://192.168.1.102:8080 253 | > ... 254 | 255 | **10-calico.conf** 256 | calico作为kubernets的CNI插件的配置 257 | ```xml 258 | { 259 | "name": "calico-k8s-network", 260 | "cniVersion": "0.1.0", 261 | "type": "calico", 262 | 263 | "ed_endpoints": "http://192.168.1.102:2379", 264 | "logevel": "info", 265 | "ipam": { 266 | "type": "calico-ipam" 267 | }, 268 | "kubernetes": { 269 | 270 | "k8s_api_root": "http://192.168.1.102:8080" 271 | } 272 | } 273 | ``` 274 | 275 | 276 | ## 8. 小试牛刀 277 | 到这里最基础的kubernetes集群就可以工作了。下面我们就来试试看怎么去操作，控制它。 278 | 我们从最简单的命令开始，尝试一下kubernetes官方的入门教学：playground的内容。了解如何创建pod，deployments，以及查看他们的信息，深入理解他们的关系。 279 | 具体内容请看慕课网的视频吧： [《Docker+k8s微服务容器化实践》][1] 280 | 281 | ## 9. 为集群增加service功能 - kube-proxy（工作节点） 282 | #### 9.1 简介 283 | 每台工作节点上都应该运行一个kube-proxy服务，它监听API server中service和endpoint的变化情况，并通过iptables等来为服务配置负载均衡，是让我们的服务在集群外可以被访问到的重要方式。 284 | #### 9.2 部署 285 | **通过系统服务方式部署：** 286 | ```bash 287 | #确保工作目录存在 288 | $ mkdir -p /var/lib/kube-proxy 289 | #复制kube-proxy服务配置文件 290 | $ cp target/worker-node/kube-proxy.service /lib/systemd/system/ 291 | #复制kube-proxy依赖的配置文件 292 | $ cp target/worker-node/kube-proxy.kubeconfig /etc/kubernetes/ 293 | 294 | $ systemctl enable kube-proxy.service 295 | $ service kube-proxy start 296 | $ journalctl -f -u kube-proxy 297 | ``` 298 | #### 9.3 重点配置说明 299 | **kube-proxy.service** 300 | > [Unit] 301 | Description=Kubernetes Kube-Proxy Server 302 | ... 303 | [Service] 304 | \#工作目录 305 | WorkingDirectory=/var/lib/kube-proxy 306 | ExecStart=/home/michael/bin/kube-proxy \\ 307 | \#监听地址 308 | --bind-address=192.168.1.103 \\ 309 | \#依赖的配置文件，描述了kube-proxy如何访问api-server 310 | --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig \\ 311 | ... 312 | 313 | **kube-proxy.kubeconfig** 314 | 配置了kube-proxy如何访问api-server，内容与kubelet雷同，不再赘述。 315 | 316 | #### 9.4 操练service 317 | 刚才我们在基础集群上演示了pod，deployments。下面就在刚才的基础上增加点service元素。具体内容见[《Docker+k8s微服务容器化实践》][1]。 318 | 319 | 320 | ## 10. 为集群增加dns功能 - kube-dns（app） 321 | #### 10.1 简介 322 | kube-dns为Kubernetes集群提供命名服务，主要用来解析集群服务名和Pod的hostname。目的是让pod可以通过名字访问到集群内服务。它通过添加A记录的方式实现名字和service的解析。普通的service会解析到service-ip。headless service会解析到pod列表。 323 | #### 10.2 部署 324 | **通过kubernetes应用的方式部署** 325 | kube-dns.yaml文件基本与官方一致（除了镜像名不同外）。 326 | 里面配置了多个组件，之间使用”---“分隔 327 | ```bash 328 | #到kubernetes-starter目录执行命令 329 | $ kubectl create -f target/services/kube-dns.yaml 330 | ``` 331 | #### 10.3 重点配置说明 332 | 请直接参考配置文件中的注释。 333 | 334 | #### 10.4 通过dns访问服务 335 | 这了主要演示增加kube-dns后，通过名字访问服务的原理和具体过程。演示启动dns服务和未启动dns服务的通过名字访问情况差别。 336 | 具体内容请看[《Docker+k8s微服务容器化实践》][1]吧~ 337 | 338 | [1]: https://coding.imooc.com/class/198.html 339 | -------------------------------------------------------------------------------- /docs/3-kubernetes-with-ca.md: -------------------------------------------------------------------------------- 1 | # 三、完整集群部署 - kubernetes-with-ca 2 | ## 1. 理解认证授权 3 | #### 1.1 为什么要认证 4 | 想理解认证，我们得从认证解决什么问题、防止什么问题的发生入手。 5 | 防止什么问题呢？是防止有人入侵你的集群，root你的机器后让我们集群依然安全吗？不是吧，root都到手了，那就为所欲为，防不胜防了。 6 | 其实网络安全本身就是为了解决在某些假设成立的条件下如何防范的问题。比如一个非常重要的假设就是两个节点或者ip之间的通讯网络是不可信任的，可能会被第三方窃取，也可能会被第三方篡改。就像我们上学时候给心仪的女孩传纸条，传送的过程可能会被别的同学偷看，甚至内容可能会从我喜欢你修改成我不喜欢你了。当然这种假设不是随便想出来的，而是从网络技术现状和实际发生的问题中发现、总结出来的。kubernetes的认证也是从这个问题出发来实现的。 7 | #### 1.2 概念梳理 8 | 为了解决上面说的问题，kubernetes并不需要自己想办法，毕竟是网络安全层面的问题，是每个服务都会遇到的问题，业内也有成熟的方案来解决。这里我们一起了解一下业内方案和相关的概念。 9 | - **对称加密/非对称加密** 10 | 这两个概念属于密码学的东西，对于没接触过的同学不太容易理解。可以参考知乎大神的生动讲解：[《如何用通俗易懂的话来解释非对称加密》][1] 11 | - **SSL/TLS** 12 | 了解了对称加密和非对称加密后，我们就可以了解一下SSL/TLS了。同样，已经有大神总结了非常好的入门文章：[《SSL/TLS协议运行机制的概述》][2] 13 | 14 | #### 1.3 什么是授权 15 | 授权的概念就简单多了，就是什么人具有什么样的权限，一般通过角色作为纽带把他们组合在一起。也就是一个角色一边拥有多种权限，一边拥有多个人。这样就把人和权限建立了一个关系。 16 | ## 2. kubernetes的认证授权 17 | Kubernetes集群的所有操作基本上都是通过kube-apiserver这个组件进行的，它提供HTTP RESTful形式的API供集群内外客户端调用。需要注意的是：认证授权过程只存在HTTPS形式的API中。也就是说，如果客户端使用HTTP连接到kube-apiserver，那么是不会进行认证授权的。所以说，可以这么设置，在集群内部组件间通信使用HTTP，集群外部就使用HTTPS，这样既增加了安全性，也不至于太复杂。 18 | 对APIServer的访问要经过的三个步骤，前面两个是认证和授权，第三个是 Admission Control，它也能在一定程度上提高安全性，不过更多是资源管理方面的作用。 19 | #### 2.1 kubernetes的认证 20 | kubernetes提供了多种认证方式，比如客户端证书、静态token、静态密码文件、ServiceAccountTokens等等。你可以同时使用一种或多种认证方式。只要通过任何一个都被认作是认证通过。下面我们就认识几个常见的认证方式。 21 | - **客户端证书认证** 22 | 客户端证书认证叫作TLS双向认证，也就是服务器客户端互相验证证书的正确性，在都正确的情况下协调通信加密方案。 23 | 为了使用这个方案，api-server需要用--client-ca-file选项来开启。 24 | - **引导Token** 25 | 当我们有非常多的node节点时，手动为每个node节点配置TLS认证比较麻烦，这时就可以用到引导token的认证方式，前提是需要在api-server开启 experimental-bootstrap-token-auth 特性，客户端的token信息与预先定义的token匹配认证通过后，自动为node颁发证书。当然引导token是一种机制，可以用到各种场景中。 26 | - **Service Account Tokens 认证** 27 | 有些情况下，我们希望在pod内部访问api-server，获取集群的信息，甚至对集群进行改动。针对这种情况，kubernetes提供了一种特殊的认证方式：Service Account。 Service Account 和 pod、service、deployment 一样是 kubernetes 集群中的一种资源，用户也可以创建自己的 Service Account。 28 | ServiceAccount 主要包含了三个内容：namespace、Token 和 CA。namespace 指定了 pod 所在的 namespace，CA 用于验证 apiserver 的证书，token 用作身份验证。它们都通过 mount 的方式保存在 pod 的文件系统中。 29 | 30 | #### 2.2 kubernetes的授权 31 | 在Kubernetes1.6版本中新增角色访问控制机制（Role-Based Access，RBAC）让集群管理员可以针对特定使用者或服务账号的角色，进行更精确的资源访问控制。在RBAC中，权限与角色相关联，用户通过成为适当角色的成员而得到这些角色的权限。这就极大地简化了权限的管理。在一个组织中，角色是为了完成各种工作而创造，用户则依据它的责任和资格来被指派相应的角色，用户可以很容易地从一个角色被指派到另一个角色。 32 | 目前 Kubernetes 中有一系列的鉴权机制，因为Kubernetes社区的投入和偏好，相对于其它鉴权机制而言，RBAC是更好的选择。具体RBAC是如何体现在kubernetes系统中的我们会在后面的部署中逐步的深入了解。 33 | #### 2.3 kubernetes的AdmissionControl 34 | AdmissionControl - 准入控制本质上为一段准入代码，在对kubernetes api的请求过程中，顺序为：先经过认证 & 授权，然后执行准入操作，最后对目标对象进行操作。这个准入代码在api-server中，而且必须被编译到二进制文件中才能被执行。 35 | 在对集群进行请求时，每个准入控制代码都按照一定顺序执行。如果有一个准入控制拒绝了此次请求，那么整个请求的结果将会立即返回，并提示用户相应的error信息。 36 | 常用组件（控制代码）如下： 37 | - AlwaysAdmit：允许所有请求 38 | - AlwaysDeny：禁止所有请求，多用于测试环境 39 | - ServiceAccount：它将serviceAccounts实现了自动化，它会辅助serviceAccount做一些事情，比如如果pod没有serviceAccount属性，它会自动添加一个default，并确保pod的serviceAccount始终存在 40 | - LimitRanger：他会观察所有的请求，确保没有违反已经定义好的约束条件，这些条件定义在namespace中LimitRange对象中。如果在kubernetes中使用LimitRange对象，则必须使用这个插件。 41 | - NamespaceExists：它会观察所有的请求，如果请求尝试创建一个不存在的namespace，则这个请求被拒绝。 42 | 43 | ## 3. 环境准备 44 | #### 3.1 停止原有kubernetes相关服务 45 | 开始之前我们要先把基础版本的集群停掉，包括service，deployments，pods以及运行的所有kubernetes组件 46 | ```bash 47 | #删除services 48 | $ kubectl delete services nginx-service 49 | 50 | #删除deployments 51 | $ kubectl delete deploy kubernetes-bootcamp 52 | $ kubectl delete deploy nginx-deployment 53 | 54 | #停掉worker节点的服务 55 | $ service kubelet stop && rm -fr /var/lib/kubelet/* 56 | $ service kube-proxy stop && rm -fr /var/lib/kube-proxy/* 57 | $ service kube-calico stop 58 | 59 | #停掉master节点的服务 60 | $ service kube-calico stop 61 | $ service kube-scheduler stop 62 | $ service kube-controller-manager stop 63 | $ service kube-apiserver stop 64 | $ service etcd stop && rm -fr /var/lib/etcd/* 65 | ``` 66 | #### 3.2 生成配置（所有节点） 67 | 跟基础环境搭建一样，我们需要生成kubernetes-with-ca的所有相关配置文件 68 | ```bash 69 | $ cd ~/kubernetes-starter 70 | #按照配置文件的提示编辑好配置 71 | $ vi config.properties 72 | #生成配置 73 | $ ./gen-config.sh with-ca 74 | ``` 75 | #### 3.3 安装cfssl（所有节点） 76 | cfssl是非常好用的CA工具，我们用它来生成证书和秘钥文件 77 | 安装过程比较简单，如下： 78 | ```bash 79 | #下载 80 | $ wget -q --show-progress --https-only --timestamping \ 81 | https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 \ 82 | https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 83 | #修改为可执行权限 84 | $ chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 85 | #移动到bin目录 86 | $ mv cfssl_linux-amd64 /usr/local/bin/cfssl 87 | $ mv cfssljson_linux-amd64 /usr/local/bin/cfssljson 88 | #验证 89 | $ cfssl version 90 | ``` 91 | #### 3.4 生成根证书（主节点） 92 | 根证书是证书信任链的根，各个组件通讯的前提是有一份大家都信任的证书（根证书），每个人使用的证书都是由这个根证书签发的。 93 | ```bash 94 | #所有证书相关的东西都放在这 95 | $ mkdir -p /etc/kubernetes/ca 96 | #准备生成证书的配置文件 97 | $ cp ~/kubernetes-starter/target/ca/ca-config.json /etc/kubernetes/ca 98 | $ cp ~/kubernetes-starter/target/ca/ca-csr.json /etc/kubernetes/ca 99 | #生成证书和秘钥 100 | $ cd /etc/kubernetes/ca 101 | $ cfssl gencert -initca ca-csr.json | cfssljson -bare ca 102 | #生成完成后会有以下文件（我们最终想要的就是ca-key.pem和ca.pem，一个秘钥，一个证书） 103 | $ ls 104 | ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem 105 | ``` 106 | 107 | ## 4. 改造etcd 108 | 109 | #### 4.1 准备证书 110 | etcd节点需要提供给其他服务访问，就要验证其他服务的身份，所以需要一个标识自己监听服务的server证书，当有多个etcd节点的时候也需要client证书与etcd集群其他节点交互，当然也可以client和server使用同一个证书因为它们本质上没有区别。 111 | ```bash 112 | #etcd证书放在这 113 | $ mkdir -p /etc/kubernetes/ca/etcd 114 | #准备etcd证书配置 115 | $ cp ~/kubernetes-starter/target/ca/etcd/etcd-csr.json /etc/kubernetes/ca/etcd/ 116 | $ cd /etc/kubernetes/ca/etcd/ 117 | #使用根证书(ca.pem)签发etcd证书 118 | $ cfssl gencert \ 119 | -ca=/etc/kubernetes/ca/ca.pem \ 120 | -ca-key=/etc/kubernetes/ca/ca-key.pem \ 121 | -config=/etc/kubernetes/ca/ca-config.json \ 122 | -profile=kubernetes etcd-csr.json | cfssljson -bare etcd 123 | #跟之前类似生成三个文件etcd.csr是个中间证书请求文件，我们最终要的是etcd-key.pem和etcd.pem 124 | $ ls 125 | etcd.csr etcd-csr.json etcd-key.pem etcd.pem 126 | ``` 127 | #### 4.2 改造etcd服务 128 | 建议大家先比较一下增加认证的etcd配置与原有配置的区别，做到心中有数。 129 | 可以使用命令比较： 130 | ```bash 131 | $ cd ~/kubernetes-starter/ 132 | $ vimdiff kubernetes-simple/master-node/etcd.service kubernetes-with-ca/master-node/etcd.service 133 | ``` 134 | **更新etcd服务：** 135 | ```bash 136 | $ cp ~/kubernetes-starter/target/master-node/etcd.service /lib/systemd/system/ 137 | $ systemctl daemon-reload 138 | $ service etcd start 139 | #验证etcd服务（endpoints自行替换） 140 | $ ETCDCTL_API=3 etcdctl \ 141 | --endpoints=https://192.168.1.102:2379 \ 142 | --cacert=/etc/kubernetes/ca/ca.pem \ 143 | --cert=/etc/kubernetes/ca/etcd/etcd.pem \ 144 | --key=/etc/kubernetes/ca/etcd/etcd-key.pem \ 145 | endpoint health 146 | ``` 147 | 148 | ## 5. 改造api-server 149 | #### 5.1 准备证书 150 | ```bash 151 | #api-server证书放在这，api-server是核心，文件夹叫kubernetes吧，如果想叫apiserver也可以，不过相关的地方都需要修改哦 152 | $ mkdir -p /etc/kubernetes/ca/kubernetes 153 | #准备apiserver证书配置 154 | $ cp ~/kubernetes-starter/target/ca/kubernetes/kubernetes-csr.json /etc/kubernetes/ca/kubernetes/ 155 | $ cd /etc/kubernetes/ca/kubernetes/ 156 | #使用根证书(ca.pem)签发kubernetes证书 157 | $ cfssl gencert \ 158 | -ca=/etc/kubernetes/ca/ca.pem \ 159 | -ca-key=/etc/kubernetes/ca/ca-key.pem \ 160 | -config=/etc/kubernetes/ca/ca-config.json \ 161 | -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes 162 | #跟之前类似生成三个文件kubernetes.csr是个中间证书请求文件，我们最终要的是kubernetes-key.pem和kubernetes.pem 163 | $ ls 164 | kubernetes.csr kubernetes-csr.json kubernetes-key.pem kubernetes.pem 165 | ``` 166 | #### 5.2 改造api-server服务 167 | **查看diff** 168 | ```bash 169 | $ cd ~/kubernetes-starter 170 | $ vimdiff kubernetes-simple/master-node/kube-apiserver.service kubernetes-with-ca/master-node/kube-apiserver.service 171 | ``` 172 | **生成token认证文件** 173 | ```bash 174 | #生成随机token 175 | $ head -c 16 /dev/urandom | od -An -t x | tr -d ' ' 176 | 8afdf3c4eb7c74018452423c29433609 177 | 178 | #按照固定格式写入token.csv，注意替换token内容 179 | $ echo "8afdf3c4eb7c74018452423c29433609,kubelet-bootstrap,10001,\"system:kubelet-bootstrap\"" > /etc/kubernetes/ca/kubernetes/token.csv 180 | ``` 181 | **更新api-server服务** 182 | ```bash 183 | $ cp ~/kubernetes-starter/target/master-node/kube-apiserver.service /lib/systemd/system/ 184 | $ systemctl daemon-reload 185 | $ service kube-apiserver start 186 | 187 | #检查日志 188 | $ journalctl -f -u kube-apiserver 189 | ``` 190 | 191 | ## 6. 改造controller-manager 192 | controller-manager一般与api-server在同一台机器上，所以可以使用非安全端口与api-server通讯，不需要生成证书和私钥。 193 | #### 6.1 改造controller-manager服务 194 | **查看diff** 195 | ```bash 196 | $ cd ~/kubernetes-starter/ 197 | $ vimdiff kubernetes-simple/master-node/kube-controller-manager.service kubernetes-with-ca/master-node/kube-controller-manager.service 198 | ``` 199 | **更新controller-manager服务** 200 | ```bash 201 | $ cp ~/kubernetes-starter/target/master-node/kube-controller-manager.service /lib/systemd/system/ 202 | $ systemctl daemon-reload 203 | $ service kube-controller-manager start 204 | 205 | #检查日志 206 | $ journalctl -f -u kube-controller-manager 207 | ``` 208 | 209 | ## 7. 改造scheduler 210 | scheduler一般与apiserver在同一台机器上，所以可以使用非安全端口与apiserver通讯。不需要生成证书和私钥。 211 | #### 7.1 改造scheduler服务 212 | **查看diff** 213 | 比较会发现两个文件并没有区别，不需要改造 214 | ```bash 215 | $ cd ~/kubernetes-starter/ 216 | $ vimdiff kubernetes-simple/master-node/kube-scheduler.service kubernetes-with-ca/master-node/kube-scheduler.service 217 | ``` 218 | **启动服务** 219 | ```bash 220 | $ service kube-scheduler start 221 | #检查日志 222 | $ journalctl -f -u kube-scheduler 223 | ``` 224 | ## 8. 改造kubectl 225 | 226 | #### 8.1 准备证书 227 | ```bash 228 | #kubectl证书放在这，由于kubectl相当于系统管理员，我们使用admin命名 229 | $ mkdir -p /etc/kubernetes/ca/admin 230 | #准备admin证书配置 - kubectl只需客户端证书，因此证书请求中 hosts 字段可以为空 231 | $ cp ~/kubernetes-starter/target/ca/admin/admin-csr.json /etc/kubernetes/ca/admin/ 232 | $ cd /etc/kubernetes/ca/admin/ 233 | #使用根证书(ca.pem)签发admin证书 234 | $ cfssl gencert \ 235 | -ca=/etc/kubernetes/ca/ca.pem \ 236 | -ca-key=/etc/kubernetes/ca/ca-key.pem \ 237 | -config=/etc/kubernetes/ca/ca-config.json \ 238 | -profile=kubernetes admin-csr.json | cfssljson -bare admin 239 | #我们最终要的是admin-key.pem和admin.pem 240 | $ ls 241 | admin.csr admin-csr.json admin-key.pem admin.pem 242 | ``` 243 | 244 | #### 8.2 配置kubectl 245 | ```bash 246 | #指定apiserver的地址和证书位置（ip自行修改） 247 | $ kubectl config set-cluster kubernetes \ 248 | --certificate-authority=/etc/kubernetes/ca/ca.pem \ 249 | --embed-certs=true \ 250 | --server=https://192.168.1.102:6443 251 | #设置客户端认证参数，指定admin证书和秘钥 252 | $ kubectl config set-credentials admin \ 253 | --client-certificate=/etc/kubernetes/ca/admin/admin.pem \ 254 | --embed-certs=true \ 255 | --client-key=/etc/kubernetes/ca/admin/admin-key.pem 256 | #关联用户和集群 257 | $ kubectl config set-context kubernetes \ 258 | --cluster=kubernetes --user=admin 259 | #设置当前上下文 260 | $ kubectl config use-context kubernetes 261 | 262 | #设置结果就是一个配置文件，可以看看内容 263 | $ cat ~/.kube/config 264 | ``` 265 | 266 | **验证master节点** 267 | ```bash 268 | #可以使用刚配置好的kubectl查看一下组件状态 269 | $ kubectl get componentstatus 270 | NAME STATUS MESSAGE ERROR 271 | scheduler Healthy ok 272 | controller-manager Healthy ok 273 | etcd-0 Healthy {"health": "true"} 274 | ``` 275 | 276 | 277 | ## 9. 改造calico-node 278 | #### 9.1 准备证书 279 | 后续可以看到calico证书用在四个地方： 280 | * calico/node 这个docker 容器运行时访问 etcd 使用证书 281 | * cni 配置文件中，cni 插件需要访问 etcd 使用证书 282 | * calicoctl 操作集群网络时访问 etcd 使用证书 283 | * calico/kube-controllers 同步集群网络策略时访问 etcd 使用证书 284 | ```bash 285 | #calico证书放在这 286 | $ mkdir -p /etc/kubernetes/ca/calico 287 | #准备calico证书配置 - calico只需客户端证书，因此证书请求中 hosts 字段可以为空 288 | $ cp ~/kubernetes-starter/target/ca/calico/calico-csr.json /etc/kubernetes/ca/calico/ 289 | $ cd /etc/kubernetes/ca/calico/ 290 | #使用根证书(ca.pem)签发calico证书 291 | $ cfssl gencert \ 292 | -ca=/etc/kubernetes/ca/ca.pem \ 293 | -ca-key=/etc/kubernetes/ca/ca-key.pem \ 294 | -config=/etc/kubernetes/ca/ca-config.json \ 295 | -profile=kubernetes calico-csr.json | cfssljson -bare calico 296 | #我们最终要的是calico-key.pem和calico.pem 297 | $ ls 298 | calico.csr calico-csr.json calico-key.pem calico.pem 299 | ``` 300 | 301 | #### 9.2 改造calico服务 302 | **查看diff** 303 | ```bash 304 | $ cd ~/kubernetes-starter 305 | $ vimdiff kubernetes-simple/all-node/kube-calico.service kubernetes-with-ca/all-node/kube-calico.service 306 | ``` 307 | > 通过diff会发现，calico多了几个认证相关的文件： 308 | /etc/kubernetes/ca/ca.pem 309 | /etc/kubernetes/ca/calico/calico.pem 310 | /etc/kubernetes/ca/calico/calico-key.pem 311 | 由于calico服务是所有节点都需要启动的，大家需要把这几个文件拷贝到每台服务器上 312 | 313 | **更新calico服务** 314 | ```bash 315 | $ cp ~/kubernetes-starter/target/all-node/kube-calico.service /lib/systemd/system/ 316 | $ systemctl daemon-reload 317 | $ service kube-calico start 318 | 319 | #验证calico（能看到其他节点的列表就对啦） 320 | $ calicoctl node status 321 | ``` 322 | 323 | 324 | ## 10. 改造kubelet 325 | 我们这里让kubelet使用引导token的方式认证，所以认证方式跟之前的组件不同，它的证书不是手动生成，而是由工作节点TLS BootStrap 向api-server请求，由主节点的controller-manager 自动签发。 326 | #### 10.1 创建角色绑定（主节点） 327 | 引导token的方式要求客户端向api-server发起请求时告诉他你的用户名和token，并且这个用户是具有一个特定的角色：system:node-bootstrapper，所以需要先将 bootstrap token 文件中的 kubelet-bootstrap 用户赋予这个特定角色，然后 kubelet 才有权限发起创建认证请求。 328 | **在主节点执行下面命令** 329 | ```bash 330 | #可以通过下面命令查询clusterrole列表 331 | $ kubectl -n kube-system get clusterrole 332 | 333 | #可以回顾一下token文件的内容 334 | $ cat /etc/kubernetes/ca/kubernetes/token.csv 335 | 8afdf3c4eb7c74018452423c29433609,kubelet-bootstrap,10001,"system:kubelet-bootstrap" 336 | 337 | #创建角色绑定（将用户kubelet-bootstrap与角色system:node-bootstrapper绑定） 338 | $ kubectl create clusterrolebinding kubelet-bootstrap \ 339 | --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap 340 | ``` 341 | #### 10.2 创建bootstrap.kubeconfig（工作节点） 342 | 这个配置是用来完成bootstrap token认证的，保存了像用户，token等重要的认证信息，这个文件可以借助kubectl命令生成：（也可以自己写配置） 343 | ```bash 344 | #设置集群参数(注意替换ip) 345 | $ kubectl config set-cluster kubernetes \ 346 | --certificate-authority=/etc/kubernetes/ca/ca.pem \ 347 | --embed-certs=true \ 348 | --server=https://192.168.1.102:6443 \ 349 | --kubeconfig=bootstrap.kubeconfig 350 | #设置客户端认证参数(注意替换token) 351 | $ kubectl config set-credentials kubelet-bootstrap \ 352 | --token=8afdf3c4eb7c74018452423c29433609 \ 353 | --kubeconfig=bootstrap.kubeconfig 354 | #设置上下文 355 | $ kubectl config set-context default \ 356 | --cluster=kubernetes \ 357 | --user=kubelet-bootstrap \ 358 | --kubeconfig=bootstrap.kubeconfig 359 | #选择上下文 360 | $ kubectl config use-context default --kubeconfig=bootstrap.kubeconfig 361 | #将刚生成的文件移动到合适的位置 362 | $ mv bootstrap.kubeconfig /etc/kubernetes/ 363 | ``` 364 | #### 10.3 准备cni配置 365 | **查看diff** 366 | ```bash 367 | $ cd ~/kubernetes-starter 368 | $ vimdiff kubernetes-simple/worker-node/10-calico.conf kubernetes-with-ca/worker-node/10-calico.conf 369 | ``` 370 | **copy配置** 371 | ```bash 372 | $ cp ~/kubernetes-starter/target/worker-node/10-calico.conf /etc/cni/net.d/ 373 | ``` 374 | #### 10.4 改造kubelet服务 375 | **查看diff** 376 | ```bash 377 | $ cd ~/kubernetes-starter 378 | $ vimdiff kubernetes-simple/worker-node/kubelet.service kubernetes-with-ca/worker-node/kubelet.service 379 | ``` 380 | 381 | **更新服务** 382 | ```bash 383 | $ cp ~/kubernetes-starter/target/worker-node/kubelet.service /lib/systemd/system/ 384 | $ systemctl daemon-reload 385 | $ service kubelet start 386 | 387 | #启动kubelet之后到master节点允许worker加入(批准worker的tls证书请求) 388 | #--------*在主节点执行*--------- 389 | $ kubectl get csr|grep 'Pending' | awk '{print $1}'| xargs kubectl certificate approve 390 | #----------------------------- 391 | 392 | #检查日志 393 | $ journalctl -f -u kubelet 394 | ``` 395 | 396 | ## 11. 改造kube-proxy 397 | #### 11.1 准备证书 398 | ```bash 399 | #proxy证书放在这 400 | $ mkdir -p /etc/kubernetes/ca/kube-proxy 401 | 402 | #准备proxy证书配置 - proxy只需客户端证书，因此证书请求中 hosts 字段可以为空。 403 | #CN 指定该证书的 User 为 system:kube-proxy，预定义的 ClusterRoleBinding system:node-proxy 将User system:kube-proxy 与 Role system:node-proxier 绑定，授予了调用 kube-api-server proxy的相关 API 的权限 404 | $ cp ~/kubernetes-starter/target/ca/kube-proxy/kube-proxy-csr.json /etc/kubernetes/ca/kube-proxy/ 405 | $ cd /etc/kubernetes/ca/kube-proxy/ 406 | 407 | #使用根证书(ca.pem)签发calico证书 408 | $ cfssl gencert \ 409 | -ca=/etc/kubernetes/ca/ca.pem \ 410 | -ca-key=/etc/kubernetes/ca/ca-key.pem \ 411 | -config=/etc/kubernetes/ca/ca-config.json \ 412 | -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy 413 | #我们最终要的是kube-proxy-key.pem和kube-proxy.pem 414 | $ ls 415 | kube-proxy.csr kube-proxy-csr.json kube-proxy-key.pem kube-proxy.pem 416 | ``` 417 | 418 | #### 11.2 生成kube-proxy.kubeconfig配置 419 | ```bash 420 | #设置集群参数（注意替换ip） 421 | $ kubectl config set-cluster kubernetes \ 422 | --certificate-authority=/etc/kubernetes/ca/ca.pem \ 423 | --embed-certs=true \ 424 | --server=https://192.168.1.102:6443 \ 425 | --kubeconfig=kube-proxy.kubeconfig 426 | #置客户端认证参数 427 | $ kubectl config set-credentials kube-proxy \ 428 | --client-certificate=/etc/kubernetes/ca/kube-proxy/kube-proxy.pem \ 429 | --client-key=/etc/kubernetes/ca/kube-proxy/kube-proxy-key.pem \ 430 | --embed-certs=true \ 431 | --kubeconfig=kube-proxy.kubeconfig 432 | #设置上下文参数 433 | $ kubectl config set-context default \ 434 | --cluster=kubernetes \ 435 | --user=kube-proxy \ 436 | --kubeconfig=kube-proxy.kubeconfig 437 | #选择上下文 438 | $ kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig 439 | #移动到合适位置 440 | $ mv kube-proxy.kubeconfig /etc/kubernetes/kube-proxy.kubeconfig 441 | 442 | ``` 443 | #### 11.3 改造kube-proxy服务 444 | **查看diff** 445 | ```bash 446 | $ cd ~/kubernetes-starter 447 | $ vimdiff kubernetes-simple/worker-node/kube-proxy.service kubernetes-with-ca/worker-node/kube-proxy.service 448 | ``` 449 | > 经过diff你应该发现kube-proxy.service没有变化 450 | 451 | **启动服务** 452 | ```bash 453 | #如果之前的配置没有了，可以重新复制一份过去 454 | $ cp ~/kubernetes-starter/target/worker-node/kube-proxy.service /lib/systemd/system/ 455 | $ systemctl daemon-reload 456 | 457 | #安装依赖软件 458 | $ apt install conntrack 459 | 460 | #启动服务 461 | $ service kube-proxy start 462 | #查看日志 463 | $ journalctl -f -u kube-proxy 464 | ``` 465 | 466 | ## 12. 改造kube-dns 467 | kube-dns有些特别，因为它本身是运行在kubernetes集群中，以kubernetes应用的形式运行。所以它的认证授权方式跟之前的组件都不一样。它需要用到service account认证和RBAC授权。 468 | **service account认证：** 469 | 每个service account都会自动生成自己的secret，用于包含一个ca，token和secret，用于跟api-server认证 470 | **RBAC授权：** 471 | 权限、角色和角色绑定都是kubernetes自动创建好的。我们只需要创建一个叫做kube-dns的 ServiceAccount即可，官方现有的配置已经把它包含进去了。 472 | 473 | #### 12.1 准备配置文件 474 | 我们在官方的基础上添加的变量，生成适合我们集群的配置。直接copy就可以啦 475 | ```bash 476 | $ cd ~/kubernetes-starter 477 | $ vimdiff kubernetes-simple/services/kube-dns.yaml kubernetes-with-ca/services/kube-dns.yaml 478 | ``` 479 | > 大家可以看到diff只有一处，新的配置没有设定api-server。不访问api-server，它是怎么知道每个服务的cluster ip和pod的endpoints的呢？这就是因为kubernetes在启动每个服务service的时候会以环境变量的方式把所有服务的ip，端口等信息注入进来。 480 | 481 | #### 12.2 创建kube-dns 482 | ```bash 483 | $ kubectl create -f ~/kubernetes-starter/target/services/kube-dns.yaml 484 | #看看启动是否成功 485 | $ kubectl -n kube-system get pods 486 | ``` 487 | 488 | ## 13. 再试牛刀 489 | 终于，安全版的kubernetes集群我们部署完成了。 490 | 下面我们使用新集群先温习一下之前学习过的命令，然后再认识一些新的命令，新的参数，新的功能。同样，具体内容请看[视频教程][3]吧~ 491 | 492 | 493 | 494 | 495 | 496 | 497 | [1]: https://www.zhihu.com/question/33645891/answer/57721969 498 | [2]: http://www.ruanyifeng.com/blog/2014/02/ssl_tls.html 499 | [3]: https://coding.imooc.com/class/198.html 500 | 501 | --------------------------------------------------------------------------------