Kubernetes Ingress
一、为什么需要 Ingress
我们使用传统的NodePort类型的Service的确能将集群内的服务暴露给集群外部客户端去访问,但是使用这种类型的Service存在以下问题:
-
一个端口只能使用一个服务,所有通过NodePort暴露的端口都需要提前规划;
-
如果集群上的Service的数量太多的话,暴露的NodePort端口不具有连续性。后期维护成本太大,且不宜于管理;
-
无论是Iptables或者是Ipvs模型的Service都配置在Linux内核中的Netfilter之上进行四层调度。是一种比较通用的调度器。支持调度HTTP、Mysql等应用层服务,不过,也正是工作于传输层从而使得它无法做到类似卸载HTTPS中的SSL会话,也不支持基于URL的请求调度机制,因为它工作在传输层。kubernetes也不支持为此类负载均衡配置任何类型的健康状态检测机制。
为了解决这种需求,提供了一种高级的流量管理,也就Ingress和Ingress Controller,kubernetes使用Ingress Controller来接收所有入口的流量,然后通过Ingress资源来定义流量如何区分,以及如何转发的规则。有了Ingress和Ingress控制器。我们就可以直接定义流量转发规则来发布服务,而无需创建许多的NodePort和LoadBalancer类型的Service。
二、什么是Ingress,Ingress Controller
Ingress 是 Kubernetes 中的一个 API 对象,用于定义集群内部服务的外部可访问性。简而言之,Ingress 是用来描述如何将外部请求路由到集群内部的服务的规则集合。Ingress 提供了一种定义 HTTP 路由规则的方式,使得外部客户端可以通过一个统一的入口点访问集群内部的服务。
Ingress相当于一个7层的负载均衡器,是kubernetes对反向代理的一个抽象,它的工作原理类 似于Nginx,可以理解成在Ingress里建立诸多映射规则,Ingress Controller通过监听这些配置规则并 转化成Nginx的反向代理配置 , 然后对外部提供服务。
在这里有两个核心概念:
- ingress:kubernetes中的一个对象,作用是定义请求如何转发到service的规则
- ingress controller:具体实现反向代理及负载均衡的程序,对ingress定义的规则进行解析,根据配置的规则来实现请求转发,实现方式有很多,比如Nginx, Contour, Haproxy等等
三、Ingress 的工作原理
Ingress(以Nginx为例)的工作原理如下:
- 用户编写Ingress规则,说明哪个域名对应kubernetes集群中的哪个Service
- Ingress控制器动态感知Ingress服务规则的变化,然后生成一段对应的Nginx反向代理配置
- Ingress控制器会将生成的Nginx配置写入到一个运行着的Nginx服务中,并动态更新
- 到此为止,其实真正在工作的就是一个Nginx了,内部配置了用户定义的请求转发规则
四、Ingress 配置资源模版
apiVersion: networking.k8s.io/v1 # 资源所属的API群组和版本
kind: Ingress # 资源类型
metadata: # 元数据
name: <string> # 资源名称
namespace: <string> # 命名空间
spec:
ingressClassName: "nginx" # 适用的Ingress控制器类别,须明确指明
rules: <[]object> # Ingress规则列表
- host: <string> # 虚拟主机的FQDN,俗称域名
http: <object>
paths: <[]object> # 虚拟主机的PATH定义列表
- path: <string> # 匹配以什么开头类似于nginx中的location
pathType: <string> # Prefix前缀匹配,不区分大小写 Exact。精确匹配URL,区分大小写
backend: <object> # 后端
service: <object> #关联后端的Service
name: <string> # 后端Service的名称
port: <object> #后端Service的端口
name: # 端口名称
number: # 端口号
五、实例
1、搭建 Ingress 环境
1.1、Ingress-Nginx官网地址
#Ingress-Nginx 官网地址
https://kubernetes.github.io/ingress-nginx/
#Ingress-Nginx GitHub地址
https://github.com/kubernetes/ingress-nginx
1.2、master 节点下载 deploy.yaml
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.0.4/deploy/static/provider/baremetal/deploy.yaml
1.3、所有节点提前 pull 必须的镜像
docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:ingresswebhook111
docker tag c41e9fcadf5a k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.1.1
docker pull registry.cn-hangzhou.aliyuncs.com/eagleslab/service:ingresscontroller104
docker tag a9f76bcccfb5 k8s.gcr.io/ingress-nginx/controller:v1.0.4
1.4、修改并应用 deploy.yaml 文件
如果是提前pull的镜像,要删除掉deploy.yaml中对镜像sha256的检查,在image标签中,删除 @sha256到行尾
sed -i 's/@sha256:.*//g' deploy.yaml
kubectl apply -f deploy.yaml
1.5、查看 ingress-nginx
kubectl get pods -n ingress-nginx -l app.kubernetes.io/name=ingress-nginx
1.6、查看 service
kubectl get svc -n ingress-nginx
2、准备 service 和 pod
2.1、创建 nginx 和 tomcat 的 Deployment
apiVersion: v1
kind: Namespace
metadata:
name: dev
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-deployment
namespace: dev
spec:
replicas: 3
selector:
matchLabels:
app: nginx-pod
template:
metadata:
labels:
app: nginx-pod
spec:
containers:
- name: nginx
image: nginx:1.17.1
ports:
- containerPort: 80
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: tomcat-deployment
namespace: dev
spec:
replicas: 3
selector:
matchLabels:
app: tomcat-pod
template:
metadata:
labels:
app: tomcat-pod
spec:
containers:
- name: tomcat
image: tomcat:8.5-jre10-slim
ports:
- containerPort: 8080
---
apiVersion: v1
kind: Service
metadata:
name: nginx-service
namespace: dev
spec:
selector:
app: nginx-pod
clusterIP: None
type: ClusterIP
ports:
- port: 80
targetPort: 80
---
apiVersion: v1
kind: Service
metadata:
name: tomcat-service
namespace: dev
spec:
selector:
app: tomcat-pod
clusterIP: None
type: ClusterIP
ports:
- port: 8080
targetPort: 8080
2.2、创建并查看对应 svc,pod
kubectl apply -f tomcat-nginx.yaml
kubectl get pods,svc -n dev
3、HTTP代理
3.1、创建 ingress-http.yaml
ingressClassName: nginx
使用 nginx 的 IngressClass(关联的 ingress-nginx 控制器)
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress-nginx
namespace: dev
spec:
rules:
- host: nginx.bbj1030.cn
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: nginx-service
port:
number: 80
ingressClassName: nginx
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ingress-tomcat
namespace: dev
spec:
rules:
- host: tomcat.bbj1030.cn
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: tomcat-service
port:
number: 8080
ingressClassName: nginx
3.2、应用并查看
kubectl get ing -n dev
kubectl describe ing -n dev
3.3、本地电脑配置 hosts 解析
将以上 nginx.bbj1030.cn 和 tomcat.bbj1030.cn 解析到 master 节点 192.168.112.10上
192.168.112.10 nginx.bbj1030.cn
192.168.112.10 tomcat.bbj1030.cn
3.4、通过域名+端口号查看
nginx.bbj1030.cn:32596
tomcat.bbj1030.cn:32596
4、HTTPS代理
4.1、生成证书
openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/C=CN/ST=BJ/L=BJ/O=nginx/CN=bbj1030.cn"
4.2、创建密钥
kubectl create secret tls tls-secret --key tls.key --cert tls.crt
4.3、创建ingress-https.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: https-nginx
namespace: dev
spec:
tls:
- hosts:
- nginx.bbj1030.cn
secretName: tls-secret # 指定秘钥
rules:
- host: nginx.bbj1030.cn
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: nginx-service
port:
number: 80
ingressClassName: nginx
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: tomcat-https
namespace: dev
spec:
tls:
- hosts:
- tomcat.bbj1030.cn
secretName: tls-secret # 指定秘钥
rules:
- host: tomcat.bbj1030.cn
http:
paths:
- path: /
pathType: Prefix
backend:
service:
name: tomcat-service
port:
number: 8080
ingressClassName: nginx
4.4、应用并查看
需要先删除之前创建的 ingress 不然会报错
kubectl delete -f ingress-http.yaml
kubectl apply -f ingress-https.yaml
kubectl get ing -n dev
kubectl describe ing -n dev
4.5、通过 https://域名+端口号 访问
https://nginx.bbj1030.cn:31563
https://tomcat.bbj1030.cn:31563