内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

在阿里云kubernetes上部署Jenkins Master

2018-08-04 17:59 出处:清屏网 人气: 评论(0

问题

Jenkins是很多公司开发中CI/CD用到的开源工具,但是开源里没有针对其提供高可用的方案,同时如果给每个Jenkins服务都分配一台机器,资源将比较浪费。另外在一个问题是大型一点的公司,为了能消除团队相互间的干扰,很可能是每个开发团队有自己的Jenkins服务器,,这又引入新的问题,将如何同时管理好这么多的Jenkins服务机器/集群,如果出错又该如何回复呢等等?

本文将通过容器+分布式存储的方式来构建容易维护的Jenkins集群,但是受制于Jenkins的实现机制,一个集群只能部署一个master实例,有Kubernetes的自动恢复容器的机制来保证高可用,后续再介绍如何使用容器的方式运行多个Jenkins Slave

架构以及部署模型

  • 构建一个NAS文件系统,用于存储Jekinks的配置(系统配置,以及作业配置),通过NAS的高可用性来提供Jekinks集群的可用性,当实例意外消亡时,数据依然保留并可以用作恢复。
  • 以Kubernetes的deployment的方式来部署Jenkins的容器(确保只能有一个实例),可以自动在实例意外消亡时被恢复。
  • 通过Ingress的方式来暴露Jenkins服务给客户使用

部署实践

创建NAS

  • 创建一个和K8S在同一个region的文件系统
  • 创建一个挂载点,选在与K8S相同的VPC,这个务必一样,因为不能垮VPC调用NAS,权限组没有特殊,使用默认的就可
  • 获得挂载点对应的地址

创建PV/PVC

  • 通过阿里云的Kubernetes容器服务控制台,创建对应的存储卷(PV)

这里挂载点的域名就是之前配置后得到的挂载点地址

  • 通过阿里云的Kubernetes容器服务控制台,创建对应的存储卷申明(PVC),这里关联前面的PV就可

这里定义的PVC的名字为: jenkins ,后面部署容器需要用到

创建Jenkins对应的Namespace, Deployment, Service, Ingress

  • 创建一个独立的Namespace,这个通常用来隔离不同团队的使用空间以及相关的约束,这里只是简单做了一个创建 kube-ops
apiVersion: v1
kind: Namespace
metadata:
  name: kube-ops
  • 创建对应的权限管理serviceAcount, role, roleBinding
apiVersion: v1
kind: ServiceAccount
metadata:
  name: jenkins
  namespace: kube-ops

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: Role
metadata:
  name: jenkins
  namespace: kube-ops
rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["get"]

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: RoleBinding
metadata:
  name: jenkins
  namespace: kube-ops
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: jenkins
subjects:
  - kind: ServiceAccount
    name: jenkins
    namespace: kube-ops
  • 创建对应的deployment和service
---
apiVersion: v1
kind: Deployment
metadata:
  name: jenkins
  namespace:  kube-ops
spec:
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - name: jenkins
        image: jenkins:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        - containerPort: 50000
          name: agent
          protocol: TCP
        resources:
          limits:
            cpu: 4000m
            memory: 4Gi
          requests:
            cpu: 2000m
            memory: 4Gi
        livenessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 90
          timeoutSeconds: 5
          failureThreshold: 12
        readinessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 90
          timeoutSeconds: 5
          failureThreshold: 12
        volumeMounts:
        - name: jenkinshome
          subPath: jenkins
          mountPath: /var/jenkins_home
        env:
        - name: LIMITS_MEMORY
          valueFrom:
            resourceFieldRef:
              resource: limits.memory
              divisor: 1Mi
        - name: JAVA_OPTS
          value: -Xmx$(LIMITS_MEMORY)m -XshowSettings:vm -Dhudson.slaves.NodeProvisioner.initialDelay=0 -Dhudson.slaves.NodeProvisioner.MARGIN=50 -Dhudson.slaves.NodeProvisioner.MARGIN0=0.85 -Duser.timezone=Asia/Shanghai
      securityContext:
        fsGroup: 1000
      volumes:
      - name: jenkinshome
        persistentVolumeClaim:
          claimName: jenkins

---
apiVersion: v1
kind: Service
metadata:
  name: jenkins
  namespace:  kube-ops
  labels:
    app: jenkins
spec:
  selector:
    app: jenkins
  ports:
  - name: web
    port: 8080
    targetPort: web
  - name: agent
    port: 50000
    targetPort: agent
  • 部署Ingress
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: jenkins-ingress
  namespace: kube-ops
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/affinity: cookie
    nginx.ingress.kubernetes.io/session-cookie-hash: sha1
    nginx.ingress.kubernetes.io/session-cookie-name: route    
spec:
  rules:
  - host: testjenkins.com
    http:
      paths:
      - backend:
          serviceName: jenkins
          servicePort: 8080
  • 访问对应的服务

在客户端主机的配置testjenkins.com和对应的Ingress的SLB的IP的映射,然后通过浏览器访问testjenkins.com:就可

“填坑”小记

  • 对于服务开在SLB 80端口需要根据中国的监管要求,有域名认证才可以,不然会被警告和屏蔽。测试可以在Ingress SLB配置多一个非80的端口映射就可
  • 新版本的Jenkins默认开了安全的跨域保护,访问的时候会出现 No valid crumb 问题(参考: https://issues.jenkins-ci.org/browse/JENKINS-42200 ),解决办法是在Jenkins的安全配置里设置(系统管理->Configure Global Security) 激活代理兼容

参考

  • 阿里云Kubernetes容器服务使用存储帮助说明 ( https://help.aliyun.com/document_detail/63956.html?spm=a2c4g.11186623.6.637.8X8CFU)
  • Kubernetes如何选择存储以及什么方式使用存储 ( https://yq.aliyun.com/articles/621108?spm=a2c4e.11153959.0.0.6d39d55aoh121a)
  • Ingress配置session stick( https://kubernetes.github.io/ingress-nginx/examples/affinity/cookie/README/)
分享给小伙伴们:
本文标签: kubernetes阿里云

相关文章

发表评论愿您的每句评论,都能给大家的生活添色彩,带来共鸣,带来思索,带来快乐。

CopyRight © 2015-2016 QingPingShan.com , All Rights Reserved.

清屏网 版权所有 豫ICP备15026204号