前言CKA 和 CKS 是 LINUX 基金会联合 CNCF社区组织的云原生技术领域权威认证，考试采用实操方式进行。CKS全称是kubernetes安全专家认证，它在一个模拟真实的环境中测试考生对Kubernetes和云安全的知识。在参加CKS考试之前，必须已经通过CKA(Kubernetes管理员认证)，在获得CKA认证之后才可以预约CKS考试。CKS 考试难度相对于 CKA 提高了很多，2个小时的考试时间很紧张，因为考试是在网上进行，这两个考试又是实操考试，网络条件不好，很影响效率，如果不抓紧的话，很可能做不完所有实操题。提醒备考的同学善用考试软件提供的 notepad 功能，先把 yaml 文件或命令写到notepad里，再粘贴到 terminal里。另外要注意题目要求操作的节点，有些题要求在worker节点完成，有些要求master节点，否则找不到文件。
我因为上次 CKA 考试还是比较顺利，94 高分通过，所以这次的 CKS 考试有点疏忽了，搞忘带身份证和护照，CKA/CKS 考试需要身份证+护照/信用卡，因此跟监考老师沟通了很久时间，最后修改了考试人姓名为中文，是用驾驶证完成的考试。意外之喜是 CKS 给我的证书是中文名的。
我这次考试的 kubernetes 版本是 1.22，特意记录了一下考试会考到的知识点，分享给需要的同学。
1.NetworkPolicy通常使用标签选择器来选择pod，控制流量。所以要对 kubectl label的使用方法熟悉起来。
kubectl label [--overwrite] (-f FILENAME | TYPE NAME) KEY_1=VAL_1 ... KEY_N=VAL_N [--resource-version=version] [options]
网络策略的实用方法见注释
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: test-network-policy
namespace: default
spec:
# podSelector: {} 表示选择所有 pod 应用 NetworkPolicy
podSelector: # 表示选择包含标签 role=db 的 pod 应用下面的 NetworkPolicy
matchLabels:
role: db
policyTypes: # 表示 NetworkPolicy 包含 ingress 和 egress 流量规则
- Ingress
- Egress
ingress: # ingress 规则白名单列表，每条规则允许同时匹配 from 和 ports 流，可以有条个规则。
# 第1条白名单，包含 from + ports 的组合规则，允许来自172.17网段(172.17.1除外)、或标 签 project=myproject 的命名空间的所 有 pod 、或 default 命名空间下标签 role=frontend 的 pod 访问（限 tcp 6379 端口）
- from:
- ipBlock:
cidr: 172.17.0.0/16
except:
- 172.17.1.0/24
- namespaceSelector:
matchLabels:
project: myproject
- podSelector:
matchLabels:
role: frontend
ports:
- protocol: TCP
port: 6379
# 第二条白名单，只包含 from 规则，允许来自所有命名空间包含 environment=testing 标签的 pod 访问（不限端口）
- from:
- namespaceSelector: {}
podSelector:
matchLabels:
environment: testing
egress: # egress 规则白名单列表，同 ingress 规则一样，每条规则包含 to+ports，可以有多条规则。
- to:
- ipBlock:
cidr: 10.0.0.0/24
ports:
- protocol: TCP
port: 5978
2. Apparmor
查看当前节点加载的 apparmor profile ，如果没有加载，要手工加载
apparmor_status|grep nginx
apparmor_parser /etc/apparmor.d/nginx_apparmor
cks 考试的 apparmor profile 文件内容：
#include <tunables/global>
#nginx-profile-3
profile nginx-profile-3 flags=(attach_disconnected) {
#include <abstractions/base>
file,
# Deny all file writes.
deny /** w,
}
注意： nginx-profile-3 这一行要确保注释掉，考试环境提供的可能没有注释，加载配置文件按时会报错
root@node01:~# apparmor_parser /etc/apparmor.d/nginx_apparmor
AppArmor parser error for /etc/apparmor.d/nginx_apparmor in /etc/apparmor.d/ninx_apparmor at line 2: Found unexpected character: '-'
修改 pod yaml 文件，在注释里设置为 podx 加载 apparmor profile
annotations:
container.apparmor.security.beta.kubernetes.io/podx: localhost/nginx-profile-3
yaml 文件内容如下：
apiVersion: v1
kind: Pod
metadata:
name: podx
annotations:
container.apparmor.security.beta.kubernetes.io/podx: localhost/nginx-profile-3
spec:
containers:
- image: busybox
imagePullPolicy: IfNotPresent
name: podx
command: [ "sh", "-c", "echo 'Hello AppArmor!' && sleep 1h" ]
resources: {}
nodeName: node01
dnsPolicy: ClusterFirst
restartPolicy: Always
3. 修复kube-bench发现的安全问题
kube-bench 是一个 CIS 评估工具，扫描 kubernetes 集群存在的安全问题，基本上按照 扫描结果的修复建议进行修复就可以了，系统会给出很具体的修复措施。
# 修复 kube-apiserver 安全问题
vi /etc/kubernetes/manifests/kube-apiserver
#修改：
--authorization-mode=Node,RBAC
#添加
--insecure-port=0
#删除
# --insecure-bind-address=0.0.0.0
#修复 kubelet 安全问题
vi /var/lib/kubelet/config.yaml
# 将authentication.anonymous.enabled 设置为 false
authentication:
anonymous:
enabled: false
# authorization.mode 设置为 Webhook
authorization:
mode: Webhook
# 修复 etcd 安全问题
vi /etc/kubernetes/manifests/etcd.yaml
# 修改为true：
- --client-cert-auth=true
# 以上修复完成后 重新加载配置文件并重启kubelet
systemctl daemon-reload
systemctl restart kubelet
4. 解决 pod 的 serviceaccount 设置错误问题
这个题要注意 serviceaccount 有个选项 automountServiceAccountToken, 这个选项决定是否自动挂载 secret 到 pod。
有这个选项，我们就可以控制 pod 创建并绑定 serviceaccount 时，不自动挂载对应的 secret，这样 pod 就没有权限访问 apiserver，提高了业务 pod 的安全性。
可以在 serviceaccount 和 pod 的 spec 里设置，pod的设置优先于 serviceaccount 里的设置。
apiVersion: v1
kind: ServiceAccount
metadata:
name: backend-sa
namespace: qa
automountServiceAccountToken: false
apiVersion: v1
kind: Pod
metadata:
name: backend
namespace: qa
spec:
serviceAccountName: backend-sa
containers:
- image: nginx:1.9
imagePullPolicy: IfNotPresent
name: backend
删除未使用的 serviceaccount
5. 设置默认网络策略这道题是送分题，设置默认拒绝所有出站和入站的 pod 流量，基本上可以参考官网的案例直接改一下名字就可以了
默认网络策略
这道题也基本是送分题，参考官网文档，根据题目要求，设置 role 的 资源访问权限，绑定到 serviceaccount 就可以了。
RBAC
这道题稍复杂，需要按照要求启动日志审计，包括两个步骤：
(1) 编写日志审计策略文件
日志审计策略
apiVersion: audit.k8s.io/v1
kind: Policy
omitStages:
- "RequestReceived"
rules:
- level: RequestResponse
resources:
- group: ""
resources: ["namespaces"]
- level: Request
resources:
- group: ""
resources: ["persistentvolumes"]
namespaces: ["front-apps"]
- level: metadata
resources:
- group: ""
resources: ["secrets", "configmaps"]
- level: metadata
omitStages:
- "RequestReceived"
(2) 修改 kube-apiserver.yaml配置文件，启用日志审计策略，日志策略配置文件位置、日志文件存储位置、循环周期。
启动日志配置
vi /etc/kubernetes/manifests/kube-apiserver.yaml
# 设置日志审计策略文件在 pod 里的 mount 位置
- --audit-policy-file=/etc/kubernetes/logpolicy/sample-policy.yaml
# 设置日志文件存储位置
- --audit-log-path=/var/log/kubernetes/audit-logs.txt
# 设置日志文件循环
- --audit-log-maxage=10
- --audit-log-maxbackup=2
# mount 日志策略和日志文件的
volumeMounts:
- mountPath: /etc/kubernetes/logpolicy/sample-policy.yaml
name: audit
readOnly: true
- mountPath: /var/log/kubernetes/audit-logs.txt
name: audit-log
readOnly: false
volumes:
- name: audit
hostPath:
path: /etc/kubernetes/logpolicy/sample-policy.yaml
type: File
- name: audit-log
hostPath:
path: /var/log/kubernetes/audit-logs.txt
type: FileOrCreate
重启 kubelet
systemctl daemon-reload
systemctl restart kubelet
8. 创建 secret
这道题考解码 secret 的 base64 编码信息，创建新的 secret 并 mount 到 pod 的特定位置。
解码 secret
kubectl get secrets -n istio-system db1-test -o jsonpath={.data.username} | base64 -d > /cks/sec/user.txt
kubectl get secrets -n istio-system db1-test -o jsonpath={.data.password} | base64 -d > /cks/sec/pass.txt
创建secret
kubectl create secret generic db2-test -n istio-system --from-literal=username=production-instance --from-literal=password=KvLftKgs4aVH
使用secret
apiVersion: v1
kind: Pod
metadata:
name: secret-pod
namespace: istio-system
spec:
containers:
- name: dev-container
image: nginx
volumeMounts:
- name: secret-volume
mountPath: /etc/secret
volumes:
- name:
secret:
secretName: db2-test
9. 检测 dockerfile 的不安全指令
这道题也是送分题，主要是把 dockerfile里两个 使用了 root 用户的指令删除，把添加特定能力的 securityContext 安全上下文注释掉。
# 删除两处
USER root
# 注释 securityContext
# securityContext:
# {"Capabilities": {'add':{NET_BIND_SERVICE}, 'drop: []'}, 'privileged': TRUE}
10. 运行沙箱容器
给出了 支持安全沙箱容器运行时 handler runsc， 我们需要创建一个 RuntimeClass 并在 pod spec里指定是用该 RuntimeClass
参考资料
- 创建 RuntimeClass
apiVersion: node.k8s.io/v1beta1
kind: RuntimeClass
metadata:
name: untrusted
handler: runsc
- 修改 server 命名空间 所有 pod，设置 runtimeClassName
注意：运行中的 pod 只能修改有限的几个属性，不支持修改 RuntimeClass，需要将所有 pod 的 yaml 解析出来，修改 yaml 后，再重新创建 pod
还需要修改deployment
spec:。
runtimeClassName: untrusted
containers:
- image: vicuu/nginx:host
imagePullPolicy: IfNotPresent
name: nginx-host
11. 删除 不符合最佳实践的 pod
参考链接
- 删除启用了特权的 pod
主要是检查 pod 是否含 privileged: true
kubectl get po xxx -n production -o yaml| grep -i “privileged: true” - 删除有状态 pod
kubectl get pods XXXX -n production -o jsonpath={.spec.volumes} | jq
这道题考察对于镜像扫描工具 trivy 的使用
# 获取镜像名
kubect get pod XXXX -n kamino -o yaml | grep image
# 扫描镜像
trivy image -s HIGH,CRITICAL imagename
# kubectl delete po xxx
13. 使用 sysdig 检查容器里里的异常进程
本体考察是否掌握 sysdig 的基本用法，记住两个帮助命令：
- sysdig -h 查看 sysdig 帮助
- sysdig -l 查看 sysdig 支持的元数据
另外 sysdig 支持指定 containerid 分析特定容器
# 查看容器id
docker ps |grep tomcat
sysdig -M 30 -p "*%evt.time,%user.uid,%proc.name" container.id=xxxx>opt/DFA/incidents/summary
14. PodSecurityPolicy
这道题考察是否掌握 psp 的用法，包括5步骤
(1) 创建 psp
参考链接
apiVersion: policy/v1beta1
kind: PodSecurityPolicy
metadata:
name: restrict-policy
spec:
privileged: false
seLinux:
rule: RunAsAny
supplementalGroups:
rule: RunAsAny
runAsUser:
rule: RunAsAny
fsGroup:
rule: RunAsAny
volumes:
- '*'
(2) 创建 clusterrole，使用 psp
kubectl create clusterrole restrict-access-role --verb=use --resource=psp --resource-name=restrict-policy
(3) 创建 serviceaccount
kubectl create sa psp-denial-sa -n staging
(4) 绑定 clusterrole 到 serviceaccount
kubectl create clusterrolebinding dany-access-bind --clusterrole=restrict-access-role --serviceaccount=staging:psp-denial-sa
(5) 启用 PodSecurityPolicy
vi /etc/kubernetes/manifests/kube-apiserver.yaml
#确保有以下内容：
- --enable-admission-plugins=NodeRestriction,PodSecurityPolicy
15. 启用 API server认证
这道题同前面 kube-bench 的考核内容有点重合，题目中是用 kubeamd创建的 kubernetes服务器权限设置有问题，允许未经授权的访问。
参考链接
需要进行以下修改：
- 使用 Node,RBAC 授权模式和 NodeRestriction 准入控制器
vi /etc/kubernetes/manifests/kube-apiserver.yaml
# 确保以下内容
- --authorization-mode=Node,RBAC
- --enable-admission-plugins=NodeRestriction
- --client-ca-file=/etc/kubernetes/pki/ca.crt
- --enable-bootstrap-token-auth=true
- 删除 system:anonymous 的 ClusterRolebinding角色绑定，取消匿名用户的集群管理员权限
kubectl delete clusterrolebinding system:anonymous
16. ImagePolicyWebhook
这道题考察 ImagePolicyWebhook 准入控制器的使用，分4个步骤
- 修改控制器配置文件，将未找到有效后端时的默认拒绝改为默认不拒绝
参考链接
vi /etc/kubernetes/epconfig/admission_configuration.json
{
"imagePolicy": {
"kubeConfigFile": "/etc/kubernetes/epconfig/kubeconfig.yaml",
"allowTTL": 50,
"denyTTL": 50,
"retryBackoff": 500,
"defaultAllow": false
}
}
- 修改 控制器访问 webhook server 的 kubeconfig
vi /etc/kubernetes/epconfig/kubeconfig.yaml
修改如下内容
apiVersion: v1
kind: Config
clusters:
- cluster:
certificate-authority: /etc/kubernetes/epconfig/webhook.pem
server: https://acme.local:8082/image_policy # web hook server 的地址
name: bouncer_webhook
# 以下省略
- 启用ImagePolicyWebhook
vi /etc/kubernetes/manifests/kube-apiserver.yaml
# 启用 ImagePolicyWebhook
- --enable-admission-plugins=NodeRestriction,ImagePolicyWebhook
# 指定准入控制器配置文件
- --admission-control-config-file=/etc/kubernetes/epconfig/admission_configuration.json
# mount
volumeMounts:
- mountPath: /etc/kubernetes/epconfig
name: epconfig
# 映射 volumes
volumes:
- name: epconfig
hostPath:
path: /etc/kubernetes/epconfig
- 测试是否生效
systemctl daemon-reload
systemctl restart kubelet
kubectl apply -f /cks/img/web1.yaml
有图有真相CKACKS
