1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

// Manager interface provides methods for Kubelet to manage ConfigMap.
type Manager interface {
	
	GetConfigMap(namespace, name string) (*v1.ConfigMap, error)

	
	RegisterPod(pod *v1.Pod)

	
	UnregisterPod(pod *v1.Pod)
}

1
2
3

type configMapManager struct {
	manager manager.Manager				//用以處理 pod 註冊 configmap/secret ，建立 reflector 等相關操作。
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

func NewWatchingConfigMapManager(kubeClient clientset.Interface) Manager
	//建立一個 lister  watcher function ，主要用來監聽 kubernetes configmap 的變化
	//list 的條件為透過 client go 的 corev1 configmap list＆watch 相關的資訊。
	//實作上依賴注入的 kubernetes client interface ，這個 interface 功能非常多有機會之後再來看
	listConfigMap := func(namespace string, opts metav1.ListOptions) (runtime.Object, error) {
		return kubeClient.CoreV1().ConfigMaps(namespace).List(context.TODO(), opts)
	}
	watchConfigMap := func(namespace string, opts metav1.ListOptions) (watch.Interface, error) {
		return kubeClient.CoreV1().ConfigMaps(namespace).Watch(context.TODO(), opts)
	}

	//還記得之前在挖掘 kubernetes controller operator 的過程嗎？ 需要知道要觀測對象的型態
	//在這裡就是 configmap
	newConfigMap := func() runtime.Object {
		return &v1.ConfigMap{}
	}
	//configmap 其中有個欄位是 Immutable ，當 reflector 觀察到 configmap 會透過這個 function 
	// 檢查 configmap 是不是 Immutable 的狀態，若是為 Immutable 的狀態就會停止該物件的 reflector 
	isImmutable := func(object runtime.Object) bool {
		if configMap, ok := object.(*v1.ConfigMap); ok {
			return configMap.Immutable != nil && *configMap.Immutable
		}
		return false
	}

	gr := corev1.Resource("configmap")
	//回傳 configMap Manger 的物件，其中 manager 的實作為 WatchBasedManager
	return &configMapManager{
		manager: manager.NewWatchBasedManager(listConfigMap, watchConfigMap, newConfigMap, isImmutable, gr, getConfigMapNames),
	}
}

1
2
3
4
5
6
7

func (c *configMapManager) RegisterPod(pod *v1.Pod) {
	c.manager.RegisterPod(pod)
}

func (c *configMapManager) UnregisterPod(pod *v1.Pod) {
	c.manager.UnregisterPod(pod)
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

// updatePodsInternal replaces the given pods in the current state of the
// manager, updating the various indices. The caller is assumed to hold the
// lock.
func (pm *basicManager) updatePodsInternal(pods ...*v1.Pod) {
	//遞迴所有變化的 pod
	for _, pod := range pods {
		...
		//一般來說...前面已經會把 configMapManager 設定好
		if pm.configMapManager != nil {
			// 如果 pod 處於 Terminated 狀態就需要返註冊 pod status 
			if isPodInTerminatedState(pod) {
				pm.configMapManager.UnregisterPod(pod)
			} else {
			// 如果 pod 處於其他狀態就需要註冊 pod status，開始解析用到的 configmap 建立對應的 reflector 等等 
				pm.configMapManager.RegisterPod(pod)
			}
		}
        ...

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

func (c *configMapManager) GetConfigMap(namespace, name string) (*v1.ConfigMap, error) {
	//主要是透過前幾章說的[Kubernetes kubelet configmap & secret 與 cacheBasedManager 激情四射](https://blog.jjmengze.website/posts/kubernetes/source-code/kubelet/configmapsecret/kubernetes-kubelet-cachebasedmanager/) 
	//去取得 configmap 物件的資料，這邊不了解的話可以去複習一下相關連結。
	object, err := c.manager.GetObject(namespace, name)
	if err != nil {
		return nil, err
	}
	//透過 cacheBasedManager 取得的物件需要轉成對應的型態例如 configmap
	if configmap, ok := object.(*v1.ConfigMap); ok {
		return configmap, nil
	}
	return nil, fmt.Errorf("unexpected object type: %v", object)
}

1
2
3
4
5
6
7
8

apiVersion: v1
kind: ConfigMap
metadata:
  name: special-config
  namespace: default
data:
  SPECIAL_LEVEL: very
  SPECIAL_TYPE: charm

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

apiVersion: v1
kind: Pod
metadata:
  name: dapi-test-pod
spec:
  containers:
    - name: test-container
      image: k8s.gcr.io/busybox
      command: [ "/bin/sh", "-c", "env" ]
      envFrom:
      - configMapRef:
          name: special-config
  restartPolicy: Never

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110

func (kl *Kubelet) makeEnvironmentVariables(pod *v1.Pod, container *v1.Container, podIP string, podIPs []string) ([]kubecontainer.EnvVar, error) {

    //儲存最後要變成 pod 的環境變數
	var result []kubecontainer.EnvVar
    
    //簡單來說就是如果 pod yaml 有啟用 EnableServiceLinks 的話就需要把同一個 namespaces 所有的 service 
    //對應的名稱、IP 與 port 以環境變數的方式除存在 serviceENV 中
	serviceEnv, err := kl.getServiceEnvVarMap(pod.Namespace, *pod.Spec.EnableServiceLinks)
    
	var (
		configMaps = make(map[string]*v1.ConfigMap)
		secrets    = make(map[string]*v1.Secret)
		tmpEnv     = make(map[string]string)
	)
	...
    
	// Env will override EnvFrom variables.
	// Process EnvFrom first then allow Env to replace existing values.
	//這裡會遞迴 yaml 裡面 container envform 的欄位
	for _, envFrom := range container.EnvFrom {
		//接著要來判斷 envform 裡面有沒有 ConfigMapRef 這個欄位了
		switch {
        
		//如果有找到  ConfigMapRef 這個欄位的話
		case envFrom.ConfigMapRef != nil:
			//把 ConfigMapRef 欄位內的資料結構拿出來為 cm
			cm := envFrom.ConfigMapRef
            
			// 把 ConfigMapRef 欄位內的名稱拿出來 ，這裡就是 configmap 的名稱
			name := cm.Name
            
			// 檢查 configmap map 是否有處理過同樣名字的物件過
			configMap, ok := configMaps[name]
            
			//如果 map 找不到東西表示....我們要自己向 api server 要看相關的 configmap 
			if !ok {
				//這裡用的又是 kubernetes client interface ，沒有這個 interface 什麼都做不了
				//所以這裡有錯的話就可以回家洗洗睡了xD
				if kl.kubeClient == nil {
					return result, fmt.Errorf("couldn't get configMap %v/%v, no kubeClient defined", pod.Namespace, name)
				}
                
				//簡單來說就是有定義 ConfigMapEnvSource.Optional = true，等等會看到要用來做什麼的
				optional := cm.Optional != nil && *cm.Optional
				
				//這邊就是用 configmap manager 的 GetConfigMap function 去取得 configmap 
				//所要求的參數也不多只要 namespace 與 configmap 的 name 就能取的對應的資料
				configMap, err = kl.configMapManager.GetConfigMap(pod.Namespace, name)
                
				//如果在找的過程有出現錯的話，並且有定義 ConfigMapEnvSource.Optional = true 那就不會直接噴 error 
				if err != nil {
					if errors.IsNotFound(err) && optional {
						// ignore error when marked optional
						continue
					}
					return result, err
				}
				//接著以 configmap name 作為 key 以及 configmap 物件的內容作為 value 存在 map 中
				//以供後續重複使用                
				configMaps[name] = configMap
			}
            
			
            
            
			//configmap 中如果 key value 有不符合環境變數的資料會存在這個 slice 中                
			invalidKeys := []string{}
            
            
			//剛剛我們透過 configMapManager.GetConfigMap 取的對應的 configmap 
            //我們的最終目的是取的 configmap 對應的 key value 資料
            //這裡就用 for 迴圈遞迴 configmap 資料的每一列
			for k, v := range configMap.Data {
				
				if len(envFrom.Prefix) > 0 {
					k = envFrom.Prefix + k
				}
				//IsEnvVarName 判斷 configmap 資料的 key value 其中的 key 是否為有效的環境變變數名稱。
				if errMsgs := utilvalidation.IsEnvVarName(k); len(errMsgs) != 0 {
					//configmap 中如果 key value 有不符合環境變數的資料會存在這個 slice 中 
					invalidKeys = append(invalidKeys, k)
					continue
				}
				//把沒問題的資料存在暫存的環境變數 map 
				tmpEnv[k] = v
			}

			//將有問題的 configmap 資料做整理加入一些 log 資訊讓使用者更好閱讀
			if len(invalidKeys) > 0 {
				//不知道為什麼要 sort xDDD            
				sort.Strings(invalidKeys)
                
				kl.recorder.Eventf(pod, v1.EventTypeWarning, "InvalidEnvironmentVariableNames", "Keys [%s] from the EnvFrom configMap %s/%s were skipped since they are considered invalid environment variable names.", strings.Join(invalidKeys, ", "), pod.Namespace, name)
			}
           

//環境變數的正規表達式
const envVarNameFmt = "[-._a-zA-Z][-._a-zA-Z0-9]*"
var envVarNameRegexp = regexp.MustCompile("^" + envVarNameFmt + "$")

//IsEnvVarName 測試 configmap 資料的 key value 其中的 key 是否為有效的環境變變數名稱。
func IsEnvVarName(value string) []string {
	var errs []string
	if !envVarNameRegexp.MatchString(value) {
		errs = append(errs, RegexError(envVarNameFmtErrMsg, envVarNameFmt, "my.env-name", "MY_ENV.NAME", "MyEnvName1"))
	}

	errs = append(errs, hasChDirPrefix(value)...)
	return errs
}

1
2
3
4
5
6
7
8

apiVersion: v1
kind: ConfigMap
metadata:
  name: special-config
  namespace: default
data:
  SPECIAL_LEVEL: very
  SPECIAL_TYPE: charm

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

apiVersion: v1
kind: Pod
metadata:
  name: dapi-test-pod
spec:
  containers:
    - name: test-container
      image: k8s.gcr.io/busybox
      command: [ "/bin/sh", "-c", "env" ]
      env:
        # Define the environment variable
        - name: SPECIAL_LEVEL_KEY
          valueFrom:
            configMapKeyRef:
              # The ConfigMap containing the value you want to assign to SPECIAL_LEVEL_KEY
              name: special-config
              # Specify the key associated with the value
              key: special.how
  restartPolicy: Never

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98

func (kl *Kubelet) makeEnvironmentVariables(pod *v1.Pod, container *v1.Container, podIP string, podIPs []string) ([]kubecontainer.EnvVar, error) {
	...
	for _, envFrom := range container.EnvFrom
	    switch {
        
		//如果有找到  ConfigMapRef 這個欄位的話
		case envFrom.ConfigMapRef != nil:
	...
	//接續env - valueFrom - configMapRef 小節
    
    
	//遞迴 container 的Env 欄位
	for _, envVar := range container.Env {
		runtimeVal := envVar.Value
		if runtimeVal != "" {
        
			...
			//若是有定義 ValueFrom 欄位的話
		} else if envVar.ValueFrom != nil {
			// Step 1b: resolve alternate env var sources
			//需要判斷是從 from 哪一種資源，本篇文章只關心 configmap 
			switch {
			case envVar.ValueFrom.FieldRef != nil:
				...
                
			case envVar.ValueFrom.ResourceFieldRef != nil:
				...
			//如果 valueFrom 是引用 configmap 的話                
			case envVar.ValueFrom.ConfigMapKeyRef != nil:
				//先取出 ConfigMapKeyRef 為 cm
				cm := envVar.ValueFrom.ConfigMapKeyRef
				//取出 configmap 的 name                
				name := cm.Name
				//取出對應的 key 
				key := cm.Key
				//簡單來說就是有定義 ConfigMapEnvSource.Optional = true，等等會看到要用來做什麼的
				optional := cm.Optional != nil && *cm.Optional
                
                
				// 檢查 configmap map 是否有處理過同樣名字的物件過，如果有就可以直接拿出來用
				configMap, ok := configMaps[name]
            
				//如果 map 找不到東西表示....我們要自己向 api server 要看相關的 configmap 				
				if !ok {
					//這裡用的又是 kubernetes client interface ，沒有這個 interface 什麼都做不了
					//其實...這一段流程也沒拿來幹嘛...xD
					if kl.kubeClient == nil {
						return result, fmt.Errorf("couldn't get configMap %v/%v, no kubeClient defined", pod.Namespace, name)
					}
                    
					//這邊就是用 configmap manager 的 GetConfigMap function 去取得 configmap 
					//所要求的參數也不多只要 namespace 與 configmap 的 name 就能取的對應的資料
					configMap, err = kl.configMapManager.GetConfigMap(pod.Namespace, name)
                    
                    
					//如果在找的過程有出現錯的話，並且有定義 ConfigMapEnvSource.Optional = true 那就不會直接噴 error 
					if err != nil {
						if errors.IsNotFound(err) && optional {
							// ignore error when marked optional
							continue
						}
						return result, err
					}
					//接著以 configmap name 作為 key 以及 configmap 物件的內容作為 value 存在 map 中
					//以供後續重複使用
					configMaps[name] = configMap
				}
				//取出 configmap data 對應的 key 當作環境變數
				runtimeVal, ok = configMap.Data[key]
				//如果拿不到對應的 key 且 ConfigMapEnvSource.Optional = true 那就不會直接噴 error    
				if !ok {
					if optional {
						continue
					}
					return result, fmt.Errorf("couldn't find key %v in ConfigMap %v/%v", key, pod.Namespace, name)
				}
			case envVar.ValueFrom.SecretKeyRef != nil:
				...
			}
		}
        
		//還記得在env - valueFrom - configMapRef 這一小節，有提到過 serviceEnv 嗎？
		//幫大家快速複習一下
		//簡單來說就是如果 pod yaml 有啟用 EnableServiceLinks 的話就需要把同一個 namespaces 所有的 service 
		//對應的名稱、IP 與 port 以環境變數的方式存在 serviceENV 中
		//我們舉一個例子 kubernetes 通常會幫你在 default namespace 的 pod 加上一些環境變數
		//例如：KUBERNETES_PORT_443_TCP_PROTO=tcp
		//這一行環境變數就是 serviceEnv 裡面的資料，資料來源可能透過kubelet 或是 api server 
		//對應到 code 就是在env - valueFrom - configMapRef 這一小節的
		//serviceEnv, err := kl.getServiceEnvVarMap(pod.Namespace, *pod.Spec.EnableServiceLinks)
		
		
		//如果使用者就是想覆蓋這個環境變數該怎麼辦？
		//其實就直接在 yaml 直接設定一下就覆蓋過去了xD也就是下面這一行code而已拉
		delete(serviceEnv, envVar.Name)
		//設定環境變數名稱為 pod spec 中定義的 name value 為從 configmap 或是其他資源取的數值
		tmpEnv[envVar.Name] = runtimeVal
	}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

func (kl *Kubelet) makeEnvironmentVariables(pod *v1.Pod, container *v1.Container, podIP string, podIPs []string) ([]kubecontainer.EnvVar, error) 

	...
    
	var result []kubecontainer.EnvVar
    
	serviceEnv, err := kl.getServiceEnvVarMap(pod.Namespace, *pod.Spec.EnableServiceLinks)
	...
	var (
		configMaps = make(map[string]*v1.ConfigMap)
		secrets    = make(map[string]*v1.Secret)
		tmpEnv     = make(map[string]string)
	)
	...
    
	// 將剛剛所產生出的環境變數暫存檔加入到 result 這個 slice ，未來將作為 container 的環境變數
	for k, v := range tmpEnv {
		result = append(result, kubecontainer.EnvVar{Name: k, Value: v})
	}

	// 加入 service env 環境變數
	//簡單來說就是如果 pod yaml 有啟用 EnableServiceLinks 的話就需要把同一個 namespaces 所有的 service 
	//對應的名稱、IP 與 port 以環境變數的方式除存在 serviceENV 中
	for k, v := range serviceEnv {
		//如果 service env 的 key 暫存的環境變數不暫存這個  key 的話
        //加入 service env 的環境變數到 result 的 slice 中
		if _, present := tmpEnv[k]; !present {
			result = append(result, kubecontainer.EnvVar{Name: k, Value: v})
		}
	}
	return result, nil
}