Fedora-Fr - Communauté francophone Fedora - Linux

Communauté francophone des utilisateurs de la distribution Linux Fedora.

  

Dernière news : Fedora 32 Beta sort de confinement

#1 19/03/2020 17:09:16

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Cri-o podman et Kubernetes

Est ce que quelqu'un aurait une bonne doc pour la mise en place d'un Kubernetes avec cri-o et sans doute podman sur Fedora? à la limite sous CentOS, mais là je n'ai pas poussé... (en tout cas sur la 8 il n'y a pas de paquets adapté...)

J'ai beau chercher, faire les tuto et suivre les docs, mais rien n'y fait je coince au niveau de kubeadm et surtout sans doute du lancement des containers nécessaire.

Parfois les images sont bien pull dans podman, parfois non.

A voir si ce n'est pas à cause de podman qui est utilisé en lieu et place de docker...

Je sais que c'est une demande atypique, mais bon... Un peu d'aide est bienvenue, car là je sèche...


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#2 20/03/2020 13:33:50

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon il semble que mon kubelet ne ce lance pas bien, du coup rien ne vas tant que ce n'est pas résolu... Pourtant j'ai bien suivi les recommandation pour la configuration... A suivre sad .


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#3 20/03/2020 17:29:20

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 8 001
Site Web

Re : Cri-o podman et Kubernetes

J'arrive pas à trouver l'info si k8s supporte podman.

J'ai plutôt l'habitude de déployer k8s avec Rancher ou k3sup.

Hors ligne

#4 21/03/2020 00:25:13

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

bien là la question, mais même en utilisant docker/moby-engine sur mes VM de test j'ai le même résultat...

Donc le problème doit être ailleurs.

Je referai une passe avec une CentOS 7 histoire de voir si c'est pas à cause du fait que Fedora est trop en avance.

Je sais déjà que cri-o/kubernetes ne sont pas dispo directement sous CentOS 8, du moins je n'ai rien trouvé de concret sur ce sujet...

Je vais tester rancher, cela me semble sympa.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#5 21/03/2020 12:15:09

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon j'avance sur une procédure qui pourrait enfin convenir.

J'ai donc utilisé celle-ci :
https://www.centlinux.com/2019/04/insta … tos-7.html

Tout fonctionne :

# kubeadm config images pull
W0321 11:07:11.112457   12779 validation.go:28] Cannot validate kube-proxy config - no validator is available
W0321 11:07:11.112530   12779 validation.go:28] Cannot validate kubelet config - no validator is available
[config/images] Pulled k8s.gcr.io/kube-apiserver:v1.17.4
[config/images] Pulled k8s.gcr.io/kube-controller-manager:v1.17.4
[config/images] Pulled k8s.gcr.io/kube-scheduler:v1.17.4
[config/images] Pulled k8s.gcr.io/kube-proxy:v1.17.4
[config/images] Pulled k8s.gcr.io/pause:3.1
[config/images] Pulled k8s.gcr.io/etcd:3.4.3-0
[config/images] Pulled k8s.gcr.io/coredns:1.6.5
[root@kubetest01 docker]# kubeadm init
W0321 11:07:42.510447   12956 validation.go:28] Cannot validate kube-proxy config - no validator is available
W0321 11:07:42.510495   12956 validation.go:28] Cannot validate kubelet config - no validator is available
[init] Using Kubernetes version: v1.17.4
[preflight] Running pre-flight checks
        [WARNING Firewalld]: firewalld is active, please ensure ports [6443 10250] are open or your cluster may not function correctly
        [WARNING Hostname]: hostname "kubetest01.localdomain" could not be reached
        [WARNING Hostname]: hostname "kubetest01.localdomain": lookup kubetest01.localdomain on 192.168.122.1:53: no such host
        [WARNING Service-Kubelet]: kubelet service is not enabled, please run 'systemctl enable kubelet.service'
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Starting the kubelet
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [kubetest01.localdomain kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.122.179]
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] Generating "etcd/ca" certificate and key
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [kubetest01.localdomain localhost] and IPs [192.168.122.179 127.0.0.1 ::1]
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [kubetest01.localdomain localhost] and IPs [192.168.122.179 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
W0321 11:07:45.788789   12956 manifests.go:214] the default kube-apiserver authorization-mode is "Node,RBAC"; using "Node,RBAC"
[control-plane] Creating static Pod manifest for "kube-scheduler"
W0321 11:07:45.789922   12956 manifests.go:214] the default kube-apiserver authorization-mode is "Node,RBAC"; using "Node,RBAC"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 38.001795 seconds
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.17" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --upload-certs
[mark-control-plane] Marking the node kubetest01.localdomain as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node kubetest01.localdomain as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: ui375b.3a729r0i8g9ypnhk
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[kubelet-finalize] Updating "/etc/kubernetes/kubelet.conf" to point to a rotatable kubelet client certificate and key
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.122.179:6443 --token ui375b.3a729r0i8g9ypnhk \
    --discovery-token-ca-cert-hash sha256:0df600ssssssssssssssssssssssssssssssssssssssssssssssssss 
[root@kubetest01 ~]# kubectl get nodes
NAME                     STATUS     ROLES    AGE   VERSION
kubetest01.localdomain   NotReady   master   65s   v1.17.4

Du moins avec centos7.7+docker
Il y a encore quelques points à confirmer mais dans l'ensemble j'avance sur le sujet.

Reste à voir si il est possible de l'adapter pour Cri-o, voir avec podman, sous Fedora.
Je verrai par la suite pour intégrer rancher qui me semble adapter à ce que je cherche.
Par la suite il ne restera plus qu'a intégrer d'autres noeuds (au moins mon deuxième serveur).
Voir utiliser la liaison par VPN histoire de ne pas ouvrire toutes les portes.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#6 21/03/2020 12:24:28

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 8 001
Site Web

Re : Cri-o podman et Kubernetes

J'oubliais pour CRIO j'avais il y a un petit moment utilisé kubespray https://github.com/kubernetes-sigs/kubespray

et des doc comme https://medium.com/@vinayakpandit9028/h … 3370d612b8 ça passe par sur c8 ?

Hors ligne

#7 21/03/2020 12:33:32

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Faut dire que je n'ai pas trop eu le temps de chercher pour C8, mais il faut s'accrocher pour retrouver ces petits.

Après en ce moment je taff surtout sur du centos et RHEL (oui oui les deux...) 6.5->7.7. Donc je n'ai pas trop le temps à y consacrer...

Sinon là c'est pour adapter une procédure sur mes deux petits serveurs physique perso qui sont en Fedora (cela me change des CentOS/RHEL du taff), voir ma signature le R5 2600 et R3 2200G.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#8 21/03/2020 16:18:22

nouvo09
Accro à Fedo !
Lieu : Paris
Inscription : 22/09/2005
Messages : 22 194

Re : Cri-o podman et Kubernetes

Après en ce moment je taff surtout sur du centos et RHEL (oui oui les deux...) 6.5->7.7. Donc je n'ai pas trop le temps à y consacrer...

je viens de voir passer un truc sur la mailing list de centos-devel à propos de cri-o, tu devrais jeter un oeil.


C'est pas parce que c'est difficile qu'on n'ose pas,
c'est parce qu'on ose pas que c'est difficile !

Hors ligne

#9 21/03/2020 18:24:19

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 8 001
Site Web

Re : Cri-o podman et Kubernetes

Et si tu n'as que 2 petits serveurs, regarde vraiment k3s. Simple et leger (c'est fait pour tourner sur RPI à la base).

Hors ligne

#10 21/03/2020 21:58:37

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Faut voir, ils partent sur containerd, j'ai fais une tentative d'utilisation en lieu et place de cri-o et j'ai eu le même résultat. A voir si c'est plus un souci de préparation comme j'en ai eu l’expérience qu'un problème avec ce produit.

Je verrai demain si cela avance avec cri-o et podman, pour voir ce que cela donne.


J'ai le matos pour pouvoir faire des tests avant une petite mise en prod, manque parfois le temps, mais j'ai pas mal de projet qui arrivent à maturité. Manquait cette histoire pour pouvoir faire un peu ce que je fais avec du docker swarm.

Merci pour les infos, je vois encore des projets intéressent à mettre en place smile . J'en ai déjà pas mal en préparation qui patiente, cela ce débloquera surtout quand ce kubernetes ce mettra a tourner correctement.


PS :

Au passage :
J'ai bien tenté l'aventure "openshift 3.11" (et prochainement en version 4.xx) sous Fedora ou CentOS, mais je bute à cause de la mise en service d'un proxy et aussi de l'utilisation de FreeIPA (nommé IDM chez RedHat). Du coup bah j'ai laissé de coté au niveau personnel pour le moment...

Je reprendrai si je peux avancer sur la mise en place de kubernetes sans docker.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#11 22/03/2020 20:50:19

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon en utilisant cri-o/podman cela coince toujours au même endroit :

[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[kubelet-check] Initial timeout of 40s passed.
[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get http://localhost:10248/healthz: dial tcp [::1]:10248: connect: connection refused.
[kubelet-check] It seems like the kubelet isn't running or healthy.
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get http://localhost:10248/healthz: dial tcp [::1]:10248: connect: connection refused.

Doit manquer l'étape concernant la configuration cni :
https://github.com/containernetworking/cni
chose qui ne semble pas nécessaire avec docker.

Sinon les images s'importe bien dans podman, mais cela ne vas pas plus loin.

Enfin bon ça avance petit à petit...


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#12 23/03/2020 10:16:48

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon autre piste à explorer, la version de kubernetes employé...

En effet j'utilise celle de Fedora, il doit manquer des choses ou alors il y a des soucis de compatibilité avec la version de cri-o/podman et la kubernetes de fedora qui ne semble pas être la plus récente.

Je vais réutiliser la version utilisé de la CentOS pour voir si c'est bien cela.

Je sais qu'ils tentent de la modulariser et que cela échoue souvent (a voir sur koji). Donc a voir ce qui coince.

Je pensé que c'était mon cni qui n'était pas bon, mais ceux généré me semblent correct, donc du coup le souci semble être ailleurs.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#13 23/03/2020 11:50:21

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Et bien les repo gogole sont vide depuis ce matin... Du coup je dois trouver une autre solution pour finir d'avancer sur le sujet :'( . Voir attendre...


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#14 23/03/2020 17:22:04

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Même avec cette procédure à base de playbook à déployer (une partie est à retouché sinon cela ne fonctionne pas) : https://www.projectatomic.io/blog/2017/ … ith-cri-o/

J'avais un souci avec les repo kubernetes, mais c'est bon maintenant. Pour un résultat identique, il ne cherche pas à lancer les containers k8s avec podman/cri-o...
Du coup c'est mort.

Même chose avec les k3s... Je ne sais pas où cela coince.

Je continu mes investigations... Mais là je commence à être découragé.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#15 23/03/2020 17:49:54

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

En relisant le message d'erreur, je me demande si ce n'est pas parce qu'il bute sur l'IPV6 qui pose problème :
[kubelet-check] The HTTP call equal to 'curl -sSL http://localhost:10248/healthz' failed with error: Get http://localhost:10248/healthz: dial tcp [::1]:10248: connect: connection refused.

Du coup je dois le désactiver pour le localhost (c'est le cas pour le reste).


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#16 24/03/2020 09:58:22

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon en fait je pense avoir trouvé la cause.

Il envois les k8s dans podman quand je les pull et pas dans cri-o (le crictl image ls reste vide...). Du coup et bien... il ne les lancent pas vu que podman n'est pas utilisé. Donc reste à savoir pourquoi c'est le cas (peut être à cause du paquet podman-docker?).

J'ai refais une vm propre pour repartir sur de bonnes bases.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#17 25/03/2020 17:20:35

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon je commence à maitriser la manière de fonctionner de cri-o. Mais bon je commence à baisser les bras, car quoi que je manipule cela donne toujours le même résultat.

J'ai bien les images dedans :

[root@kubetest ~]# crictl images
IMAGE                                TAG                 IMAGE ID            SIZE
docker.io/library/hello-world        latest              fce289e99eb9b       8.03kB
k8s.gcr.io/coredns                   1.3.1               eb516548c180f       40.5MB
k8s.gcr.io/etcd                      3.3.10              2c4adeb21b4ff       258MB
k8s.gcr.io/kube-apiserver            v1.15.11            0eaa5e1d871a7       209MB
k8s.gcr.io/kube-controller-manager   v1.15.11            4d53b9ec5d960       160MB
k8s.gcr.io/kube-proxy                v1.15.11            7cd3972af624f       84.3MB
k8s.gcr.io/kube-scheduler            v1.15.11            e671c2a84bb9c       82.7MB
k8s.gcr.io/pause                     3.1                 da86e6ba6ca19       749kB

Cependant il ne lance rien et semble attendre quelque chose.

J'ai aussi suivi cette vidéo : https://www.youtube.com/watch?v=xd6oxG1jgQs

Mais il ne lance pas de nodes, du coup cela ne sert à rien...

J'ai aussi testé la descente de version de cri-o car il semble qu'il y ai des soucis, mais toujours le même résultat.

Donc soit il faut toujours docker derrière, ce qui est un comble vu que cri-o est censé prendre sa place, soit j'ai loupé quelque chose...
Si quelqu'un avait une petite idée je suis preneur sad .


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#18 26/03/2020 10:16:07

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon je me sent moins seul :
https://github.com/cri-o/cri-o/issues/3437

J'étais entrain d'étudier la même piste (voir poste #11), j'espère que cela vas me permettre d'avancer sur le sujet que je puisse enfin le mettre en prod, car mes autres projets sont un peu au point mort...


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#19 26/03/2020 10:28:38

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 8 001
Site Web

Re : Cri-o podman et Kubernetes

tu veux mettre en prod un truc aussi bancale ? K8s c'est déjà pas simple si tu pars pas sur du KISS tu va passer un temps fou à maintenir ça en condition opérationnelle. Ce n'est que mon conseil...

Hors ligne

#20 26/03/2020 10:44:49

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon je vois pas trop ce que vient faire "KISS" ici, parce que sauf si je me trompe dans mes recherches je n'ai trouvé que cela :
https://k1ss.org/

J'utilise généralement docker swarm pour du perso, que du pro, j'aimerai me mettre à kubernetes/cri-o pour voir autre chose. Vu qu'en plus Fedora/CentOS/RHEL partent dans d'autres directions que le tout Docker, je cherche une solution à cela.
Maintenant à voir pourquoi c'est la galère à trouver le couple cri-o/kubernetes sur CentOS8...

Actuellement à part le mettre en place et l'utiliser au travers d'openshift (OKD), je n'ai pas trop de vu directement dessus.

Maintenant là quand je parle de le mettre en prod, c'est pour dire que je le mets en place sur mes serveurs perso. C'est pour une utilisation assez personnel (a voir si cela débouchera sur autre chose plus tard), histoire de prendre de l’expérience sur le sujet.

Et pour donner un exemple du pourquoi je cherche à faire cela :
Même si je maitrise pas trop mal FreeIPA (IDM chez RedHat, cela sert à gérer les identités comme Active Directory chez Microsoft), j'aime bien connaitre comment les éléments tournent derrière (389, Kerberos, LDAP, SSSD...).


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#21 27/03/2020 12:07:50

madko
Contributeur Fedora et Linuxé depuis 1994
Modérateur
Lieu : Noisy the Great (9³)
Inscription : 22/12/2006
Messages : 8 001
Site Web

Re : Cri-o podman et Kubernetes

Pour KISS, quand même, c'est la règle d'or pour la mise en prod, le choix d'une solution etc https://fr.wikipedia.org/wiki/Principe_KISS t'en as forcément déjà entendu parler

D'ailleurs la distro que t'as trouvé, que je ne connaissais pas, est un hommage à ce principe https://k1ss.org/faq

Si tu veux vraiment avancer à titre perso sur la compréhension de k8s, là encore une fois, k3s est idéal. C'est du kubernetes où tous les truc superflu ont été enlevé. Mais ça reste du vrai k8s. Tu y ajoutes helm par ex, et à toi les déploiements faciles.

Ensuite pourquoi y'a pas trop de truc en rapport avec CRIO et K8S sur CentOS8. Tout simplement parce que c'est trop jeune. Et que les installations se font rarement en utilisant des packages RPM à "l'ancienne". Car souvent les distro K8S veulent gérer la mise à jour de K8S. Et autant reposer sur des conteneurs pour k8s aussi. Ce qui au final, rend presque accessoire la distro Linux en dessous.

Après heureusement K8S a prévu très tot de pas dépendre de docker. D'ailleurs k3s j'ai pas docker dessous.

Le point important aussi avec K8s c'est de choisir la ou les solutions de stockage. Car il vaut mieux quelque chose de partagé. Ce qui impose du NFS, du iSCSI, etc. Car l’intérêt de K8s c'est d'être un cluster pour gérer tout seul la haute dispo des conteneurs. Tout ça pour dire que pour tester correctement K8s il faut déjà au moins 2 voire 3 machines.

Hors ligne

#22 27/03/2020 14:11:53

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Yep, j'en ai déjà entendu parler, mais vu que je n'utilise pas ce mot pour parler de la même chose, je n'avais en tête cela.

Pour CentOS 8 pas de souci c'est en gestation même avec son pendant pro RHEL 8...

J'ai les machines (pour rappel), voir les possibilités de créer des VM.

Là justement je cherche à remplacer docker par cri-o, je bloque à un endroit j'essaye de comprendre la raison. Que ce soit avec k8s ou k3s cela bloque.

A voir si cela le fait aussi sous CentOS 7.

Après c'est justement pour faire du cluster de containers (le // avec docker swarm). Pour la solution des espaces de stockage oui cela est prévu, mais bon secondaire pour le moment. (tiens ta oublié de placer glusterfs au passage...).

En l'état j'ai une version qui fonctionne en "kubernetes+docker" sur 2 nœuds (centos7.7 à l'identique sous fedora31), reste à appliquer la même chose avec kubernetes+cri-o.

Maintenant si c'est plus prise de tête qu'autre chose, je passe à autre chose. Mais bon je commence à bien maitriser Podman du coup cela me gêne de repartir sur docker (bon après je travail souvent dessus aussi au passage).


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#23 27/03/2020 15:14:44

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon chose qui me semble un peu bizarre, c'est que :
Pour lancer le service kubelet la commande  "kubeadm init" (avec les options d'usage) utilise sa propre configuration quand il le lance (/etc/systemd/system/kubelet.service.d/kubeadm.conf), ce qui fait que celle que je mets en place dans /etc/kubernetes/apiserver-config-kubelet ne rentre pas en compte...
Du coup quand je veux lancer les opérations cela ne fonctionne pas car la conf n'est pas totalement la bonne...

Sachant que kubeadm init doit faciliter les choses...

Donc je ne m'étonne plus que cela ne fonctionne toujours pas.

# cat /etc/systemd/system/kubelet.service
kubelet.service    kubelet.service.d/ 
[root@localhost ~]# cat /etc/systemd/system/kubelet.service.d/kubeadm.conf 
[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --fail-swap-on=false"
Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true"
Environment="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/usr/libexec/cni"
Environment="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt"
Environment="KUBELET_EXTRA_ARGS=--cgroup-driver=systemd"
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_NETWORK_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_EXTRA_ARGS
Restart=always
StartLimitInterval=0
RestartSec=10
# 

AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#24 Hier 13:40:59

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Je fais une dernière tentative avant de passer à autre chose en me basant sur cette procédure :
https://kubevirt.io/2019/KubeVirt_k8s_c … ratch.html

A voir si cela fait avancer le schmilblick...

Cela me semble plus propre et mieux présenté, sans compter que c'est un peu plus récent, que d'autres liens.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

#25 Hier 14:50:13

VINDICATORs
RédactWikix and the graphicatorix!
Modérateur
Lieu : Toulouse(31) France
Inscription : 23/11/2004
Messages : 17 902
Site Web

Re : Cri-o podman et Kubernetes

Bon et bien cela commence à prendre forme.

Il reste toujours un problème, mais différent.

mars 29 14:49:39 localhost.localdomain kubelet[1229]: I0329 14:49:39.324330    1229 passthrough.go:48] ccResolverWrapper: sending update to cc: {[{/var/run/crio/crio.sock  <nil> 0 <nil>}] <nil> <nil>}
mars 29 14:49:39 localhost.localdomain kubelet[1229]: I0329 14:49:39.324333    1229 clientconn.go:933] ClientConn switching balancer to "pick_first"
mars 29 14:49:39 localhost.localdomain kubelet[1229]: I0329 14:49:39.324355    1229 kubelet.go:292] Adding pod path: /etc/kubernetes/manifests
mars 29 14:49:39 localhost.localdomain kubelet[1229]: I0329 14:49:39.324369    1229 kubelet.go:317] Watching apiserver
mars 29 14:49:39 localhost.localdomain kubelet[1229]: E0329 14:49:39.325308    1229 reflector.go:178] k8s.io/kubernetes/pkg/kubelet/kubelet.go:517: Failed to list *v1.Service: Get https://192.168.122.125:6443/api/v1/services?limit=500&resourceVersion=0: dial tcp 192.168.122.125:6443: conne>
mars 29 14:49:39 localhost.localdomain kubelet[1229]: E0329 14:49:39.325530    1229 reflector.go:178] k8s.io/kubernetes/pkg/kubelet/kubelet.go:517: Failed to list *v1.Service: Get https://192.168.122.125:6443/api/v1/services?limit=500&resourceVersion=0: dial tcp 192.168.122.125:6443: conne>
mars 29 14:49:39 localhost.localdomain kubelet[1229]: E0329 14:49:39.325600    1229 reflector.go:178] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:46: Failed to list *v1.Pod: Get https://192.168.122.125:6443/api/v1/pods?fieldSelector=spec.nodeName%3Dlocalhost.localdomain&limit=500&res>
mars 29 14:49:39 localhost.localdomain kubelet[1229]: E0329 14:49:39.326162    1229 reflector.go:178] k8s.io/kubernetes/pkg/kubelet/kubelet.go:526: Failed to list *v1.Node: Get https://192.168.122.125:6443/api/v1/nodes?fieldSelector=metadata.name%3Dlocalhost.localdomain&limit=500&resourceV>
mars 29 14:49:39 localhost.localdomain kubelet[1229]: E0329 14:49:39.328726    1229 reflector.go:178] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:46: Failed to list *v1.Pod: Get https://192.168.122.125:6443/api/v1/pods?fieldSelector=spec.nodeName%3Dlocalhost.localdomain&limit=500&res>
mars 29 14:49:39 localhost.localdomain kubelet[1229]: E0329 14:49:39.329917    1229 reflector.go:178] k8s.io/kubernetes/pkg/kubelet/kubelet.go:526: Failed to list *v1.Node: Get https://192.168.122.125:6443/api/v1/nodes?fieldSelector=metadata.name%3Dlocalhost.localdomain&limit=500&resourceV>
~

Je pense que c'est la partie sur "cri-o" qu'il faut utiliser à la place de celle fourni officiellement.

Mais cette histoire de configuration de la version officiel Fedora de kubelet par kubeadm me semble la bonne piste à creuser.


AMD R7 2700X, MSI Pro Carbon X470, 32Go DDR4 3200@3333Mhz Gskill TridentZ CL14, RX 5700XT MSI Mech OC + RX590 Sapphire Nitro+ SE
SSD: 1x 970 EVO NVME 500Go + 1x500Go BX500 + 1x500Go 860 EVO, 3x1To 860 Evo, HDD 1x2To WD black, 1x4to WD Black, 1x3To WD Red, GMT BeQuiet Dark 900+Lepa 800W 80+gold
AMD R5 2600, Asus A320, 16Go DDR4 2400Mhz Gskill AEGIS, 1x250GO SSD EVO, 3x 2To RAID 5 WD Blue, Gigabyte 400W+Cube Chieftec/ AMD R3 2200g + 8Go DDR4 2133+1xSSD Evo 500Go , 3x1To QVO RAID5

Hors ligne

Pied de page des forums