Devops on Welcome to /dev/null

Terraform : utilisation de yamldecode()

Sat, 13 Nov 2021 23:31:18 +0000

Petit exemple d’utilisation d’un fichier YAML contenant des règles de flux importées en tant que NSG dans Azure :

Fichier nsg-www.yml :

nsg-www:
 rules:
 - name: Allow HTTP
 access: "Allow"
 direction: "Inbound"
 priority: 200
 protocol: "Tcp"
 source_port_range: "*"
 source_address_prefix: "*"
 destination_port_range: "80"
 destination_address_prefix: "*"
 - name: Allow HTTPS
 access: "Allow"
 direction: "Inbound"
 priority: 210
 protocol: "Tcp"
 source_port_range: "*"
 source_address_prefix: "*"
 destination_port_range: "443"
 destination_address_prefix: "*"

Utilisation au sein d’un bloc dynamique :

Terraform : count, for_each

Thu, 11 Feb 2021 20:41:36 +0000

Count :

resource "aws_instance" "www" {
 ami = "ami-8ee056f3"
 instance_type = "t2.micro"
 key_name = "aws-ssh-key"
 count = 2
 tags = {
 Name = "www${count.index}"
 }
}

For_Each :

locals {
 volumes = toset([
 "data",
 "backup",
 ])
}

resource "aws_ebs_volume" "vol" {
 for_each = local.volumes
 availability_zone = "us-west-2a"
 size = 10
 tags = {
 Name = "Volume ${each.key}"
 }

}

Terraform : les variables

Wed, 10 Feb 2021 22:32:02 +0000

Input variables :

Chaine :

variable "instance-type" {
 type = string
 description = "The type of instance"
 default = "t2.micro"
}

resource "aws_instance" "srv1" {
 ami = "ami-8ee056f3"
 instance_type = var.instance-type
}

Bool :

variable "ebsoptimized" {
 type = bool
 default = false
}

resource "aws_instance" "srv1" {
 ami = "ami-8ee056f3"
 ebs_optimized = var. ebsoptimized
 instance_type = var.instance-type
}

Tableau :

variable "iam-users" {
 type = list(any)
 default = ["homer", "bart", "flanders"]
}

resource "aws_iam_user" "admin" {
 name = var.iam-users[1]
 path = "/system/"
}

Clé/Valeur :

variable "storage_sizes" {
 type = map(any)
 default = {
 "WebServer" = "10"
 "DataBase" = "30"
 "FileServer" = "100"
 }
}

resource "aws_ebs_volume" "www_srv1" {
 availability_zone = aws_instance.srv1.availability_zone
 size = var.storage_sizes["WebServer"]
}

Depuis la CLI :

Terraform : Une première VM dans Azure

Mon, 08 Feb 2021 18:34:44 +0000

En premier, on déclare le provider :

provider "azurerm" {
 features {}
}

Nos variables : la région Azure et les credentials pour la VM qui va être déployée

variable "location" {
 type = string
 default = "westeurope"
}

variable "lnxuser" {
 type = string
 default = "super"
}

variable "lnxpwd" {
 type = string
 default = "Azerty37!"
}

Toutes nos ressources vont être dans un même groupe de ressources :

resource "azurerm_resource_group" "rg-dev" {
 name = "rg-dev"
 location = var.location
 tags = {
 environment = "Development"
 }
}

Nous aurons un vNet en 10.0.0.0/16 pour notre site Azure que l’on va redécouper et un subnet 10.0.1.0/24 pour notre VM de dev. Enfin, notre VM sera directement accessible avec une IP publique qu’il faut instancier séparément.

Terraform : les provisionners

Sun, 07 Feb 2021 19:38:04 +0000

Terraform inclue la notion de provisionners afin de permettre l’exécution de commandes soit locales, soit exécutées à distance sur les VM déployées. Les provisionners doivent être utilisés en dernier recours car l’exécution des provisionners sort du cycle d’ordonnancement de Terraform.

Il existe de base trois provisionners, file, local-exec et remote-exec. Il existe cependant des provisionners third-party comme le provisionner puppet.

Il est possible de combiner plusieurs provisionners au sein d’une même ressource.

Memo Docker

Sun, 15 Nov 2020 21:41:43 +0000

Dockerfile

Image source :

FROM ubuntu:18.04

Ecouter sur un port :

EXPOSE 80

Ajouter des métadonnées :

LABEL "relase-date=20201115"

Lancer une commande :

RUN apt-get update && \
apt-get dist-upgrade

Commande par défaut du conteneur :

CMD ["commande", "arg1", "arg2"]

Déclarer une variable d’environnement :

ENV APACHE_HTTP_PORT_NUMBER=8080

Ajouter un fichier :

COPY requirements.txt /tmp

Commande de lancement du conteneur :

ENTRYPOINT ["commande", "arg1", "arg2"]

Exposer un volume pour du stockage persistant :

VOLUME ["/data/myapp"]

Lancement sur un compte non privilégié :

Purger les reports puppet... avec puppet

Mon, 23 Dec 2019 18:58:40 +0000

J’ai récemment découvert la ressource Tidy qui permet d’effacer des fichiers en se basant sur certains critères, voici donc comment purger les reports yaml puppet avec puppet.

 tidy { 'purge_reports':
 path => '/opt/puppetlabs/server/data/puppetserver/reports',
 age => '10d',
 backup => false,
 matches => "*.yaml",
 recurse => true,
 rmdirs => false,
 type => ctime,
 }

Ce qui revient à faire :

find /opt/puppetlabs/server/data/puppetserver/reports -mmin +300 -type f -exec rm "{}" \;

PuppetDB : General SSLEngine problem

Fri, 26 Jul 2019 18:19:05 +0000

Après avoir mis à jour mon puppetmaster en version 6 et re-créé la CA, c’est devenu le drame sur mes agents, plus moyen d’envoyer leurs facts sur PuppetDB :

puppet agent -t
Warning: Unable to fetch my node definition, but the agent run will continue:
Warning: Error 500 on SERVER: Server Error: Could not retrieve facts for master.int.morot.fr: Failed to find facts from PuppetDB at puppet:8140: Failed to execute '/pdb/query/v4/nodes/master.int.morot.fr/facts'$

L’erreur se trouve sur le puppetmaster dans /var/log/puppetlabs/puppetserver/puppetserver.log :

Astuces Puppet

Sun, 14 Jul 2019 21:13:57 +0000

Tests

Dry run :

puppet agent -t --noop

Valider la sytaxe d’un manifest :

puppet parser validate manifest.pp

Valider un template :

erb -x -T '-' | ruby -c

ERB

Insérer une valeur :
<%= EXPRESSION %>

Simple code ruby cmme une boucle :
<% CODE %>

Un commentaire :
>

Afficher une variable :
<%= @name %>

Afficher une variable de portée globale :
<%= scope.lookupvar('name') %>

CLI Puppet agent

Configurer le serveur :
puppet config set server puppet.lab.morot.fr --section agent

Lancer l'agent avec un serveur spécifique :
puppet agent -t --server

Facter

Lister les facts :
facter

Obtenir un facts en particulier :
facter os.distro.description

Sortie JSON
facter -j

Sortie YAML :
facter -y

Désactiver l'agent :
puppet agent --disable

Activer l'agent :
puppet agent --enable

Modules

Gérer les modules :
puppet module list
puppet module search NOM
puppet module install NOM
puppet module uninstall NOM
puppet module upgrade NOM

Catalogues

Listes les classes appliquées :
cat /opt/puppetlabs/puppet/cache/state/classes.txt

Certificats

Re-créer la CA
puppetserver ca setup

Vérifier la CA :
puppetserver ca list --all

Signer une demande de certificat :
puppet cert sign NOM

Signer toutes les demandes :
puppet cert sign --all

Ressources

Un utilisateur :
puppet resource user julien

Un paquet :
puppet resource package screen

Un point de montage :
puppet resource mount /

Puppet, apt key and full fingerprint

Fri, 12 Oct 2018 17:00:24 +0000

L’erreur de l’empreinte GPG trop courte est une erreur récurrente avec le module puppet apt::source. Voici comment la corriger alors que c’est très simple.

Exemple avec le repo elastic search qui fournit la clé de 16 caractères suivante : D27D666CD88E42B4

Warning: /Apt_key[Add key: D27D666CD88E42B4 from Apt::Source elasticsearch_deb_repo]: The id should be a full fingerprint (40 characters), see README.

Pour obtenir l’empreinte complète, c’est très simple :

# wget https://artifacts.elastic.co/GPG-KEY-elasticsearch

# gpg --with-fingerprint GPG-KEY-elasticsearch
gpg: répertoire « /root/.gnupg » créé
gpg: nouveau fichier de configuration « /root/.gnupg/gpg.conf » créé
gpg: Attention : les options de « /root/.gnupg/gpg.conf » ne sont pas encore actives cette fois
gpg: le porte-clefs « /root/.gnupg/secring.gpg » a été créé
gpg: le porte-clefs « /root/.gnupg/pubring.gpg » a été créé
pub 2048R/D88E42B4 2013-09-16 Elasticsearch (Elasticsearch Signing Key)
 Empreinte de la clef = 4609 5ACC 8548 582C 1A26 99A9 D27D 666C D88E 42B4
sub 2048R/60D31954 2013-09-16

Il n’y a plus qu’à supprimer les espaces avant de l’intégrer dans le manifest :

Ansible : Automatisation du déploiement d'un cluster multi master pour MariaDB (et MySQL…) avec Galera

Sat, 09 Dec 2017 15:55:03 +0000

Cet article est la suite de mon précédent article sur le sujet dans le but de pousser le concept un peu plus loin. C’est mon premier role Ansible donc je suis à peu près certain qu’il est possible de mieux faire.

Dans un premier temps, paramétrons le fichier /etc/ansible/hosts pour y lister nos serveurs.

[galera]
db1.morot.test
db2.morot.test
db3.morot.test

On créé notre rôle avec ansible-galaxy pour se faciliter le travail :

cd /etc/ansible/
mkdir roles
ansible-galaxy init galera
- galera was created successfully

On pousse notre template de configuration MariaDB dans /etc/ansible/roles/galera/templates/my.cnf.j2 :

Recette Puppet : création automatisée d'un utilisateur

Thu, 19 Oct 2017 05:30:23 +0000

Des fois, il n’est pas toujours possible d’avoir un annuaire LDAP ou AD pour centraliser la base de comptes et il faut donc passer par des comptes locaux. Dans ce cas, puppet est une option intéressante.

Niveau sécurité, cela implique pour une authentification par mot de passe d’inclure le hash du mot de passe ce qui n’est pas optimal mais pas non plus délirant. Pour générer le hash j’utilise la commande ci-dessous du paquet whois (et ce n’est pas une plaisanterie).

Recette Puppet : créer un volume LVM

Tue, 17 Oct 2017 20:15:12 +0000

Primo, on installe le modules nécessaires :

# puppet module install puppetlabs-lvm
Notice: Preparing to install into /etc/puppetlabs/code/environments/production/modules ...
Notice: Downloading from https://forgeapi.puppet.com ...
Notice: Installing -- do not interrupt ...
/etc/puppetlabs/code/environments/production/modules
└─┬ puppetlabs-lvm (v0.9.0)
 └── puppetlabs-stdlib (v4.20.0)

Rien de plus simple pour la suite, il suffit d’enchaîner la construction classique :

Dépendances
Physical volume sans passer par une partition
Volume Groupe sur ce PV
Volume logique comprenant toute la volumétrie du VG
Formatage en XFS
Point de montage et /etc/fstab

node 'www' {
 package { "xfsprogs": ensure=> present }
 package { "lvm2": ensure=> present }

 physical_volume { '/dev/sdb':
 ensure => present,
 }

 volume_group { 'vg-www':
 ensure => present,
 physical_volumes => '/dev/sdb',
 }

 logical_volume { 'lv-www':
 ensure => present,
 volume_group => 'vg-www',
 size => '7.9G',
 }

 filesystem { '/dev/vg-www/lv-www':
 ensure => present,
 fs_type => 'xfs',
 }

 file { '/srv/www':
 ensure => directory,
 }

 mount { '/srv/www':
 name => '/srv/www',
 ensure => 'mounted',
 atboot => 'true',
 device => '/dev/vg-www/lv-www',
 fstype => 'xfs',
 options => 'defaults',
 dump => 1,
 pass => 0,
 }
}

Puppet : déployer automatiquement une applications Web avec les services Apache/PHP/MySQL

Sun, 15 Oct 2017 15:42:41 +0000

Dans ce court article, je vous propose de découvrir comment avec Puppet, il est simple de déployer un serveur Web complet prêt à accueillir une application web depuis son dépôt GIT. Je vais prendre pour exemple le célèbre CMS Wordpress.

Premièrement, on installe les modules dont on aura besoin :

puppet module install puppetlabs-apache --version 2.3.0
puppet module install puppetlabs-mysql --version 5.1.0
puppet module install puppetlabs-vcsrepo

Partons sur une simple définition de node dans le fichier /etc/puppetlabs/code/environments/production/manifests/site.pp contenant notre serveur web. On installe Apache avec le moteur prefork et non pas worker fourni par défaut car on souhaite installer mod_php. Enfin on créé un VirtualHost www.morot.test dont les fichiers seront dans le répertoire /srv/www :

Puppet : automatiser la construction d'un volume GlusterFS répliqué

Thu, 14 Sep 2017 20:45:42 +0000

Puppet : automatiser la construction d’un volume GlusterFS répliqué

Je vais présenter rapidement comment créer le code Puppet adapté à la création d’un cluster à deux noeuds avec deux bricks répliqués. Pour la démonstration, j’aurais deux VM Ubuntu 16.04 et les bricks seront sur deux disques durs de 8 Go.

Préparation du Puppet Master

Installation des modules nécessaires :

# puppet module install puppetlabs-lvm
Notice: Preparing to install into /etc/puppetlabs/code/environments/production/modules ...
Notice: Downloading from https://forgeapi.puppet.com ...
Notice: Installing -- do not interrupt ...
/etc/puppetlabs/code/environments/production/modules
└─┬ puppetlabs-lvm (v0.9.0)
 └── puppetlabs-stdlib (v4.20.0)

# puppet module install puppet-gluster
Notice: Preparing to install into /etc/puppetlabs/code/environments/production/modules ...
Notice: Downloading from https://forgeapi.puppet.com ...
Notice: Installing -- do not interrupt ...
/etc/puppetlabs/code/environments/production/modules
└─┬ puppet-gluster (v3.0.0)
 └─┬ puppetlabs-apt (v2.4.0)
 └── puppetlabs-stdlib (v4.20.0)

Notre arborescence pour le module se trouvera dans ce répertoire :