Gnu-Linux-France-Magazine on Welcome to /dev/null

Déployer un service hautement disponible grâce à Redis Replication (Publié dans Linux Pratique n°140)

Tue, 31 Dec 2024 13:37:01 +0000

Redis est un système de stockage de données en mémoire de type NoSQL orienté hautes performances. Il est souvent utilisée comme base de données, système de cache ou de messages. Nous verrons dans cet article comment déployer un service hautement disponible grâce à Redis Replication.

1 Notre premier serveur Redis Pour démarrer, commençons avec un mon serveur Redis. L’installation sera présentée pour Ubuntu 22.04 et devrait fonctionner sans trop d’adaptations pour Debian ou RHEL-like.

Galera, la solution pour des bases de données hautement disponibles (Publié dans Linux Pratique 137)

Tue, 31 Dec 2024 11:27:40 +0000

Lorsqu’une application ne peut tolérer d’indisponibilités ou quand il devient nécessaire de fournir de la redondance au service de bases de données, il convient de mettre en place une architecture limitant les risques d’interruption de service. De même le besoin de performance peut se faire sentir avec la croissance du nombre d’utilisateurs. Galera est une extension pour MariaDB aidant à résoudre ces deux situations.

Galera est une extension pour Mariadb, MySQL et Percona XtraDB offrant des fonctionnalités de clustering multi-master. La réplication classique fonctionne en mode maitre-esclave, nécessitant donc en cas de panne ou de maintenance sur le master de mettre en œuvre un mécanisme de failover sur le slave pour le promouvoir. Cette opération est potentiellement complexe et manuelle.

Déployer des environnements de développement avec Vagrant (Publié dans Linux Pratique n°127)

Tue, 31 Dec 2024 10:48:14 +0000

Vagrant est un logiciel libre permettant de déployer rapidement des machines virtuelles. C’est un logiciel développé par la société Hashicorp, déjà connue pour d’autres logiciels comme Terraform, Packer ou Vault. Historiquement lié à VirtualBox, Vagrant s’est désormais largement ouvert à d’autres solutions de virtualisation comme Libvirt ou de conteneurisation comme Docker.

1 Bien démarrer

1.1 Pourquoi encore un autre outil ?

Vagrant permet de déployer rapidement des environnements à partir de fichiers de description, les Vagrantfile. S’agissant de fichiers textes, ils s’intègrent de fait à toute la chaine GIT ou CI/CD et donc aux bonnes pratiques de développement. L’utilisation d’un outil automatisé permet ainsi de gagner un temps précieux et sans valeur ajoutée sur l’instanciation de machines virtuelles.

Gérez votre stockage avec Stratis (Publié dans Linux Pratique N°128)

Mon, 27 May 2024 20:05:16 +0000

Quand on parle de gestion du stockage local à un administrateur système Linux, il est généralement question de LVM et de filesystem XFS ou EXT4. A un niveau plus évolué, on trouvera ZFS qui n’est pas libre ou bien BTRFS qui tarde à tenir ses promesses. Stratis a pour vocation de proposer quelque chose de neuf avec l’existant ! Lors de la sortie de la RHEL8, RedHat a annoncé Stratis qui permet une gestion moderne et avancée du stockage proche de ce qu’offre ZFS. Cependant à la différence des filesystems traditionnels opérant avec un module kernel et une CLI, Stratis se base sur les briques existantes, device-mapper et XFS. Ces briques étant matures et éprouvées depuis des années et stratis opérant en espace utilisateur, cela a permis de nettement accélérer le développement.

Fabric, le couteau suisse de l’automatisation (Publié dans Linux Pratique 122)

Thu, 04 Apr 2024 20:25:31 +0000

Fabric est une bibliothèque Python et une interface en ligne de commande facilitant l’utilisation de SSH, que ce soit pour des applications ou dans le but d’automatiser certaines tâches répétitives d’administration système. La grande force de Fabric est d’être particulièrement simple à utiliser.

1 Fabric, késako?

Fabric, c’est tout le contraire des outils DevOps modernes tels que Salt ou Ansible pour ne citer que ceux qui opèrent au dessus du protocole SSH. Ce n’est pas un langage de haut niveau avec de nombreux modules faisant abstraction des couches systèmes inférieures. Point d’idempotence, de templates ou toutes les fonctionnalités qui font des outils de gestion de configuration le saint Graal de l’orchestration et pourtant je suis un fervent partisant de Puppet. Pour autant, lorsqu’il s’agit d’interagir rapidement sur un grand nombre de serveurs, Puppet n’est pas la solution la plus efficace et cluster SSH encore moins. L’adoption de Fabric dans mon entreprise lorsque le produit est devenu mature a radicalement changé notre façon d’administrer nos nombreux systèmes en parallèle de l’utilisation de Puppet. Il m’est ainsi arrivé fréquemment d’utiliser Fabric pour bootstraper des agents Puppet. Lorsque l’on écrit du code Fabric, on travaille avec les primitives natives de SSH et le shell et on fait moins qu’effleurer du Python. C’est cette simplicité qui fait de Fabric un véritable couteau suisse, utilisable par n’importe qui. Comme Ansible donc, il se base sur SSH. Il n’y a donc aucun agent particulier à installer. L’authentification est gérée par SSH, on peut donc se logger par login/mot de passe ou par clé SSH. Sudo est géré pour la délégation de droits ainsi que les primitives de transfert de fichiers.

Utilisez Terraform pour vos projets Docker (Publié dans GLMF 240)

Mon, 03 Jan 2022 20:29:27 +0000

Terraform est un outil populaire pour déployer de l’infrastructure en particulier à destination des Cloud Publics. Cependant, il possède de nombreux providers pour dialoguer avec différents hyperviseurs, bases de données ou solutions d’infrastructures en Software Defined. Voyons dans cet article son utilisation avec Docker.

/// Titre Couv = Outils / Infrastructure as Code #7639 : Utilisez Terraform avec vos projets Docker ///

Qu’est-ce que l’Infrastructure As Code ?

Le concept de l’Infrastructure as Code a pour but d’automatiser le déploiement des systèmes et infrastructures par l’utilisation de méthodes qui se rapprochent du développement logiciel comme l’utilisation de scripts ou de fichiers de configuration. Ainsi, le processus de déploiement se trouve plus rapide, sans risque d’erreur humaine, répétable et au final mieux maîtrisé. Les outils de type Puppet ou Ansible sont capables dans un certaine mesure d’interagir avec une couche infrastructure, toutefois leur rôle est privilégié pour ce qui est de la configuration des systèmes. À l’inverse, Terraform ne se préoccupe pas des systèmes d’exploitation mais agit comme un formidable orchestrateur vers différentes solutions à partir du moment où elles disposent d’une API. Leur utilisation conjointe est donc tout à fait possible si ce n’est recommandé. Dans le cadre d’une utilisation avec Docker, Terraform ne se préoccupe pas de la gestion des images. Leur création avec un DockerFile et leur publication sur une registry restent d’actualité et ceci est géré en dehors de Terraform. Son rôle démarre au moment de l’instanciation des conteneurs depuis une image. Hashicorp, l’éditeur derrière Terraform dispose toutefois d’un outil pour la gestion des images dont la logique est similaire : Packer.

Puppet, tirez le meilleur partie de votre gestion de configuration. (Publié dans Linux Pratique 119)

Sat, 08 May 2021 20:06:01 +0000

Puppet -outil de gestion de configuration et d’automatisation- a déjà été traité dans les colonnes de GLMF et de LP par le passé. Je vous propose de vous découvrir dans certaines fonctionnalités du logiciel qui ont évolué ou qui méritent de s’y attarder pour exploiter au mieux cet outil.

1. Etendre l’inventaire avec les Custom facts

1.1 Présentation

Facter est un outil d’inventaire utilisé par Puppet pour collecter un certain nombre d’informations sur le système comme les adresses IP des interfaces, le type de système d’exploitation ou la taille de la mémoire appelés facts. Ces informations sont transmises au serveur Puppet afin de construire le catalogue, c’est à dire l’ensemble des actions spécifiques au node. Il est possible en ligne de commande de consulter les facts connus de Puppet à l’aide de la commande puppet facts. Bien que Facter remonte un certain nombre d’éléments sur le système, ceux-ci peuvent se révéler insuffisants pour certains besoins. Cependant, avec quelques lignes de Ruby, il possible de développer de nouveaux facts (custom facts) afin de créer des variables personnalisées qu’il sera possible de réutiliser dans les templates ou les manifests.

Développez vos photos numériques avec darktable (Publié dans LP 117)

Wed, 16 Sep 2020 19:15:41 +0000

Après une séance photo, il faut travailler et développer un nombre important d’images avec des outils dédiés à la photo. Dans ce domaine, un outil comme Gimp est inadapté. Je vous propose de voir comment darktable peut résoudre tous vos besoins pour gérer un vrai workflow dans le développement des photos numériques.

1 darktable et la photo numérique

1.1 Qu’est-ce que darktable ?

Darktable est un logiciel libre de développement de photos numériques orienté RAW. Il est disponible pour un grand nombre de distributions Linux ainsi que FreeBSD, Windows et MacOS. Le logiciel est non destructif, c’est-à-dire qu’il ne modifie jamais les images éditées mais conserve ces modifications en parallèle du fichier source. Darktable vise à couvrir l’ensemble du flux de production du photographe. Il s’agit de loin du logiciel libre le plus avancé dans ce domaine et il lui manque bien peu de choses par rapport à Lightroom en terme de couverture fonctionnelle. Leurs interfaces sont à ce sujet relativement proches ce qui permet de passer de l’un à l’autre aisément.

Introduction aux déploiements et configurations automatisés avec Puppet (Paru dans LP115)

Mon, 01 Jun 2020 19:30:21 +0000

Dans chaque infrastructure sérieuse, cela demande un temps conséquent pour maintenir le paramétrage des systèmes lorsque cela est réalisé manuellement. En outre, ces opérations manuelles peuvent être à l’origine d’erreurs ou de divergences dans les configurations et cela pose des difficultés lorsque des ajustements de configuration ou des déploiements doivent être réalisés rapidement sur un parc de machines. Puppet est là pour vous faciliter la vie dans ces situations.

1 Qu’est ce que Puppet ?

Puppet est un outil de gestion de configuration exploitant un langage qui lui est propre dont le but est :

Sa musique partout avec Ampache (Linux Pratique 71, mai-juin 2012)

Wed, 09 Oct 2019 21:30:15 +0000

Ampache est une application web écrite en PHP/MySQL permettant d’écouter sa musique de n’importe où tant qu’un accès internet est disponible. Le logiciel dispose de nombreux backends afin de piloter une instance MPD par exemple, il permet de streamer la musique vers un client lourd comme Amarok ou pour téléphone portable via l’API XML-RPC ainsi qu’un lecteur en flash afin de se créer son propre deezer avec des logiciels libres et sa propre collection musicale.

Infrastructure As Code sous AWS avec Terraform (publié dans GLMF 216)

Sun, 16 Sep 2018 14:42:53 +0000

Infrastructure As Code sous AWS avec Terraform

Dans cet article, je vous propose de plonger au coeur de Terraform, outil permettant d’automatiser le déploiement d’infrastructures complètes sur des plateformes IaaS avec un langage de description simple et flexible.

1 Infrastructure As Code

Ces dernières années, de nombreux outils sont apparus visant à rapprocher les méthodes de travail des développeurs de celles des sysadmins dans le but d’automatiser, de simplifier et de sécuriser les déploiements. Des outils comme Puppet, Salt, Chef ou Ansible ont ainsi rapidement émergé pour l’administration des systèmes d’exploitation et des applications. Alors que le Cloud et la généralisation des API s’est développée, sont apparus cette fois des outils similaires pour l’orchestration de l’infrastructure socle. Plutôt que de déployer manuellement, nous allons pouvoir travailler avec des documents textuels décrivant l’état du système souhaité, intégrables dans des systèmes de gestion de version de type GIT et bénéficier des avantages qui s’ensuivent. Terraform s’inscrit dans cette démarche en fournissant des interfaces vers plusieurs Cloud : Azure, Google, OpenStack, AWS, etc. C’est ce dernier que je vais utiliser pour la démonstration. Il sera donc nécessaire de disposer d’un compte AWS, sachant qu’un compte gratuit est suffisant pour explorer l’ensemble des éléments que nous allons parcourir. Qui dit interface ne dit cependant pas abstraction, chaque cloud (provider) possède ses caractéristiques et Terraform ne propose pas de passer de l’un à l’autre sans réécriture massive du code. Alors que des outils tels que Puppet ou Ansible disposent de modules vers plusieurs cloud publics, leur finalité est tournée vers la gestion de configuration. Terraform ou CloudFormation (l’outil proposé par Amazon) sont orientés orchestration d’infrastructures et s’acquitteront mieux de la tâche. Ainsi, il n’est pas nécessaire dans le code d’écrire les dépendances entres les éléments, ce que l’on ferait avec Puppet par exemple. C’est l’orchestrateur de Terraform qui se charge de réaliser le graph de séquencement à votre place.

Un système de fichiers Haute Disponibilité avec GlusterFS ! (Paru dans GLMF 144)

Wed, 03 Jan 2018 17:21:49 +0000

GlusterFS est un système de fichiers réseau client/serveur permettant d’agréger différents nœuds de stockage afin de fournir un environnement NAS hautement disponible.

1. Présentation

1.1 Pour quoi faire ?

Admettons que j’ai une application Web lambda, je vais pouvoir déployer plusieurs instances Apache ou Nginx qui se trouveront derrière un équilibreur de charge, lui-même hautement disponible. Sur chaque instance de serveur Web, il me sera facile de déployer l’application. Toutefois chaque instance aura besoin d’accéder à des fichiers communs, générés ou non par l’application. Bien souvent, je vais rencontrer dans ce cas un serveur NFS qui va donc lui-même constituer un point de faiblesse dans l’architecture.

HA avec Keepalived (GLMF 163)

Sun, 13 Dec 2015 20:54:08 +0000

Haute Disponibilité et répartition de charge avec KeepAlived !

Keepalived c’est un peu comme le miel, au début ça colle aux doigts et après on s’aperçoit que son parfum sucré est drôlement agréable. Je vais donc aborder les fondements de la haute disponibilité de services réseaux au niveau kernel pour arriver à une solution entièrement pilotée.

De quoi s’agit-il ?

Une architecture informatique est dite hautement disponible lorsque sa conception est pensée d’une part pour répondre à la panne d’un ou plusieurs équipements et d’autre part lorsqu’elle est capable d’encaisser un pic de charge sans sourciller. La solution présentée dans ces pages se focalise sur la notion de services réseaux. Bien entendu, la notion de haute disponibilité doit être prise en compte à tous les niveaux d’un système, donc aussi bien au niveau matériel (RAID, liens réseaux redondés…) qu’au niveau applicatif (clusters MySQL, LDAP multi-master, etc…) qu’humain (hé oui si l’unique sysadmin qui connait une technologie est en vacances lors d’une panne…). La répartition de charge consiste à pouvoir distribuer les requêtes de manière efficace sur un pool de serveurs afin de pouvoir gérer un nombre importants de clients. Un mode de fonctionnement très simple pour faire de la haute disponibilité consiste à mettre en place ce que l’on appelle du Round Robin DNS, en faisant pointer plusieurs enregistrements DNS identiques, par exemple :

Migrer de Samba3 vers Samba4 (publié dans GLMF 154)

Sun, 13 Dec 2015 20:28:50 +0000

Migrer un domaine Samba3 vers Samba4

Dans un précédent article, j’avais abordé le fonctionnement de l’Active Directory et sa mise en place avec Samba4. De nombreux domaines sont en place sous Samba3 mais les limites de cette technologie font qu’il devient grand temps pour un certain nombre d’administrateurs de migrer vers un domaine de type Active Directory. Nous allons voir dans cet article ce que propose Samba4 actuellement pour ne pas avoir besoin de mettre en œuvre des serveurs sous Windows.

A la découverte de Samba 4 (Publié dans GNU/Linux France Magazine 153)

Sat, 14 Mar 2015 14:49:44 +0000

En gestation depuis environ une dizaine d’années auprès de ses développeurs, Samba4 vise à remplacer Samba3 qui lui assurait les fonctions d’un domaine de type NT4. Rentrons au cœur des réseaux Active Directory alors que la sortie d’une version se profile à l’horizon.

1. Introduction

La suite de logiciels Samba est une réimplémentation en logiciels libres des protocoles réseau client et serveur de Microsoft. La notion de liberté est particulièrement chère aux développeurs du projet car il a été le premier projet d’envergure à adopter cette licence en passant Samba 3.2 sous GPL V3 dès 2007. Jusqu’ici Samba 3 était capable de couvrir l’ensemble des fonctionnalités d’un réseau de type NT4 avec un certain nombre d’améliorations comme la possibilité d’utiliser OpenLDAP comme backend de stockage ou encore un fonctionnement en cluster bien que ces fonctionnalités soient relativement complexes à mettre en oeuvre. Samba3 gère notamment l’authentification en mode serveur maître/esclave (PDC/BDC pour Primary Domain Controler et Backup Domain Controler) et la fourniture des services de partage de fichiers et d’impression.

Cluster Debian avec DRBD et GFS2 - (Publié dans GNU/Linux France Magazine 135)

Wed, 11 Mar 2015 21:32:25 +0000

Cluster Debian avec DRBD et GFS2

Julien Morot

DRBD (Distributed Replicated Block Device) est une solution de réplication de périphériques blocs via le réseau. Un périphérique bloc peut être une partition, un périphérique LVM, RAID logiciel etc… La réplication se fait en continu est peut être synchrone ou asynchrone. Le module noyau est intégré désormais en standard au noyau depuis la version 2.6.33. Jusqu’à la version 0.7, DRBD fonctionnait en mode actif/passif. Depuis la version 0.8, il est possible de mettre en place un système multi-maîtres à condition que le système de fichiers le prenne en charge et c’est là que GFS2 entre en jeu.