Concepts du RAID

Introduction

Le développement du concept RAID (Redundant Array of Independent Disks) est l'œuvre du département informatique de l'Université de Berkerley (Californie) et remonte aux années 1980.
Le but du RAID est de combiner plusieurs disques durs peu coûteux sous la forme d'une grappe de disques afin d'obtenir des gains en terme de performance, de capacité et de fiabilité bien au-delà de ce que l'on peut obtenir avec un seul disque de grande capacité. Une grappe sera vue par le système hôte comme une seule unité logique.

La notion de faible coût était forte, la signification du I à l'époque était d'ailleurs " Inexpensive " (peu coûteux en Anglais) au lieu de " Independent " actuellement.
En effet, les grands ordinateurs du moments (mainframes) utilisaient des disques durs au format 6,5 ou 9 pouces au coût élevé et au rapport espace de stockage/prix faible. L'idée des chercheurs eacute;tait donc de trouver le moyen d'utiliser les disques durs au format 3"1/2 ou 5"1/4, bien plus abordables.

Le Temps Moyen Avant Panne (TMAP, Mean Time Between Failure ou MTBF en Anglais) d'une grappe est égale au TMAP d'un disque divisé par le nombre de disques composant la grappe. De ce fait, le TMAP d'une grappe sans redondance (RAID 0) est trop faible pour trouver sa place dans un environnement de production. Ainsi, plusieurs procédés ont été inventés afin d'assurer la tolérance aux pannes, et ce en stockant l'information de façon redondante.

Afin de pouvoir s'adapter au besoin de chacun, cinq différents niveaux de RAID (RAID 1 à RAID 5) ont eacute;té définis. Chacun assure une tolérance aux pannes moyennant un certain nombre de compromis (espace de stockage, performance, fonctionnalités). A côté de ces cinq architectures de disques avec redondance, il est rentré dans les mœurs d'inclure une grappe de disques sans redondance dans la famille RAID sous le nom de RAID 0.

Comme vous l'aurez compris, choisir une solution RAID, c'est choisir un compromis entre performance, volume disponible, sécurité et coût.

Nous allons maintenant présenter le mécanisme de répartition de l'information au travers de plusieurs disques.

Répartition de l'information

La répartition de l'information

Le fondement de la technologie RAID est la répartition de l'information (ou striping). Ce procédé consiste à rassembler plusieurs disques en une seule unité de stockage logique.
Pour ce faire, l'espace de stockage de chaque disque physique est découpé en " bandes " (stripes) qui peuvent faire de 512 octets à plusieurs mégaoctets. Ces bandes sont ensuite agrégées selon une séquence circulaire, de façon à ce que l'espace total soit composé de bandes provenant alternativement de chaque disque. La largeur d'une bande est déterminée par l'environnement dans lequel on compte utiliser la grappe de disques.

La plupart des systèmes d'exploitation actuels autorisent des opérations d'entrées/sorties simultanées sur plusieurs disques. Cependant, et afin d'obtenir le meilleur débit pour le sous-système disque, il est important de repartir les entrées/sorties équitablement sur l'ensemble des disques, de façon à ce que chacun d'entre eux soit le plus actif possible.
Dans un système avec plusieurs disques sans répartition de l'information, les opérations d'entrée/sorties ne sont jamais parfaitement réparties. Certains disques sont plus sollicités que d'autres car ils contiennent des données plus souvent accédées.
En découpant les disques d'une grappe en bandes (avec des bandes de tailles suffisantes pour les données à stocker soient contenues dans une seule bande), chaque information à stocker va être uniformément répartie. Ainsi, chaque disque de la grappe est sollicité en cas de charge importante. L'effet direct est que cela permet à tous les disques de répondre en parallèle aux requêtes d'entrées/sorties et donc de maximiser le nombre d'opérations d'entrées/sorties simultanées dans une grappe.

Nous allons maintenant présenter les différents modes RAID, leur mise en œuvre, avantages et inconvénients.

RAID 0, 1 et 2

RAID

Ce mode correspond à une grappe de disques avec répartition d'information mais sans parité ou redondance d'information.
Les grappes RAID 0 peuvent être configurées pour utiliser de larges bandes dans le cas de système multi-utilisateurs, ou bien de petites bandes pour les systèmes mono-utilisateur accédant à des vastes fichiers séquentiels.

Le RAID 0 procure la plus grande capacité de stockage et les meilleures performances comparé aux autres organisations de grappes. Notamment, l'écriture en parallèle sur les disques augmente la bande passante. D'un autre côté, l'absence de redondance fait qu'en cas de panne d'un disque, toutes les données de la grappe sont perdues.

RAID 1

Plus connu sous le nom de miroir, le RAID 1 consiste en l'utilisation de deux disques, le deuxième stockant les mêmes informations que le premier de façon redondante. Un miroir n'apparaît pour le système d'exploitation que comme un seul disque logique.
Bien que la répartition d'information par découpage en bandes ne soit pas utilisée dans le cas d'une simple paire de disque, plusieurs grappes de disques en RAID 1 peuvent être combinées sous forme de bandes et former une grappe avec répartition de l'information (striping).
Toutes les écritures doivent obligatoirement aller sur chacun des disques d'un miroir afin de garantir une exacte duplicité de l'information. Cependant, tous les disques sont capables d'effectuer simultanément des opérations de lecture. Ainsi, les performances en lecture d'un miroir sont quasiment doublées par rapport à un unique disque alors que les performances en écriture restent inchangées.

Le RAID 1 propose les meilleures performances de toutes les grappes avec redondance d'information. De plus, lors d'une panne, les performances gardent un niveau correct équivalent à celui d'un disque seul. Le RAID 1 autorise également l'utilisation de l'échange à chaud (hot swap) via l'emploi de tiroirs extractibles, et d'un disque de secours (hot spare) prêt à reconstituer l'ensemble des informations contenues sur le disque restant lors d'une panne.
La contrepartie est que l'espace utile équivaut à la moitié de l'espace disque réel. De plus, les écritures ne bénéficient d'aucune amélioration en terme de performances. Dans ce dernier cas, on emploiera le RAID 0+1 (ou RAID 10), correspondant à la répartition d'information sur des disques en miroir.
A noter également que le RAID 1 est le seul choix possible pour une architecture de disques en grappe avec tolérance aux pannes dans le cas où seuls deux disques sont utilisés.

RAID 2

L'organisation en RAID 2 répartit l'information en bandes de la taille d'un secteur sur un groupe de plusieurs disques. Certains d'entre eux sont dédiés au stockage d'information de détection et de correction d'erreurs (Error Checking and Correction, ECC).

Aujourd'hui, tous les disques durs intègrent des informations ECC dans chaque secteur, le RAID 2 n'apporte aucun gain significatif par rapport aux autres architectures RAID.

RAID 3 et 4

RAID 3

Comme pour le RAID 2, les données sont réparties selon des bandes d'un secteur sur un groupe de disques, mais un disque est dédié au stockage d'informations de parité (découpées en octets, correspondent à une bande).
Le RAID 3 se base sur les informations ECC contenues dans chaque secteur d'un disque pour la détection d'erreur. L'objet de l'information de parité et de permettre de contrer la défaillance d'un disque dur. Dans l'hypothèse d'une panne, les données sont " calculées " par une opération logique XOR (OU exclusif logique) sur les informations restantes. Si les trois informations sont 1, 0 et 1 l'information de parité est 0. Supposons que le premier disque dur tombe en panne et qu'il soit nécessaire de le changer. En utilisant les informations des deux disques restant (0 et 1) et l'information de parité du quatrième disque (0), on retrouve l'information perdue du premier disque (1). Par rapport au RAID 1, le RAID 3 permet une redondance de l'information à moindre coût puisqu'un unique disque est nécessaire pour les calculs de parité.

Les données stockées s'étendent généralement sur l'ensemble des disques afin d'optimiser les taux de transferts disque. Les opérations d'Entrées/Sorties nécessitant l'accès à chacun des disques de la grappe, les grappes configurées en RAID 3 ne peuvent en général répondre qu'à une seule requête Entrées/Sorties à la fois. RAID 3 travaille donc de façon synchrone, c'est à dire que les écritures ou lectures s'effectuent sur les x disques composant la grappe à la fois.
Le mode RAID 3 est donc optimal dans un environnement mono-tâche, mono-utilisateur, avec des enregistrements (données stockées) de grande taille. De plus, le RAID 3 nécessite des disques capables de synchroniser leur axe de rotation afin de minimiser la chute des performances lors d'accès à des enregistrements de petites tailles.
Du fait que les grappes RAID 5 avec des bandes de faible largeur sont capables de fournir les mêmes performances qu'une grappe RAID 3, ce dernier mode est devenu obsolète.

RAID 4

Il présente des caractéristiques identiques au RAID 3, sauf les bandes qui sont de grande taille afin qu'un enregistrement puisse être lu depuis n'importe quel disque (hormis le disque réservé à la parité). Ceci permet aux opérations de lecture de se produire simultanément sur chaque disque. Par contre, toute opération d'écriture nécessitant la mise à jour des informations de parité, celles-ci ne peuvent être simultanées. Le RAID 4 travaille donc en asynchrone et oblige à effectuer un plus grand nombre d'accès au disque de parité. Pour cette raison, le niveau RAID 5 est préféré à RAID 4.

Caractéristiques communes aux modes RAID 3 et 4

Les modes RAID 3 et RAID 4 autorisent l'extraction de disques à chaud (1 seul à la fois !) et gèrent les disques de secours (hot spare).
En cas de panne le système travaille dans un mode dit dégradé (voir plus loin). Les techniques de hot swap et de hot spare sont bien entendues disponible dans ce mode.

L'un des désavantages majeurs des architectures RAID 3 et RAID 4 est le stockage des informations de parité sur un unique disque. Ce disque constitue généralement un véritable goulot d'étranglement, et est plus soumis à une panne du fait qu'il est sollicité en permanence.

RAID 5 / Autres modes

RAID 5

Le RAID 5, désigné parfois comme " grappe à parité tournante ", évite le goulot d'étranglement dû au disque de parité constatés avec les modes RAID 3 ou 4. En effet, en mode RAID 5, les informations de parité sont réparties sur l'ensemble des disques. Ainsi, vu qu'il n'y a pas de disque dédié au stockage de la parité, les informations se trouvent sur chaque disque et les opérations de lecture peuvent donc se dérouler simultanément sur chaque disque. Les opérations d'écriture nécessitent l'accès à au moins un disque pour y stocker les données et à un autre pour y stocker la parité. Cependant, vu que les différents enregistrements successifs utilisent à chaque fois un disque différent pour le stockage des informations de parité, les écritures peuvent généralement être simultanées.

Prenons un exemple d'une grappe de 4 disques en RAID 5. Les 3 premières informations arrivent : elles sont réparties sur 3 disques et on calcule une parité qui est enregistré sur le quatrième disque. Le même scénario se déroule de la même façon pour les trois informations suivantes. Néanmoins, la parité n'est pas écrite sur le même disque que précédemment. Ainsi la parité est répartie sur l'ensemble des quatre disques ce qui évite la congestion du disque de parité des mode 3 et 4. Bien entendu, les algorithmes liés au RAID5 sont plus élaborés que pour les autres niveaux de RAID.
A noter que RAID 5, tout comme RAID 4, travaille de façon asynchrone. De même, en cas de panne, le système travaille dans un mode dégradé. Les techniques de hot swap et de hot spare sont bien entendues disponible dans ce mode. Mais la reconstitution du disque défaillant est plus longue qu'avec les autres modes.
Pour finir, nous dirons que le mode RAID 5 est performant pour la lecture de larges fichiers et correct tant pour la lecture de petits fichiers que les écritures dans leur ensemble.

Autres modes

Modes non officiels

Les modes officiels sont les niveaux 0 à 5 de RAID.
Les constructeurs ont mis en place d'autres modes de RAID plus ou moins bien spécifiés, et généralement plus complexes que RAID 5.
RAID 6 : identique au RAID 5 mais tolérance de deux défaillances disques simultané. Procédure d'écriture complexe.
RAID 7 : transferts asynchrones optimisés pour les débits de données importants.

Niveaux combines

En plus des niveaux classiques, les contrôleurs RAID récents permettent la combinaison de plusieurs grappes RAID en un seul groupe de grappes (ou groupe de parité). Dans une telle configuration, le microcode du contrôleur découpe en bandes deux grappes matérielles (ou plus) en une seule grappe logique.
Ces grappes sont généralement désignés comme RAID X+Y ou RAID YX où X est le niveau de RAID le plus proche de 0 et Y le niveau de RAID le plus proche de 5. Ainsi, la répartition d'information (RAID 0) sur deux paires de disques en miroir (RAID 1) est mieux connue sous le nom de RAID 0+1 (ou RAID 10). Une autre possibilité du RAID 0+1 consiste à créer deux lecteurs logiques en RAID 0 et d'utiliser l'un de ces deux disques logiques comme miroir de l'autre (RAID 1).

Plus simple que les RAID 6 ou 7, l'utilisation de plusieurs couches de RAID est donc une pratique assez répandue. Il est en effet possible de combiner plusieurs niveaux de RAID (0+1, 5+1, 3+1). De plus, le RAID combiné permet d'obtenir un assez bon compromis entre la sécurisation de l'information des modes RAID 1 et RAID 5 d'un côté, et la nette amélioration des performances inhérentes à la répartition des informations (RAID 0).

Gestion de la redondance

Processus de création d'une information redondante

Le RAID 5 est connu pour surpasser le RAID 1 d'un point de vue de la capacité utile disponible car il stocke uniquement des informations de parité au lieu d'une copie complète et redondante des données. Ainsi, rien de plus simple que de regrouper trois disques ou plus au sein d'une grappe RAID 5, sachant que seule la capacité d'un disque sera perdue car dédiée au stockage de la parité. Pour cette raison, une grappe RAID 5 offre une bien meilleure gestion de la capacité disque disponible qu'une grappe RAID 1. Toutefois, il convient de prendre du recul face à ces informations car cette efficacité se paye au niveau des performances.

En effet, les données de parité de chaque bande d'une grappe RAID 5 correspondent à un OU Exclusif (XOR) effectué sur toutes les données de cette même bande et sur l'ensemble des disques de la grappe. Quand une donnée de la bande est modifiée, les informations de parité doivent donc être également mises à jour. Deux méthodes existent :
La première consiste à collecter l'ensemble des données de la bande modifiée puis à régénérer la parité à partir de ces données. Une opération d'écriture qui modifie l'ensemble des données stockées dans la bande ne nécessitera pas de lectures supplémentaires car l'ensemble des données de la bande est déjà disponible dans la mémoire cache. Ce cas est plus connu sous le nom de full-stripe write (écriture d'une bande complète). Si seulement une partie des données de la bande doit être modifiée, les données " manquantes " (c'est-à-dire celles dont l'écriture n'a pas été demandé) vont être lues sur les disques afin de pouvoir calculer la parité. Ce cas est appelé partial-stripe write (écriture d'une partie de la bande). L'efficacité de cette méthode consistant à collecter les informations pour calculer la parité dépend non seulement du nombre de disques dans la grappe RAID 5 mais aussi la proportion des données à écrire par rapport à la quantité de données contenue dans une bande complète.

La seconde méthode de mise à jour de la parité consiste à déterminer quels bits de données seront changés lors de l'écriture puis à modifier les bits de parité correspondants. Pour cela, les données qui vont être écrasées sont lues depuis les disques puis combinées avec les nouvelles données selon un OU Exclusif (XOR). Le résultat est un masque de bits affichant 1 si le bit a été modifié dans les nouvelles données, 0 sinon. Ce masque est à son tour combiné avec l'ancienne parité selon un OU Exclusif, ce qui donne la nouvelle parité qui est ensuite écrite sur la grappe. En résumé, cette méthode nécessite deux lectures, deux écritures et deux combinaisons par OU Exclusif. Elle est plus connue sous le nom de read-modify-write (lit-modifie-écrit).

Le prix à payer lorsque l'on stocke des informations de parité au lieu d'une copie des données comme avec RAID 1 correspond au temps supplémentaire nécessaire au recalcule des informations de parité lors d'une écriture. De ce fait, les performances en écriture des grappes RAID 5 sont inférieures à celles des grappes RAID 1.
La plupart des solutions RAID matérielles permettent d'effectuer les opérations OU Exclusif (XOR) au niveau du contrôleur et soulagent donc le processeur de ces calculs fastidieux. La contrepartie du recalcule d'une parité en RAID 5 se limite donc dans ce cas aux entrées/sorties supplémentaires nécessaires pour lire les informations manquantes et écrire la nouvelle parité.
En ce qui concerne le choix de la méthode de mise à jour de la parité (cas des contrôleurs Adaptec), il est déterminé par le contrôleur suite aux calculs du nombre d'entrées/sorties nécessaire pour chaque méthode puis sélection de la méthode la moins " coûteuse " en nombre d'accès disque. De plus, et afin de favoriser la méthode d'écriture d'une bande complète, la mémoire cache du contrôleur est utilisée afin de consolider plusieurs " petites " demandes d'écriture en de plus gros blocs de données.

Gestion des défaillances

Gestion des erreurs d'entrées/sorties

NDR : La gestion des erreurs que nous allons présenter ici concerne uniquement les contrôleurs Adaptec, n'ayant pas d'autres informations sur le sujet.
Les contrôleurs tiennent à jour deux listes pour chaque grappe RAID 5 : une liste des parités incorrectes (Bad Parity List) et une liste des données incorrectes (Bad Data List). Ces listes contiennent des numéros de blocs physiques destinés à stocker parité ou données, et sur lesquelles une écriture a échoué.
Ces listes permettent au contrôleur de savoir qu'une parité ou une donnée provenant d'un de ces blocs n'est pas valide. Dans l'hypothèse où le contrôleur a besoin de l'information contenue dans un de ces blocs défectueux et ne peut la déterminer à partir des autres données ou parité à sa disposition, une erreur est renvoyée au système.
Une entrée dans une de ces deux listes sera supprimée si le contrôleur parvient à écrire avec succès une information dans le bloc concerné lors d'une tentative ultérieure.

Mode dégradé

Le mode dégradé caractérise une grappe de disques dont l'un des membres ne fonctionne plus.
Lors de la perte d'un disque en mode RAID 0, la grappe complète est hors-service.
En RAID 1, les performances en lecture chutent de 50 % du fait que les requêtes de lecture ne peuvent plus être réparties sur les deux disques. Par contre, un léger gain en écriture est constaté du fait qu'il n'y a plus qu'un seul disque accédé.
Les grappes RAID 5 sont capables d'extrapoler les données demandées par lecture des bandes de donnée présentes sur les disques restants, puis calcul par l'application d'une opération OU Exclusif logique (XOR). En RAID 5, la magnitude de la perte de performance est inversement proportionnelle au nombre de disques dans la grappe. Au plus il y a de disques, au moins le mode dégradé est pénalisant.

Reconstruction d'un disque défaillant

Un disque défaillant dans une grappe en RAID 1 ou RAID 5 peut être remplacé soit physiquement par un nouveau disque, soit logiquement par un disque de secours prévu à cet effet. L'opération de reconstruction se déroule parallèlement au traitement des demandes de lecture/écriture sur la grappe.
En général, une grappe en RAID 1 retrouve assez rapidement son intégrité car les données sont simplement dupliquées sur le nouveau disque. Dans le cas d'une grappe RAID 5, les informations à placer sur le disque qui vient d'être remplacé doivent être extrapolées à partir des données restantes et application de OU Exclusif logique (XOR). De ce fait, une grappe contenant un grand nombre de disques nécessitera plus de temps pour retrouver son intégrité qu'une grappe ne comportant que le nombre minimum de disques.

Contraines et critères de choix

Contraintes lors de l'implémentation du RAID

Type des disques

Il est vivement conseillé de prendre des disques de modèle identique dans un souci d'homogénéité et de performance. En effet, les performances maximum seront toujours celles du maillon le plus lent.

Nombre de disques

2 minimum pour le RAID
0 2 exactement pour le RAID 1
3 pour le RAID 3/4/5
4 pour le RAID 0+1
6 pour le RAID 0+5
1 disque en plus lors de l'emploi d'un disque de secours

Taille des disques

Pour les RAID 0 et 1, l'espace maximum gérable en RAID est égal à la capacité du plus petit disque (multiplié par le nombre de disques pour le RAID 0).
Il est nécessaire d'avoir des disques de taille identique pour les niveaux RAID 3, 4 et 5.
Le disque de secours (spare) doit avoir au minimum la capacité du plus gros des disques de la grappe.

Choix d'une architecture RAID

Comme nous l'avons mentionné au début de cet article, choisir une solution RAID, c'est choisir un compromis entre performance, volume disponible, sécurité et coût.

Redondance de l'information / Degré de tolérance aux pannes

Aucun : RAID
0 Moyen : RAID 3/4/5
Elevé : RAID 1

Utilisation d'un disque "Hot spare"

RAID 1/3/4/5

Possibilité d'extraction à chaud (Hot swap)

RAID 1/3/4/5

Type d'applications (exemples)

RAID 3 : Scientifique, image, flux de données (hauts débits)
RAID 5 : Transactionnel, BDD (faibles débits)

Les solutions du marché

Logicielles

Principe : le système d'exploitation prend en charge la gestion RAID
Interet : faible cout, intégré dans les principaux OS serveurs (Windows NT/2000, Linux)
Defauts : consommateur en puissance processeur, contenu et organisation des disques dependant de l'OS

Windows NT Workstation/2000 Professional gère le RAID 0 (striping)
Windows NT/2000 Server gère les RAID 0,1 et 5.
Les performances sont globalement médiocres.
Avec NT 4.0, le mode miroir est peu fiable : une disquette de demarrage est nécessaire pour redémarrer sur le 2e disque du miroir si le premier est défaillant.
De plus, une grappe de disques en RAID 5 n'est pas transposable vers une autre machine.

Le noyau Linux gère les modes RAID 0, 1, 4 et 5.
Les performances sont correctes et l'impact négatif d'une gestion RAID logicielle sous Linux est faible.
Un miroir ne s'applique pas à un disque complet mais à une ou plusieurs partitions (volumes logiques).
Remarques : avec le Kernel 2.2, il y a une limite à la taille d'une partition devant etre mise en miroir d'environ 8 Go. Ainsi, un disque de 30 Go doit etre coupe en quatre parties d'environ 7,5 Go.

Matérielles

Les solutions RAID matérielles se présentent généralement sous la forme d'une carte d'extension comportant un contrôleur gérant les opérations complexes (duplication de l'information pour le RAID 1, segmentation et repartition des donnees pour le RAID 0 et 5, calcul de la parite pour le RAID 4 et 5), et sur laquelle on connecte des disques au standard IDE ou SCSI selon le modèle.
Les contrôleurs sont de plus en plus abordables. Ainsi, on trouve de plus en plus des modèles d'entrée de gamme (Promise, Highpoint, etc.) gérant les niveaux RAID 0, 1, 0+1 intégrés directement sur certaines cartes-meres.
Quasiment tous les modèles gèrent le hot swap (extraction à chaud) et le hot spare (disque de secours).
Les modèles moyens/hauts de gamme et/ou ceux devant gérer des grappes avec parité embarquent de la mémoire, en général à correction d'erreurs (ECC), pour les calculs de parité et servant de cache pour accélérer les opérations de lecture/écriture.
Dans le cas des cartes Adaptec, l'organisation des disques en grappes est stocké sur les disques et est donc reconnue par un contrôleur identique. Il est donc possible d'attacher une grappe RAID 5 à un autre contrôleur.sans perte de données, par exemple en cas de défaillance du contrôleur RAID.

Vous trouverez ci-dessous quelque fabriquants de carte contrôleur RAID (liste non exhaustive).

Installation / Conclusion

Installation

1) Installation du contrôleur et/ou raccordement des disques durs (internes ou externes)
2) A l'aide de l'utilitaire fourni avec le contrôleur, définir le niveau de RAID que l'on souhaite en fonction des disques dont on dispose
3) Ajouter éventuellement un ou plusieurs disques de secours. Selon les modèles de contrôleur, le disque de secours (spare) est attaché à une des grappes (Adaptec) ou bien peut être global à l'ensemble des grappes gérées par le contrôleur (IBM)
4) Initialisation des disques de la grappe
5) Depuis l'OS, la grappe apparait comme un disque dur classique : il suffit de créer ses partitions comme on le souhaite.

Conclusion

La mise en place de la technologie RAID a très souvent comme but la tolérance aux pannes dans un environnement de production. Le RAID 0 est un peu à part car son but est la performance pure au détriment de toute sécurité.
Malgré la sécurité apportée par le RAID, une stratégie de sauvegarde sur bande ne doit en aucun cas être négligée car meme avec l'utilisation d'un disque de secours, aucun systeme RAID normalise ne tolere la panne simultanee de 2 disques.

Sources
RAID White Paper (Adaptec)
Inroduction à RAID (Université de Marne-la-Vallée)

URL de référence : http://www.apachefrance.com/Articles/3/