OPTIMISATION ÉNERGÉTIQUE EN TEMPS RÉEL ET BONNES PRATIQUES DANS UN DATA CENTER HAUTE CRITICITÉ

Depuis sa création, eBay s'est constitué un parc de 12 sites de data centers pour répondre à l'augmentation constante de sa charge de calcul. Bien évidemment, les coûts d’exploitation de ces data centers augmentent également chaque année avec la croissance continue de l’activité.

Pour faire face à cette situation, eBay a mis en oeuvre un programme sur quatre ans pour ses data centers, avec un objectif ambitieux : réduire les coûts énergétiques de moitié tout en doublant la puissance de calcul. La conception de cette nouvelle infrastructure devait permettre d'obtenir par la même occasion davantage de souplesse opérationnelle et de fiabilité.
Pour atteindre ces objectifs, eBay devait regrouper ses actifs afin de réduire le nombre de data centers et les remodeler individuellement de manière à les rendre tous très peu énergivores sans compromettre la disponibilité.

« Pour réussir, une stratégie de data centers doit prévoir une hausse des besoins de calcul chaque année et permettre de satisfaire cette croissance sans augmentation proportionnelle des dépenses d’exploitation », explique Dean Nelson, Directeur de la stratégie et de l’exploitation des data centers d’eBay. « Nous devons mettre fin à la relation linéaire qui existe entre charge de calcul et coût d’exploitation. Cela passe par des progrès permanents et une nouvelle approche de nos profils d’efficacité énergétique, de puissance de calcul et d’utilisation des serveurs. »
En mai 2010, eBay a inauguré un site phare, pilier de sa nouvelle stratégie de data centers, baptisé « Projet Topaz ». Situé à South Jordan, dans l’Utah, Topaz représente l’investissement le plus important de l’histoire d’eBay et héberge plus d’un tiers de son infrastructure mondiale de serveurs. Tout en déployant l'ensemble des redondances nécessaires requises pour un data center Tier IV, Topaz peut fièrement arborer un indicateur d’efficacité énergétique (PUE, Power Usage Effectiveness) de seulement 1,4.

 

LES BONNES PRATIQUES POUR UNE EFFICACITÉ MAXIMALE DES BAIES

En intégrant des mécanismes écoénergétiques innovants à son infrastructure, notamment une architecture optimisée, des économiseurs d'eau, des collecteurs d'eau de pluie et des contrôles dynamiques dans l’ensemble des sous-systèmes de refroidissement et de distribution électrique, le data center Topaz permet d’alimenter et de refroidir le plancher technique à un coût remarquablement faible. Pour compléter ces mesures en matière d’équipements, Topaz met également en œuvre de nombreuses bonnes pratiques au niveau de ses planchers techniques, qui fonctionnent de pair avec l’installation de refroidissement pour contribuer à la conception écologique LEED Or du site. Cinq caractéristiques clés du plancher technique du data center Topaz sont particulièrement séduisantes de par leur intérêt et leur applicabilité à tous les data centers modernes :

Rack efficiency
 
Système de confinement d’allée chaude

Pour arriver aux meilleures performances de refroidissement, eBay a utilisé un système de confinement d’allée chaude conçu, prototypé et évalué avec le plus grand soin avant la construction.
À son siège de San Jose, l’équipe chargée de l’architecture des data centers d’eBay a équipé des maquettes grandeur nature de plusieurs systèmes de confinement, expérimentant différentes stratégies (confinement de l’allée chaude par rapport à l’allée froide), différents matériaux (portes de confinement par rapport à un gainage en plastique) et différentes dimensions. Cette phase de conception a permis de trouver un équilibre optimal entre coût, modularité et fiabilité avant le déploiement à grande échelle. eBay a constaté que le confinement de l’allée chaude offrait des temps de réserve plus généreux que le confinement de l’allée froide en cas de panne de la climatisation. L'équipe a déployé des ailes de confinement composées de plusieurs rangées d’armoires 45U et a travaillé en collaboration avec son fournisseur d’armoires et de confinement afin d’assurer une conception modulaire tout en réduisant au minimum les déperditions.

 

Cooling system

 

Distribution 400 V à chaque armoire

Avec certaines armoires renfermant plusieurs serveurs lames, eBay souhaitait que chaque baie spécifique puisse distribuer des charges allant jusqu’à 17 kW. Bien que cela soit possible avec une distribution 208 V traditionnelle, la distribution d’une tension plus élevée à chaque baie a permis à Topaz de faire baisser considérablement les coûts. En délivrant une tension de 400 V à chaque baie, eBay réduit au minimum la transformation/réduction et la perte de transmission en ligne tout en diminuant l'utilisation de cuivre. En particulier, eBay assure une alimentation triphasée de 400 V à deux PDU intelligents pour baie Raritan (appelés « PDU pour baie ») dans chaque armoire.

Ces PDU pour baie, pourvus d'un câblage phase-neutre interne (triphasé en étoile), délivrent à chaque serveur une alimentation 240 V monophasée, qui se situe dans la plage d'alimentation de pratiquement tous les équipements informatiques. En éliminant des transformations de tension inutiles, l'alimentation 400 V réduit les dépenses énergétiques de l’ordre de 2 à 3 % par rapport à une distribution 208 V, et d'environ 4 à 5 % par rapport à une distribution 120 V. En tant que fournisseur mondial de PDU pour baies, Raritan propose une gamme très étendue de configurations de produits acceptant une alimentation 400 V. Si la distribution de 400 V est encore assez récente en Amérique du Nord, Raritan déploie des systèmes 400 V dans des pays où cette tension est la tension nominale standard, comme en Australie et dans de nombreux pays européens.

Instrumentation offrant des informations détaillées sur l’alimentation des serveurs

L'indicateur économique le plus important pour l’équipe d’exploitation des data centers d’eBay est sans doute le coût total par recherche. A mesure que les capacités des UC serveurs augmentent rapidement à chaque génération de produits, eBay remplace ses serveurs en respectant des cycles de rafraîchissement de deux ans, les gains de performance par watt rentabilisant les coûts d’achat des nouveaux équipements. Pour chaque serveur acheté, eBay ne peut toutefois minimiser réellement son coût par recherche qu'en incluant tous les coûts d’exploitation du serveur, et pas uniquement le coût d’achat. Les coûts énergétiques sont notamment la plus grosse dépense d’exploitation d’un équipement donné.

Afin de réaliser le maximum d’économies, eBay a déployé des PDU pour baie Raritan fournissant des données précises sur la consommation énergétique de chaque alimentation de chaque serveur. Avec une précision de facturation conforme aux normes CEI/ANSI, la gamme de PDU pour baies Dominion PX de Raritan fournit en continu des informations précises (+/- 1 %) sur les kilowatts par heure consommés par chacun des équipements du data center. Conçue en reference aux normes relatives aux TI et aux installations, la gamme Dominion PX permet de faire remonter ces informations en temps réel aux systèmes de gestion des bâtiments et de suivi des équipements d’eBay, et permet d'obtenir une surveillance du PUE de catégorie 3 (ou PUE3) selon Green Grid.

« La gamme Dominion PX m’apporte la précision requise pour calculer les coûts d’exploitation réels de chaque serveur, jusqu’au dernier centime », déclare Dean Nelson. « Je peux connaître les profils d’efficacité de chaque fournisseur et déterminer les besoins qui seront immédiatement amortis dans le prochain appel d’offres de serveurs. »

Granularité des instruments de température

Avec la mise en œuvre de nombreux mécanismes révolutionnaires dans son infrastructure de refroidissement, Topaz améliore encore ses performances de refroidissement, aussi bien en termes d’économies que de fiabilité, grâce à la connaissance en temps réel de l’environnement d’exploitation de chaque serveur. Si la plupart des data centers contrôlent les températures de consigne et de retour, ces données ne donnent qu’une vue approximative de l’environnement réel du serveur au niveau de la baie. De ce fait, les opérateurs doivent réserver des marges de sécurité et de refroidissement qui sont, par définition, peu économiques.

eBay, au contraire, connaît la température exacte en entrée et en sortie de chaque armoire du data center Topaz. Topaz suit en particulier les recommandations de l’ASHRAE pour le suivi environnemental des serveurs, en mesurant l’allée froide en haut, au milieu et en bas en plus de l’allée chaude. Étant donné que ces informations peuvent être suivies en permanence, eBay peut ajuster ses paramètres de refroidissement afin d’optimiser les performances tout en assurant des alertes instantanées en cas de défaillance au niveau des serveurs.

Normalement, ce niveau de suivi environnemental serait trop onéreux pour être déployé dans chaque armoire. Mais la gamme Dominion PX de PDU intelligents pour baies apporte cette granularité des instruments sans autre coût d’infrastructure que celui lié aux capteurs de température Plug-and-Play sollicités. La couche réseau existante déjà fournie par les PDU pour baies Raritan est adaptée pour mesurer et contrôler les données sur l’humidité et la température.

 

Dominion PX solution

La gamme de PDU pour baies Dominion PX de Raritan fournit des informations précises en temps réel sur les kilowatts par heure consommés par chaque équipement du data center.

 

Rails de distribution électrique suspendus

La plupart des data centers utilisent un dédale de câbles d’alimentation sous plancher circulant entre les tableaux PDU et les armoires. Une telle configuration entrave énormément le débit d'air et affecte donc les performances de refroidissement. Imperceptibles sous le faux plancher, ces pertes d’efficacité sont facilement négligées et peuvent prendre des proportions d’autant plus importantes.

De plus, une conception standard prévoyant des « fouets » d’alimentation sous plancher pour chaque disjoncteur nécessite également une quantité importante de cuivre sous-utilisé, tout en restreignant la modularité pour la mise en service de nouvelles armoires.

Pour résoudre ce problème, Topaz exploite des canalisations de distribution électrique suspendues pour que chaque armoire puisse être facilement raccordée à une source d’alimentation 400 A. Deux canalisations passent entre chaque rangée d’armoires, chacune fournissant une alimentation redondante et éliminant ainsi totalement le recours à des fouets sous plancher. Des prises peuvent être ajoutées en quelques minutes à n’importe quel emplacement le long de la rangée d’armoires par simple ajout d’une boîte de dérivation protégée par disjoncteur. Il n'est dès lors plus nécessaire d’attendre plusieurs jours qu’un électricien vienne réaliser des dérivations supplémentaires.

 

Télécharger ce cas client

FAITS & CHIFFRES

Client

Fondée en 1995, eBay connecte une communauté diversifiée et passionnée d’acheteurs et de vendeurs particuliers, ainsi que de petites entreprises. Avec plus de 90 millions d’utilisateurs actifs dans le monde, eBay est le plus grand marché en ligne, où pratiquement n’importe qui peut acheter et vendre à peu près n’importe quoi.


Enjeux

eBay est une entreprise soucieuse d’optimiser la fiabilité de ses installations, chaque arrêt non planifié lui coûtant 2 000 $/seconde, soit 120 000 $/minute. Étant donné l'envergure de ses activités, l’entreprise doit également contrôler étroitement sa facture électrique et les coûts liés aux équipements.

Avec des charges de calcul (et des coûts d’exploitation) en hausse, eBay a développé et a commencé à déployer un programme de data centers sur quatre ans avec un objectif ambitieux :

  • réduire de moitié les coûts énergétiques
  • doubler les performances de calcul
  • gagner en souplesse opérationnelle et en fiabilité

Solutions

  • Power Management
  • PDU intelligents pour baies PX™

Résultats

eBay a développé un modèle pour ses data centers qui rend les opérations informatiques extrêmement fiables et dont le coût d'exploitation est moitié moindre que celui des data centers ancienne génération de l'entreprise.

En plus de réduire au minimum les pannes et de diminuer les coûts d’exploitation, le site eBay de South Jordan dans l’Utah a obtenu le classement Or du label LEED (Leadership in Energy & Environmental Design) de l'U.S. Green Building Council. La modularité du data center d’eBay est tout aussi importante que son classement LEED Or et sa fiabilité de niveau Tier IV. Le data center peut en effet s’adapter aux besoins et aux évolutions d’équipements et, chose primordiale aux yeux d’eBay, à l’évolution de la croissance à l’avenir.

Ebay témoigne du fait qu'en mettant en œuvre les meilleures pratiques, même les data centers de taille modeste peuvent améliorer leur disponibilité, réduire les coûts et devenir plus efficaces en utilisant un équipement facilement disponible et des techniques et processus simples.