Diseñando el Data Center de Hoy para el Futuro

Víctor Daniel Bañuelos Lugo

DC Infrastructure Solutions Architect – LATAM

Diseñando el Data Center de Hoy para el Futuro
Agenda
• Estándares, Diseño Holístico y la Importancia del PM

• El impacto del Software

• Las características importantes del Hardware

• Networking vs Cableado

• Conceptos Básicos de Energía

• Termodinámica, el Aire Acondicionado, y la Eficiencia

• CFD y el Diseño
Estándares, Diseño Holístico y la Importancia del PM
Objetivo
Estándares , Certificaciones y Otros Documentos Relacionados
• TIA-942-B Telecommunications Infrastructure Standard for Data Centers

• BICSI 002 Data Center Design and Implementation Best Practices

• CENELEC EN50173-5 Data Centre Standard

• AS/NZS 2834 Computer Accommodation Standards Australia BCL

• NMX-I-C-J 489 ANCE ONNCCEE NYCE 2013 Centros de Datos de Alto Desempeño - Sustentable y Energético -
Requisitos y Métodos de Comprobación

• EIA/ECA-310-E Cabinets, Racks, Panels and Associated Equipment

• UL 2416 Standard for Audio/Video, Information and Communication Technology Equipment Cabinet,
Enclosure and Rack Systems
• UL 60950-1 Information Technology Equipment - Safety - Part 1: General Requirements (Obsoleto)
Estándares , Certificaciones y Otros Documentos Relacionados
• ANSI/TIA-568-C.0 Generic Telecommunications • ANSI/TIA-607-B Telecommunications Bonding and
Cabling for Customer Premises Grounding (Earthing) for Customer Premises

• ANSI/TIA-568-C.1 Commercial Building • ANSI/TIA-758-B Customer-Owned Outside Plant

Telecommunications Cabling Standard Telecommunications Infrastructure Standard

• ANSI/TIA-568-C.2 Balanced Twisted-Pair • ISO/IEC 24764 Information Technology -- Generic

Telecommunications Cabling and Components Cabling Systems for Data Centres
Standard
• IEEE 802 LAN/MAN Standards
• ANSI/TIA-568-C.3 Optical Fiber Cabling • Include wired and wireless
Components Standard

• FC-BB-5 standard Fibre Channel over

• ANSI/TIA-569-C Telecommunications Pathways and Ethernet (FCoE)
Spaces

• ANSI/TIA-606-B Administration Standard for

Telecommunications Infrastructure
Estándares , Certificaciones y Otros Documentos Relacionados
• NESC® IEEE C 2 National Electrical Safety Code®

• IEEE Std. 446 Recommended Practice for Emergency and Standby Power Systems for Industrial
and Commercial Applications

• IEEE Std. 1100 Recommended Practice for Powering and Grounding Electronic Equipment

• UL 2043 Fire Test for Heat and Visible Smoke Release for Discrete Products and their Accessories
Installed in Air-Handling Spaces

• NOM-001-SEDE-2012 Instalaciones Eléctricas

• NMX-I-163-NYCE Productos Electrónicos - Sistemas Electrónicos De Energía Ininterrumpida

• ISO 50001 Energy Management

Estándares , Certificaciones y Otros Documentos Relacionados
• NFPA 101 Life Safety Code®

• ANSI/NFPA 90A Installation of Air-Conditioning and Ventilating Systems

• NFPA 70 NEC® National Electrical Code®

• NFPA 75 Standard for the Protection of Information Technology Equipment

• NFPA 76 Standard for the Fire Protection of Telecommunications Facilities

• NFPA 25 Standard for the Inspection, Testing, and Maintenance of Water-Based Fire
Protection Systems

• NFPA 13 Standard for the Installation of Sprinkler Systems

Estándares , Certificaciones y Otros Documentos Relacionados
• ANSI/ASHRAE 90.1-2010 Energy Standard for Buildings Except Low-Rise Residential Buildings

• ASHRAE 2011 Thermal Guidelines for Data Processing Environments

• 2013 CBC California Building Code

• 2012 IBC International Building Code

• ASCE/SEI 7-10 Minimum Design Loads for Buildings and Other Structures

• LEED Certification – USGBC (United States Green Building Council)

• The Green Grid

• Energy Star (EPA)

Estándares , Certificaciones y Otros Documentos Relacionados
• Uptime Institute • NEBS Network Equipment-Building
• Tier Standard: Topology System

• Uptime Institute • GR-63-CORE Network Equipment-

Building System Requirements: Physical
• Tier Standard: Operational Sustainability Protection

• GR-78 Generic Requirements for the

• Uptime Institute Physical Design and Manufacture of
• ATD (Accredited Tier Designer) Telecommunications Products and
Equipment

• Uptime Institute • GR-139-CORE Generic Requirements for

• ATS (Accredited Tier Specialist) Central Office Coaxial Cable

• GR-1089-CORE Electromagnetic
Compatibility and Electrical Safety --
Generic Criteria for Network
Telecommunications Equipment.
Estándares , Certificaciones y Otros Documentos Relacionados
• ISO/IEC 20000 - Service Management • ITIL Information Technology Infrastructure
Library
• ISO 9001 Quality Management
• DRII Disaster Recovery Institute
International
• ISO 27001 Information Security
Management
• OECD Guidelines for the Security of
Information Systems and Networks
• CMMI Capability Maturity Model
Integration
• IFAI - LEY FEDERAL DE PROTECCIÓN DE
DATOS PERSONALES EN POSESIÓN DE LOS
• SSE – CMM Systems Security Engineering PARTICULARES
Capability Maturity Model
• Data Protection Act 1998 Regulation of
Investigatory Powers Act 2000 Computer
Misuse Act 1990
Estándares , Certificaciones y Otros Documentos Relacionados
• COBIT Control Objectives for Information and Related Technology

• COSO Committee of Sponsoring Organizations of the Treadway Commission

• Val IT Framework for Business Technology Management

• BSC Balanced Scorecard

• PMBOK A Guide to the Project Management Body of Knowledge

• PRINCE2 PRojects IN a Controlled Environment, version 2

• CISSP® - Certified Information Systems Security Professional

Diseño Holístico

Certificaciones
Seguridad Integrador OS

ROI Clima PM

Monitoreo
Consultor &
IT Gestión

Proveedor
de Software Redes
Servicios

Administración Enfriamiento
del Flujo de Energía
Cableado
Aire
Project Manager
Para Iniciar:
Tendencias, Software & Dimensionamiento
Tiempo Energía

Presupuesto

Efectividad
y Eficiencia
Población Mundial, Regional, Local

2050 – 2018 = 32
Internet of Everything Vía Láctea
Estrellas: 250 miles de millones ± 150 miles de millones

100 mil millones Cosas (IoT)

You - Today
Dimensionar !

# de
Pronósticos Usuarios
de Ventas Futuros
Factores
Económicos
Regionales
CAGR
histórico de
la compañía
# Usuarios Actuales
Dimensionar!

Equipo Activo
Velocidad de
Transmisión
Almacenamiento

Capacidad de
Procesamiento

Aplicaciones
Impacto de la Virtualización
XaaS y más allá…
El Efecto Cloud
Análisis Financieros
Apps

FLOPs

Almacenamiento

Comm

Memoria
 Hardware,
Lo que Debes Evaluar: Eficiencia & Flujo de Aire
IBM
(HIGH PERFORMANCE COMPUTING)
Renovación Tecnológica
Impacto del Incremento de la Densidad de Potencia por Rack
Consolidación

1 10

Más
Ahorro en Racks Equipo en
menos
Blades 80% racks
El Costo de un Rack
de Alta Calidad NO
es lo
verdaderamente
importante
Fuente: IDC/HP
No es Ciencia Ficción

Fuente: HP

¿Cómo logro suministrar 34 o 55 kW a cada rack?

Back View
Airflow

Back

CFM
SUN NETRA CT900 ATCA BLADE SERVER
Networking & Cableado
Routing Protocols
RIP
RIPv2
IGRP
EIGRP
OSPF
IS-IS
BGP
Tasa de Transmisión (Velocidad), Espacio, Canalizaciones, …
 Cableado Estructurado
Backbone
Cableado Horizontal
Proveedores
de Acceso

Computer Room

Data Center E

Entrance Room E
Primario HDA
MC E

IDA
E
HDA
Telco Room E
E
MDA
Entrance Room
Secundario

E
HDA ZDA EDA

Proveedores
de Acceso TR
Oficinas
Generales,
*Ver TIA-942-B para más opciones Operaciones
Dentro del Rack (EDA) – Cómputo & Almacenamiento
 Planea Correctamente el Espacio

Cantidad de Cables por Server

Rack Mount 2 3 4 5 6 7 8
Servers
3 6 9 12 15 18 21 24
6 12 18 24 30 36 42 48
9 18 27 36 45 54 63 72
12 24 36 48 60 72 84 96
15 30 45 60 75 90 105 120 64 cables UTP Cat 6A
18 36 54 72 90 108 126 144
21 42 63 84 105 126 147 168
24 48 72 96 120 144 168 192
27 54 81 108 135 162 189 216 Fibra OM4
30 60 90 120 150 180 210 240
33 66 99 132 165 198 231 264
36 72 108 144 180 216 252 288
39 78 117 156 195 234 273 312
42 84 126 168 210 252 294 336

48 cables UTP Cat 6A

Ver TIA-569-C - 6.3.9.11 Cable management
Cambio de Paradigamas
Canalización de Cableado de Datos Aéreo
ZDA

EDA

MDA/IDA/HDA
ToR

EoR
 Energía Pasillo
Canalizaciones Debajo del Piso Frío

Pasillo Caliente

Cableado de Datos
Comunicaciones (EoR, ZDA, HDA, IDA, MDA)
Relación Equipo/Cable/Espacio
Switches Top of Rack

700mm

7000 mm

EDA
 800mm

600mm End of Row

ZDA
5600 mm
 700mm 800mm

End of Row End of Row

ZDA ZDA
7200 mm
Racks Propietarios ≠ Homogeneidad
Disponibilidad, Eficiencia, Homogeneidad, Flexibilidad, Estética

Equipo Estándar

Gabinetes Estándar
(EIA-310-E, UL2416)
Sistemas de la Distribución de la Energía & Puesta a Tierra
Objetivo -- Costo -- Riesgo
Eficiencia?
Energía vs GEI vs Temp vs $
Eficiencia

*Mayoría en
países LATAM

Supercomputadora
**Algunos en
países
desarrollados
Capital Cost Components in the Data Center

Data Center Power

Consumption
Breakdown

Source: C. Belady and G. Balakrishnan, Microsoft, Incenting the Right Behaviors in the Data
Center, http://events.energetics.com/datacenters08/pdfs/Belady_Microsoft.pdf
Source: James Hamilton
http://perspectives.mvdirona.com/2010/09/18/OverallDataCenterCost
s.aspx

Operating Expense Contributions

by Infrastructure Components in
the Data Center
Certificación
Realidad?

10:43 am November 28, 2014 By Julian Horsey

http://www.geeky-gadgets.com/worlds-largest-solar-plant-goes-online-28-11-2014/

Worlds Largest Solar Plant Goes Online Using 9 Million Solar Panels
• Planta de 550 MW = 550 000 kW
• 9 millones de paneles solares cubriendo un área de 24 604 887 m2
• Equivalente a una densidad de: 0,0223 kW/m2

• Campo de “Soccer” (90 x 120 m) = 10 800 m2

• 1 Planta 550 MW ≈ 2 278 campos

• Diseño Tradicional del CPD (Piso Blanco/ Cuarto Cómputo)

– PROMEDIO MUNDIAL ≈ 3,3 kW/Rack ≈ 1 a 1,5 kW/m2
– 100 kW ≈ 30 Racks ≈ 100 m2
– 500 kW ≈ 150 Racks ≈ 500 m2

• CPD de 100 kW ≈ 4 484,3 m2 ≈ 0,415 campos

• CPD de 500 kW ≈ 22 421,52 m2 ≈ 2,08 campos
Precio del Petróleo
Nuclear
Sistema Tradicional (AC)

UPS (SEI) Bancos de Baterías

 Lithium Ion

GBS®

RACK-INTEGRATED ENERGY STORAGE

The MD Energy Storage Rack is a rack-integrated lithium ion

energy storage building block
Flywheel
TIER I = Infraestructura Básica, TIER II = Componentes Redundantes
TIER III = Mantenimiento Concurrente, TIER IV = Tolerante a Fallas
Futuro vs Densidad vs $$
Track Busway, Electro-ducto, Blindo-barra
Plug & Play
Múltiples Opciones ( 40 a 1200 A )
2.375”
(60.33mm) 4.360”
(111mm)

4.187”
(106.35mm)
5.050”
(128mm)

225T3 T5 Paddle
6.400” 250T5
(163mm)
5.800”
(147mm) 8.650”
(220mm)

5.050”
(128mm)

5.050” 5.085”
(128mm) (129mm)

800T5
400T5 1200T5
Plug-Ins
 Flexible, Modular, Robusto, Estético, Confiable

Blindo barra 100 A @ 380/220V 3Y

Plug-Ins
220 V
32 A

5 kW/rack
rPDUs

Paneles Ciegos

5 kW
 ≈34,5 kW ≈34,5 kW
rPDUs

415 V
60 A

𝑃 = 𝑉 × 𝐼 × √3

3 = 1,732

Protección → 80%
110-125 V 200 – 240 V 120/240 V 120/208 V 208 V 380 - 415 V
3f WYE 3f DELTA 3f WYE
IEC C20* IEC C20*

NEMA L5-20P NEMA L6-20P NEMA L14-20P NEMA L21-20P NEMA L15-20P NEMA L22-20P

NEMA L5-30P NEMA L6-30P NEMA L14-30P NEMA L21-30P NEMA L15-20P NEMA L22-30P

IEC 2P+E 32A CS8365C 50A IEC 3P+N+E 16A

IEC 3P+N+E 32A

110 – 125 V 208 V

NEMA 5-20R IEC C13 IEC C19

*El cable de alimentación se elige por separado

Simplicidad
 C13-C14

CAB-C19-CBN Cabinet Jumper Power Cord, 250 VAC 16A, C20-C19 Connectors
DC Concept (Chip-to-Grid)
 DC Concept 380 VDC Connectors

380 VDC
Server Power Supplies

380 VDC
Vertical PDU

380 VDC Power Supplies – up tp 94% efficiency

 < 83 kW
10.375 kVA
500 kVA+

< 498 kW
1
500 kVA+

6
 Smart rPDUs (Monitoreo y Control)
SIN CONEXIÓN A LA RED SE CONECTAN A LA RED

MONITORED
BASIC METERED MONITORED SWITCHED SWITCHED PRO
PRO
Monitoriza
Monitoriza
Potencia
Potencia
Factor de Potencia
Factor de Potencia
Voltaje
Monitoriza Voltaje
Monitoriza Corriente
Potencia Corriente
Potencia Por cada uno de los
Factor de Potencia Por circuito (Branch)
Factor de Potencia receptáculos
Monitoriza Voltaje
Voltaje Y
Corriente Corriente Se puede controlar el
Corriente Se puede controlar el
Cero “inteligencia” Por circuito (Branch) Por cada uno de los estado de encendido
Por circuito (Branch) estado de encendido
receptáculos / apagado de cada
/ apagado de cada
uno de los
uno de los
receptáculos
receptáculos

Todas miden temperatura y humedad (1 o 2 sensores)

Puertos AUX para Control de Acceso (proximidad + biométrico)

Altos niveles de protección física

IP Connection

Temp/Humidity
Sensor

Temp/Humidity
Sensor

SecureArray x32
Rear Lock

Front Lock
 Medir y Gestionar para Ahorrar y Prevenir

DCIM = Data Center Infrastructure Management **BMS = Building Management System

 Facility-wide power monitoring
• Primary uses
• cost allocation
• operations management
• energy efficiency
• New build and retrofit
• AC and DC
• Device, branch circuit, panel and mains metering
• Wide range of form factors
Sistemas de Puesta a Tierra – Data Center
Sistemas de Puesta a Tierra – Telecom en General + Data Center

Structural Steel
E/P
TR
SBB
E/P
TR
SBB

TBB
EF
E/P TR
SBB
PBB
E/P
Electrical Service
ER
Entrance SBB
TBB
Termodinámica, el Aire Acondicionado, y la Eficiencia
Bases para Entender el Enfriamiento
Bases para Entender el Enfriamiento

ASHRAE TC9.9 2011

TC
Bases para Entender el Enfriamiento

DT = TH - TC
El Impacto del Flujo de Aire

T1=18;
W = 6800
CFM = 360
T2 = ???

23190 BTU/h = 6,8 kW

360 CFM @ 100% utilización
Sistemas de Enfriamiento

DX = Direct Expansion
Affinity Laws
Impacto en el Diseño
 Impacto en el Diseño

≤1260 kW
≈ 206181 CFM
360 CFM
@ 6,8 kW
3402 CFM, 63%
12,6 kW @ 0,2” H2O
3580 CFM @ 78%
≤45000 CFM ≈272,8 kW
≈30 – 50 kW
Flujo de Aire vs Piso Elevado

• Recomendaciones:
• Cero Obstrucciones
• Cableados Aéreos
preferentemente
• Rampas 1:12
• Modularidad
• Flexibilidad
• Soporte a la Carga:
15 kN/m2

• Cálculos de Presión
vs Volumen y
*Temperatura
Impacto en la Arquitectura

Ecuación de Bernuolli
Métodos de Contención del Calor (Elevar el DT en el retorno)

Vertical Exhuast Ducts (VED)

Cold Aisle Containment (CAC)

Hot Aisle Containment (HAC)
Métodos de Contención del Calor

Vertical Exhaust Duct

(VED)

30 kW < Alta Densidad

Impacto en la Arquitectura y Equipamiento
Diseño Optimizado con Contención de
Diseño Tradicional ( PF / PC ) Calor

344 m2 120 m2

100 Server Racks Ejemplo: 500 kW Totales 22 Server Racks

5 kW/rack 22,71 kW/rack
Impacto en
la Arquitectura
Ubicación, Free Cooling y el Impacto en el Diseño

up to 45°C at a 29°C maximum dew point

Impacto en el Diseño y la Arquitectura
Ejemplos de Diseño
Ejemplos de Diseño

Confinamiento de Pasillo Caliente Confinamiento de Pasillo Frío

Confinamiento de Pasillo Frío
Estimado de Ahorros

• INEFICIENTE • EFICIENTE*
PUE = 100 x 1/33 = 3,03 PUE = 100 x 1/65,9 = 1,51

0.1%
13.0% 21.0%
9% 8%
50%
33%
65.9%

Enfriamiento Equipo TIC Enfriamiento Equipo TIC

UPS Iluminación UPS Iluminación
Estimado de Ahorros

Enfriamiento: 105 kW
Enfriamiento: 250 kW 0.1%
13.0%
9% 8% 21.0%
50%
33%
EJEMPLO: 500 KW 65.9%

Enfriamiento Equipo TIC Rediseño Holístico Enfriamiento Equipo TIC

UPS Iluminación UPS Iluminación

Costo1: 250 x 8 760 horas x 0,08 USD kW h = 175 200 USD

Costo2: 105 x 8 760 horas x 0,08 USD kW h = 73 584 USD

Diferencia: 101 616 USD (58% de Ahorro – OPEX)

131
Ahorros Adicionales

Concepto Ahorros
Capacidad, UPS, Se optimiza de acuerdo al cálculo de la carga
generadores y otros
Distribución de la Energía Ahorros considerables cambiando a electro-ducto y circuitos trifásicos
Cableado de Datos Amplia reducción en metros de cable de FO o UTP y bandejas porta cables y
paneles de cros conexión
Equipo activo Menos hardware, más compacto y eficiente
Sistemas de Seguridad Menor número de cámaras, sensores, tuberías y volumen de gas o agua
(incendios)
Iluminación Reducción del total de luminarias de menor intensidad
Software Impacto de la virtualización en el hardware (menos equipo de cómputo)
Obra civil Menos m2 de construcción, optimización del espacio (altura adecuada)
Unidades de Enfriamiento Dramática reducción de acuerdo al cálculo de flujo, DT con CFD y técnicas de
y tuberías Free Cooling (clima del sitio)
Uso de Agua Mínima infraestructura usando técnicas con Aire del Exterior
Resumen
• “Algunos Cambios de Paradigmas”
• Virtualización, HPC, Programación en Paralelo, Hyper-threading, Cloud
Computing, etc.
• Consolidación, Blades, Híper-Convergencia
• SDN, Switching ToR, Photonics
• Ancho de banda en el backbone: 40-100 Gbps
• Troncales de FO insensible a curvaturas, cableado aéreo
• Mayor densidad de potencia por gabinete con métodos de contención
• rPDUs gestionables a nivel de toma
• Control de acceso de doble autenticación a nivel de rack con rPDUs
• Circuitos trifásicos de alta tensión / electro-ducto aéreo / redundancia
• Simetría, sin piso elevado, cámara plena de retorno
• Enfriamiento con agua (CW) o aire + Free Cooling
Gracias por su Tiempo
vbanuelos@rlapower.com
vbanuelos@vypsoluciones.mx
+52 55 3666 4500