DMA, RDMA
INFINIBAND vs Gigabit Ethernet
Hallym Univ. Park Chunduck
Bus Architecture
• Performance Problem
DMA
• Direct memory access (DMA) is a feature of
computer systems that allows certain hardware
subsystems to access main
system memory (RAM) independently of
the central processing unit(CPU).
Gigabit Ethernet
• 1970년대 초 Xerox 사에서 완성된 연구 결과
• 오늘날 물리 계층과 링크 계층 프로토콜을 널리
채용하는 데 큰 역할을 하였다.
– 1998. standard IEEE need optical fiber(광섬유)
– 2002. fiber standard rectified 승인
– 2009. 1Gb -> 10Gb Ethernet change
• join high performance server system market
INFINIBAND
• I/O 처리에 따른 성능 저하를 해결하기 위해 1999
년 InfiniBand Trade Association(IBTA)라는 단체 출범
• Dell, Intel, Sun, AMD, HP, IBM, 오라클, 시스코 등 업체
가 참여 하였다. 슈퍼컴퓨터나 HPC(High Performance
Computing)에서 서버간 데이터 통신에 사용되고 있다
InfiniBand network topology
• HCA(Host Channel Adapter), It is a bridge connecting the
memory controller and TCA
• TCA(Target Channel Adapter), It will I/O equipment (for example,
SCSI controller card) digital signal to send to HCA
InfiniBand network topology
• Switch
• TCA
• HCA
• Gateway
인피니밴드 vs. 기가비트 이더넷’ 프로토콜 기술
경쟁
• 네트워크 센터 시장에서의 라이벌
• Gigabit Ethernet
– 중급 규모의 데이터 센터들은 Ethernet으로 연결
(확장성)
– Now Gigabit Ethernet can be Big HPC System
• InfiniBand
– 많은 노드를 Single HPC 에 연결하려면
InfiniBand를 사용
– High Performance Datacenter need Infiniband
Ethernet in the TOP500
• mid 2010
– Infiniband Ethernet Total
Ethernet and Infiniband in "Industry" Segment
– Infiniband Ethernet
Number of Ports on TOP500 List and Industry Segment
The Tiers
• The Uptime Institute categorizes the data
centers by four levels: Tier I, II, III and IV.
• These levels correspond to a certain number of
guarantees on the type of hardware deployed
in the data center to ensure redundancy(중복)
The Tiers
• T3(Cold-swap) , T4(Hot-swap)
– Hot swap : exchanage device when it working

DMA, Infiniband

  • 1.
    DMA, RDMA INFINIBAND vsGigabit Ethernet Hallym Univ. Park Chunduck
  • 2.
  • 3.
    DMA • Direct memoryaccess (DMA) is a feature of computer systems that allows certain hardware subsystems to access main system memory (RAM) independently of the central processing unit(CPU).
  • 5.
    Gigabit Ethernet • 1970년대초 Xerox 사에서 완성된 연구 결과 • 오늘날 물리 계층과 링크 계층 프로토콜을 널리 채용하는 데 큰 역할을 하였다. – 1998. standard IEEE need optical fiber(광섬유) – 2002. fiber standard rectified 승인 – 2009. 1Gb -> 10Gb Ethernet change • join high performance server system market
  • 6.
    INFINIBAND • I/O 처리에따른 성능 저하를 해결하기 위해 1999 년 InfiniBand Trade Association(IBTA)라는 단체 출범 • Dell, Intel, Sun, AMD, HP, IBM, 오라클, 시스코 등 업체 가 참여 하였다. 슈퍼컴퓨터나 HPC(High Performance Computing)에서 서버간 데이터 통신에 사용되고 있다
  • 7.
    InfiniBand network topology •HCA(Host Channel Adapter), It is a bridge connecting the memory controller and TCA • TCA(Target Channel Adapter), It will I/O equipment (for example, SCSI controller card) digital signal to send to HCA
  • 8.
    InfiniBand network topology •Switch • TCA • HCA • Gateway
  • 10.
    인피니밴드 vs. 기가비트이더넷’ 프로토콜 기술 경쟁 • 네트워크 센터 시장에서의 라이벌 • Gigabit Ethernet – 중급 규모의 데이터 센터들은 Ethernet으로 연결 (확장성) – Now Gigabit Ethernet can be Big HPC System • InfiniBand – 많은 노드를 Single HPC 에 연결하려면 InfiniBand를 사용 – High Performance Datacenter need Infiniband
  • 13.
    Ethernet in theTOP500 • mid 2010 – Infiniband Ethernet Total
  • 14.
    Ethernet and Infinibandin "Industry" Segment – Infiniband Ethernet
  • 15.
    Number of Portson TOP500 List and Industry Segment
  • 16.
    The Tiers • TheUptime Institute categorizes the data centers by four levels: Tier I, II, III and IV. • These levels correspond to a certain number of guarantees on the type of hardware deployed in the data center to ensure redundancy(중복)
  • 17.
    The Tiers • T3(Cold-swap), T4(Hot-swap) – Hot swap : exchanage device when it working