Распределенное хранилище
данных CEPH
Мотивация. Зачем.
Обзор технологии.
Архитектура.
Компоненты.
Преимущества.
Недостатки.
Практическое
использование.
Тезисы
Что важно?
- Масштабирование
* ТБ, ПТ, ББ
* гетерогенность среды
* отказоустойчивость
* простота и надежность
- Гибкость
* объекты
* блочные устройства
* файловая система?
* структуры данных
- Дешевизна
* no vendor-lock
* низкая стоимость Гб
* администрирование
* отказоустойчивость
Время и деньги
ВРЕМЯ
- легкость управления
- миграция
- балансировка
- масштабирование
ДЕНЬГИ
- гигабайт мало стоит
- софт, а не железо
- гетерогенность
- опенсорс!
низкий порог вхождения админа
Проблемы хранилищ
- сложно
- дорого
- ненадежно
- долго
CEPH
- объекты большие
* и маленькие
- блочные устройства
- файлы
Монитор ceph-mon
Хранилище ceph-osd
Метадата (не нужна) ceph-mds
AmazonS3 like RADOS-GW
CEPH?
- Реплицируем N раз
- Балансируем
- Мигрируем
- Восстанавливаемся
Автоматически!
Скорость сопоставима
с обычными дисками!
CRUSH Это дерево!
Алгоритм зависит от железа.
- быстрый,
- псевдорандомный,
- настраиваемый.
- Математика. Сложная!
Восстановление
- параллельно
- many2many
- нет hotspare
RADOS GW - RESTful
- object=key
- атомарно
- идемпотентно
- права доступа
- балансировка
RBD
- виртуальный диск
- в ядре
- qemu, kvm, libvirt
Утилиты
Client-tools
- ceph
API
- python boto
- java
- C*
-
Block-device
- rbd + kernel module
- kvm, qemu, libvirt
- все как обычно
- почти
RADOS
- apache2
AmazonS3 & Openstack
CEPH и мы
- фламп и фоточки. Планета?
- хранилище “медленных” бекапов
- shared KVM
- разделяемый контент
- дропбокс
- ???
Аналоги - shared file systems
- vendor solutions
- на колене
- elliptics yandex
- Amazons3
- Openstack
Не совсем!
Статус проекта
- 12 разработчиков
- инвестиции
- ежедневные коммиты
- мне кажется, у них забрали паспорта!
Недостатки тоже есть!
- сыровато
- мало функционала
- необходимо четко планировать инфраструктуру
- ???
В планах
- гео-кластер
* мастер, зоны, бекапы, все как у больших дядей
- скорость и стабильность еще выше.
- lock-manager over RBD
- там столько всего наполеоновского!
Спасибо! Вопросы?
http://ceph.com

More Related Content

PPTX
Совместимы ли понятия SDS и производительность?
PDF
Хранилище 101
PDF
Обзор архитектуры [файловой] системы Ceph
PDF
Обзор Btrfs
PDF
Isilapp — Extreme Cloud Storage on FreeBSD
PPTX
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)
PDF
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...
PPTX
HDD, SSD, RAM, RAID, и кого на ком кэшировать / Михаил Конюхов (Perfect Solut...
Совместимы ли понятия SDS и производительность?
Хранилище 101
Обзор архитектуры [файловой] системы Ceph
Обзор Btrfs
Isilapp — Extreme Cloud Storage on FreeBSD
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...
HDD, SSD, RAM, RAID, и кого на ком кэшировать / Михаил Конюхов (Perfect Solut...

What's hot (20)

PDF
Максим Шапошников, Nutanix
PDF
Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подо...
PDF
NoSQL thumbtack experience, Анатолий Никулин
PPTX
Flashcache в mamba.ru / Яковлев Александр Юрьевич (ЗАО Мамба)
PPT
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
PDF
Инфраструктура хранения для KADME Whereoil
PDF
HPC file systems (160761)
PPTX
Погружение в виртуальную память и большие страницы / Константин Новаковский (...
PPTX
Nutanix Acropolis - облако на базе KVM под ключ, Максим Шапошников (Nutanix)
PPTX
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...
PPTX
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)
PPTX
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...
ODP
Red Hat Storage 3.0
PDF
ekbpy'2012 - Данила Штань - Распределенное хранилище
PDF
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками
 
PDF
Нереляционный SQL
ODP
Data storage systems
PDF
Использование ленточных технологий для сокращения стоимости файловых хранилищ
PPTX
обзор архитектуры и подсистем деплоя и мониторинга
PDF
облачные решения компании Huawei
Максим Шапошников, Nutanix
Бинарные (файловые) хранилища: страшная сказка с мрачным концом / Даниил Подо...
NoSQL thumbtack experience, Анатолий Никулин
Flashcache в mamba.ru / Яковлев Александр Юрьевич (ЗАО Мамба)
Отказоустойчивый микрокластер своими руками, Виталий Гаврилов (Ленвендо)
Инфраструктура хранения для KADME Whereoil
HPC file systems (160761)
Погружение в виртуальную память и большие страницы / Константин Новаковский (...
Nutanix Acropolis - облако на базе KVM под ключ, Максим Шапошников (Nutanix)
Эволюция программно-аппаратного обеспечения хранения фотографий в Badoo / Дми...
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)
Защита датацентров и данных от катастроф на базе технологий Nutanix / Максим ...
Red Hat Storage 3.0
ekbpy'2012 - Данила Штань - Распределенное хранилище
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками
 
Нереляционный SQL
Data storage systems
Использование ленточных технологий для сокращения стоимости файловых хранилищ
обзор архитектуры и подсистем деплоя и мониторинга
облачные решения компании Huawei
Ad

Viewers also liked (20)

PPTX
Phreebird Suite 1.0: Introducing the Domain Key Infrastructure
PDF
Хочу делать игры, пусть меня научат — DevDay, 06.06.2012
PDF
Cоздаем пробки или тюнинг postgresql для расчетных задач
PDF
«Agile-тестирование по версии API 2ГИС» — Анастасия Огаркова, 2ГИС
PDF
Фича готова. Что дальше?
PDF
«Я спросил у сервера...», Илья Пастушков
PPT
Веб 3.0. Футуристический рассказ о будущем интернета и IT
PDF
SQL-ник DevDay. Рубцов. Новое в Percona Server и MariaDB в сравнении с MySQL 5.5
PDF
Манипулятор на Ti Stellaris Launchpad, Лёша Романенко
PDF
«Роль исследований в формировании продуктового видения компании», Лиза Алексе...
PDF
Взаимодействие Go и C-библиотек. Go и Erlang
PDF
Артём Кудзев «Делайте на работе то, что мотивирует»
PDF
App store iap. short comments
PPTX
Lua vs c++_desyatov
PDF
«Bdd и реактивщина в 2ГИС», Евгений Тютюев
PPT
Инструкция по созданию самопального биллинга, Михаил Крестьянинов (Новотелеком)
PDF
Матвей Мальков «Ещё один поиск контактов на Android»
PDF
Рендеринг может больше: vue.js vs React, Андрей Солодовников
PDF
Тимофей Чаптыков «Верстальщик должен быть ленивый»
ODP
Block Storage For VMs With Ceph
Phreebird Suite 1.0: Introducing the Domain Key Infrastructure
Хочу делать игры, пусть меня научат — DevDay, 06.06.2012
Cоздаем пробки или тюнинг postgresql для расчетных задач
«Agile-тестирование по версии API 2ГИС» — Анастасия Огаркова, 2ГИС
Фича готова. Что дальше?
«Я спросил у сервера...», Илья Пастушков
Веб 3.0. Футуристический рассказ о будущем интернета и IT
SQL-ник DevDay. Рубцов. Новое в Percona Server и MariaDB в сравнении с MySQL 5.5
Манипулятор на Ti Stellaris Launchpad, Лёша Романенко
«Роль исследований в формировании продуктового видения компании», Лиза Алексе...
Взаимодействие Go и C-библиотек. Go и Erlang
Артём Кудзев «Делайте на работе то, что мотивирует»
App store iap. short comments
Lua vs c++_desyatov
«Bdd и реактивщина в 2ГИС», Евгений Тютюев
Инструкция по созданию самопального биллинга, Михаил Крестьянинов (Новотелеком)
Матвей Мальков «Ещё один поиск контактов на Android»
Рендеринг может больше: vue.js vs React, Андрей Солодовников
Тимофей Чаптыков «Верстальщик должен быть ленивый»
Block Storage For VMs With Ceph
Ad

More from DevDay (20)

PDF
«Интеграция push-уведомлений в Яндекс.Браузер под iOS», Юрий Музюкин
PDF
Фреймворк Slot, Good Parts, Александр Бирюков
PDF
Devops-практики в разработке решений для бизнеса, Максим Пашук
PDF
Inversion of Control в деталях, Дмитрий Кожевников
PDF
«Используем неизменяемые данные и создаем качественный код», Игорь Кудрин
PDF
«Велогосипед», Данил Ильиных
PDF
«Процесс создания продукта», Максим Берёзкин
PDF
«Вывод продукта на новых территориях», Елизавета Алексеенко
PDF
Лабиринт на Arduino, Вадим Ипполитов
PDF
«Хоба-хоба и в продакшн», Женя Пономарёв
PDF
«Бегущий по лезвию. Продуктовые сценарии в дизайне», Макс Карпылев
PDF
«Тестируем веб приложения», Павел Сташевский
PDF
«Открытая веб картография», Илья Таратухин
PDF
«Изоморфные js приложения с использованием catberry.js», Денис Речкунов
PDF
Олег Годовых «Страх и ненависть в Event Bus»
PDF
Распределенные приложения и Azure Service Bus
PDF
Frontend
PDF
Илья Беда «Как Erlang сделает ваши приложения реалтаймовыми»
PDF
Роман Акинфеев «Разработка RESTful API with all bells and whistles»
PDF
Александр Щепановский «Почему каждому языку нужен свой _»
«Интеграция push-уведомлений в Яндекс.Браузер под iOS», Юрий Музюкин
Фреймворк Slot, Good Parts, Александр Бирюков
Devops-практики в разработке решений для бизнеса, Максим Пашук
Inversion of Control в деталях, Дмитрий Кожевников
«Используем неизменяемые данные и создаем качественный код», Игорь Кудрин
«Велогосипед», Данил Ильиных
«Процесс создания продукта», Максим Берёзкин
«Вывод продукта на новых территориях», Елизавета Алексеенко
Лабиринт на Arduino, Вадим Ипполитов
«Хоба-хоба и в продакшн», Женя Пономарёв
«Бегущий по лезвию. Продуктовые сценарии в дизайне», Макс Карпылев
«Тестируем веб приложения», Павел Сташевский
«Открытая веб картография», Илья Таратухин
«Изоморфные js приложения с использованием catberry.js», Денис Речкунов
Олег Годовых «Страх и ненависть в Event Bus»
Распределенные приложения и Azure Service Bus
Frontend
Илья Беда «Как Erlang сделает ваши приложения реалтаймовыми»
Роман Акинфеев «Разработка RESTful API with all bells and whistles»
Александр Щепановский «Почему каждому языку нужен свой _»

Распределенное хранилище Ceph. Обзор и практические способы использования

Editor's Notes

  • #2: Новосибирск, ноябрь 2011