Кластер БГУИР: расширенные возможности

Editor's Notes

• #2: В данной презентации я хочу подвести не только некоторые итоги работы лаборатории от ее создания до текущего момента, но и вызвать заинтересованность присутствующих здесь коллег к более активному использованию вычислительного кластера в реализации ваших проектов. – первый год: изучение архитектуры и технологий, встречи с представителями организаций, которых могли заинтересовать наши возможности, выяснение и представлений об использовании кластера, и требующихся для этого решений. – второй год: первая половина – изучение технологий BigData и способов использования в предиктивной аналитике; : вторая половина – переустановка ПО и внедрение новых возможностей.
• #3: Общий вид кластера. По моему субъективному мнению – психологически возможный пункт разочарования потенциально заинтересованных организаций, если их предварительно не подготовить к тому что он не является большим и содержит всего 7 вычислительных модулей (зато каких!). Чаще всего косятся на серверную стойку в надежде услышать, что это тоже часть кластера. Это чисто психологический момент, т.к. у многих небезосновательно сформирован стереотип, что кластер, а тем более суперкомпьютер должен стоять в огромных шкафах на площадях уходящих за горизонт. Поэтому, прежде чем вести кого-либо в кластерную, стоит предварительно предупредить, что на вид это более чем скромная тумбочка.
• #4: Здесь отдельно стоит отметить отсутствие жестких дисков на вычислительных узлах, что с точки зрения HPC архитектуры не является проблемой, т.к. обычно количество данных не существенно и передача по сети вполне приемлема тем более что...
• #5: Платформа содержит контроллер Infiniband 40Gbit, при использовании протокола IPv4 (т.н. IPoverIB) скорость снижается до 10Gbit. В прочем, как показали тесты на алгоритме K-means параллельный доступ к данным на ЖД по сети гораздо эффективнее вычитывания данных узлом содержащим ЖД с последующей рассылкой.
• #7: На каждом узле содержится 2 карты: итого 14 карт Tesla 14 x 448 x 32 => 200704 и это параллельно выполняющихся потоков, не считая возможностей псевдопараллельного выполнения каждой картой до 65535 потоков!
• #8: Первое блюдо (в частности суп) – по некоторым соображениям является очень полезным составляющим обеда. В нашем контексте полезность заключается в максимальной утилизации имеющихся ресурсов.
• #9: Первое блюдо (в частности суп) – по некоторым соображениям является очень полезным составляющим обеда. В нашем контексте полезность заключается в максимальной утилизации имеющихся ресурсов.
• #10: Основной момент на который стоит обратить внимание – это изменение ОС на всем кластере, т. к. многие производители специализированного ПО создают свои продукты ориентируясь на ограниченное количество основных дистрибутивов в число которых AltLinux не входит. А OpenSUSE является бесплатной версией SLES. Перечислить назначение каждого продукта
• #14: На протяжении более года на кластере периодически выполняются расчеты научными коллективами кафедры «Микро-нано элетроники» по исследованию молекулярных структур. Так же аспиранты Татура М.М. используют разработанную ими имитационную модель в качестве вычислительного ядра для интеллектуальной системы ОСТИС кафедры ИИТ. На кафедре Физики выполняются расчеты по моделированию гравитационных волн, однако пока не удалось добиться стабильной работы вычисляющего модуля системы Mathematica В 2014г. Проходила встреча с одним из участников проекта LIGO, в надежде задействовать кластер в поиске гравитационных волн, анализируя данные с детекторов
• #15: Можно принять участие …. Трудоемкость написания софта!!!!
• #16: Второе – как например жареная картошечка с котлетой – вещь не самая полезная, но без нее тоже как-то не то. Так и в ситуации с кластером. Руководству очень хотелось чего-то “облачного” в частности вычислений, и я не вполне уверен, что конкретно их интересовало, и было-ли осознание – для чего. Хотя по сути то что было описано в предыдущем пункте меню соответствует облачному понятию Программное обеспечение как услуга (SaaS, англ. Software-as-a-Service), тем не менее мною было принято решение расшририть доступные возможности. Поэтому имеется инфраструктура IaaS и PaaS.
• #17: Инфраструктура как услуга (IaaS, англ. Infrastructure-as-a-Service) предоставляется как возможность использования облачной инфраструктуры для самостоятельного управления ресурсами обработки, хранения, сетями и другими фундаментальными вычислительными ресурсами, например, потребитель может устанавливать и запускать произвольное программное обеспечение, которое может включать в себя операционные системы, платформенное и прикладное программное обеспечение. Платформа как услуга (PaaS, англ. Platform-as-a-Service) — модель, когда потребителю предоставляется возможность использования облачной инфраструктуры для размещения базового программного обеспечения для последующего размещения на нём новых или существующих приложений Amazon e2, Microsoft Azure, ElasticHosts...
• #18: GlusterFS для пространства хранения образов, метаданных, дисков сущностей...
• #19: Доступ к IaaS сервису осуществляется через веб интерфейс, где ползователь может настраивать параметы инфраструктуры в заданных администратором пределах. Так же можно получить доступ к рабочему столу машины или командной строке. Доступ к PaaS посредством удаленного дотупа по ssh(и т.п) или RemoteDesktop/TeamVewer
• #20: Ну и десерт – в данном случае – это тортик. Вещь приятная на вкус и цвет. Тут стоит поговорить подробнее... И начать, как и в большинстве тортиков с яйца, как главного компонента.
• #21: В 2011 году Yahoo выделила подразделение, занимавшееся разработкой и использованием Hadoop, в самостоятельную компанию — Hortonworks. Какраз дистрибутив от Hortonworks и установлен на нашем кластере. На слайде представлен веб интерфейс администратора сервиса Ambari, с помощью которого легко настраивать и переносить сервисы на различные машины, отслеживать состояния всей инфраструктуры кластера и отдельных узлов. Слева список установленных сервисов. О некоторых из них чуть подробнее...
• #22: Первый и во многом основополагающий элемент кластера BigData – это файловая система. Принципиальное отличие HPC от BigData кластеров состоит в том, что в последнем случае часто время на доступ к данным сопоставимо со временем обработки. Поэтому такие кластеры строятся по принципу максимально близкого хранения данных к узлам обработчикам... Максимальная децентрализация хранения данных необходима также для масштабирования кластеров до масштабов континентов и в целом планеты, а так же восстановления при сбоях оборудования. Поэтому, основываясь на концепции GoogleFS, была создана HDFS (Hadoop Distributed File System) — файловая система, предназначенная для хранения файлов больших размеров, поблочно распределённых между узлами вычислительного кластера. Все блоки в HDFS (кроме последнего блока файла) имеют одинаковый размер, и каждый блок может быть размещён на нескольких узлах, размер блока и коэффициент репликации (количество узлов, на которых должен быть размещён каждый блок) определяются в настройках на уровне файла. Благодаря репликации обеспечивается устойчивость распределённой системы к отказам отдельных узлов. Файлы в HDFS могут быть записаны лишь однажды (модификация не поддерживается), а запись в файл в одно время может вести только один процесс. Организация файлов в пространстве имён — традиционная иерархическая: есть корневой каталог, поддерживается вложение каталогов, в одном каталоге могут располагаться и файлы, и другие каталоги.
• #23: HDFS является неотъемлемой частью проекта, однако, Hadoop поддерживает работу и с другими распределёнными файловыми системами без использования HDFS, поддержка Amazon S3 и CloudStore[en] реализована в основном дистрибутиве. С другой стороны, HDFS может использоваться не только для запуска MapReduce-заданий, но и как распределённая файловая система общего назначения, в частности, поверх неё реализована распределённая NoSQL-СУБД HBase, в её среде работает масштабируемая система машинного обучения Apache Mahout. Схема организации HDFS и вцелом кластера Hadoop, для нашего бездискового кластера представлена на слайде... - Административный сервер, и сервер сервисов; - GlusterFS и объединение фс; - точки монтирования; - HDFS поверх точек монтирования; - Ethernet и Infiniband.
• #25: YARN (англ. Yet Another Resource Negotiator — «ещё один ресурсный посредник») — модуль, появившийся с версией 2.0 (2013), отвечающий за управление ресурсами кластеров и планирование заданий. Если в предыдущих выпусках эта функция была интегрирована в модуль MapReduce, где была реализована единым компонентом (JobTracker), то в YARN функционирует логически самостоятельный демон — планировщик ресурсов (ResourceManager), абстрагирующий все вычислительные ресурсы кластера и управляющий их предоставлением приложениям распределённой обработки. Работать под управлением YARN могут как MapReduce-программы, так и любые другие распределённые приложения, поддерживающие соответствующие программные интерфейсы; YARN обеспечивает возможность параллельного выполнения нескольких различных задач в рамках кластера и их изоляцию. YARN может быть рассмотрен как кластерная операционная система в том смысле, что ведает интерфейсом между аппаратными ресурсами кластера и широким классом приложений, использующих его мощности для выполнения вычислительной обработки.
• #26: Apache Hive – это инфраструктура хранения данных построенная поверх Hadoop (т. е. HDFS+MapReduce) для предоставления возможностей сбора, выборки и анализа информации. Вначале разрабатывался Facebook, теперь же количество участвующих компаний возросло. Среди них Netflix, Amazon, которая внедрила его в свой сервис Amazon Elastic MapReduce на Amazon Web Services. Предоставляет SQL-подобный интерфейс доступа к данным хранящимся на HDFS называемый HiveQL, прозрачно преобразует запросы в задачи MapReduce или некоторые другие варианты. Метаданные при этом хранятся в отдельной базе. Поддерживает Bitmap index данных.
• #27: Pig – платформа высокого уровня, для создания задач MapReduce в кластере Hadoop. Разработан в Yahoo 2006г. Использует сткриптовый язык под названием Pig Latin, который позволяет абстрагироваться от Java MapReduce используя синтаксис похожий на SQL. Функционал может быть расширен путем вызова пользовательских функций на Java, Python, JavaScript, Ruby or Groov. Поддерживает: Ленивые вычисления; extract, transform, load (ETL) – извлечение, преобразование, загрузка; сохранение данных на любом этапе конвейера обработки; План выполнения запроса; выполнять обработку в виде направленного ациклического графа.
• #28: Проект Mahout призван удовлетворить требования разработчиков и дата сайнтистов в выполнении над БигДата машинного обучения. Обработка основывается на парадигме MapReduce, хотя поддерживают и другие мдели. Mahout: Распределенная Basic Linear Algebra; Анализ подобия; Collaborative filtering – система рекомендации с учетом поведенческой модели пользователя; снижение размерности; Frequent itemset mining – ассоциативный поиск.
• #29: Giraph предназначен для обработки графов используя парадигму MapReduce. Giraph: Facebook использовал G с некоторыми оптимизациями для анализа триллиона ребер используя 200 машин за 4 минуты
• #30: HBase — NoSQL распределённая база данных с открытым исходным кодом; написана на Java; является аналогом Google BigTable. Работает поверх распределенной файловой системы HDFS и обеспечивает BigTable-подобные возможности для Hadoop, то есть обеспечивает отказоустойчивый способ хранения больших объёмов разреженных данных. Facebook использует её для своей платформы сообщений. Позволяет выполнять компрессию данных, Выполняет операции в памяти, поддержка Фильтра Блума, Репликация данных, Атомарность и строгая консистентность операций, близкий к реалтайм поиск CAP – consistency, availability, partition tolerance
• #31: Apache Kafka — распределённый программный брокер сообщений. Изначально разработан компанией LinkedIn спроектирован изначально как распределённая система, которую легко масштабировать, поддерживает репликацию данных в кластере. поддерживает высокую пропускную способность как со стороны источников, так и для систем-подписчиков, поддерживает объединение подписчиков в группы, обеспечивает возможность временного хранения данных для последующей пакетной обработки.
• #32: Apache Storm – распределенная real-time система обработки больших объемов «быстрых» данных. Разрабатывался изначально Twitter Можно охарактеризовать как преимущественно MISD архитектуру, т. е. Конвейерный обработчик большого потока данных. Fast – обработка одного миллиона 100 байтных сообщений в сек. В бенчмарк-тестах Scalable – масштабирование обработки в пределах кластера Fault-tolerant – автоматический перезапуск упавших обработчиков, в т.ч. перенос на другой узел Reliable – гарантирует, что каждый юнит данных будет обработан однажды или всего один раз. Easy to operate – прост в настройке и использовании
• #34: Программный каркас с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop. В отличие от классического обработчика из ядра Hadoop, реализующего двухуровневую концепцию MapReduce с дисковым хранилищем, использует специализированные примитивы для рекурентной обработки в оперативной памяти, благодаря чему позволяет получать значительный выигрыш в скорости работы для некоторых классов задач, в частности, возможность многократного доступа к загруженным в память пользовательским данным делает библиотеку привлекательной для алгоритмов машинного обучения. Выполнение программ до 100 раз быстрее чем в Hadoop MapReduce в памяти или до 10 раз с использованием диска
• #35: Поддерживаются Java, Scala, Python, R. Реализуются более 80 высокоуровневых операций, среди которых так же нашли све мето Map и Reduce, для создания параллельных приложений. Очень удобно выполнять обрабоку интерактивно из интерактивных коммандных оболочек языков Scala, Python или R.
• #36: Расширяется стеком библиотек включая SQL and DataFrames, MLlib for machine learning, GraphX, and Spark Streaming. Позволяет комбинировать эти библиотеки в одном приложении. Про Spark Streaming стоит добавить, что как и Storm, можно реализовывать MISD приложения, однако более эффективен для SIMD
• #37: Программный каркас с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop. В отличие от классического обработчика из ядра Hadoop, реализующего двухуровневую концепцию MapReduce с дисковым хранилищем, использует специализированные примитивы для рекурентной обработки в оперативной памяти, благодаря чему позволяет получать значительный выигрыш в скорости работы для некоторых классов задач, в частности, возможность многократного доступа к загруженным в память пользовательским данным делает библиотеку привлекательной для алгоритмов машинного обучения. Выполнение программ до 100 раз быстрее чем в Hadoop MapReduce в памяти или до 10 раз с использованием диска
• #39: Z – Броузерное приложение позволяющее в виде небольших записных книжек интерактивно выполнять анализ и визуализацию данных используя производительность подсистем Hadoop и Spark. Множество готовых записных книжек содержат примеры применения. Поддерживается написание скриптов подготовки, обработки и визуализации данных на Scala, Hive, SparkSQL, Linux Shell, iPython. Соответсвенно и поддержка множества источников данных от локальных файлов на диске, HDFS, NFS до облачных хранилищ S3, Twitter и т.д.
• #42: Это не самый полный список ПО и систем так или иначе реализующих BD. Это значит что данная тема вызывает все больший интерес у корпоративных потребителей. Хотя они часто не очень ориентируются в их необходимости и примененние, но это «модно, стильно, молодежно» Есть еще один слайд во многом характеризующий картину
• #43: Эта тема вызывает много энтузиазма Дан Эрейли СберБанк России HP
• #44: “Кого уж нет, а те далече”. Это о наших сотрудниках. Вполне естественно, когда с уходящим сотрудником уходит и его опыт. Я же предлагаю собирать опыт. Ведь одно из применений BigData – это накопление и использование опыта. Под этим я имею ввиду опытные данные дипломных проектов, диссертаций, научных проектов и и т.д. В том числе и какие-то промежуточные данные, как например выделенные из сырых данных признаки, по которым потом идет аналитика. Ведь не редка ситуация когда у студента стоит задача анализа, а он вынужден заниматься изобретением велосипеда, вычлиняя отдельные признаки. Тут есть еще один аспект: возможность давать задания по расширению или уточнению наменклатуры признаков, или получение похожих или лучших результатов в стравнении с существующими опциями. Это ведь общемировая университетская практи – создание своих баз данных, которые потом хорошо продаются.