Hacking PostgreSQL. Обзор архитектуры.
1 like•3,341 views
Документ представляет обзор архитектуры PostgreSQL и включает в себя важные аспекты, такие как клиент-серверная архитектура, работа с транзакциями, управление запросами и система хранения данных. Он также охватывает темы разработки и расширяемости, обсуждая учебные цели и ресурсы для разработчиков PostgreSQL. Кроме того, документ содержит ссылки на источники для дальнейшего изучения и практических занятий.
Hacking PostgreSQL. Обзор архитектуры.
- 2. Обо мне ● Index-only scan for GiST ● Microvacuum for GiST ● Write-optimized indexes for PostgreSQL ● B-tree INCLUDING clause ● B-tree. Compression of duplicates
- 3. Обо мне ● Index-only scan for GiST ● Microvacuum for GiST ● Write-optimized indexes for PostgreSQL ● B-tree INCLUDING clause ● B-tree. Compression of duplicates ● 2 years in PostgreSQL development
- 4. Цели курса ● Обучение сотрудников ● Обмен опытом среди разработчиков ● Создание обзора кодовой базы PostgreSQL ● Дополнение документации для разработчиков ● Дополнение списка TODO ● Создание книги о внутреннем устройстве PostgreSQL
- 5. Организационные вопросы ● Занятия 1 раз в неделю ● http://postgres-edu.blogspot.ru/ ● Практика после 2й лекции ● [email protected]
- 8. postgres (postmaster) ● контролирует запуск и остановку сервера ● создает разделяемую память ● при старте порождает служебные процессы ● слушает TCP/IP сокет (порт по умолчанию 5432) в ожидании подключений ● создает форк для каждого подключения • бакенды независимые • коннект дорогой (pgpool, pgbouncer) ● следит за падением бэкендов • при необходимости запускает процесс восстановления
- 9. Клиент-серверный протокол ● ● libpq • Библиотека на Си • Основной клиентский интерфейс • Входит в стандартную поставку постгреса ● C++, Perl, Python, Tcl and ECPG ● JDBC
- 10. Клиент-сервер
- 12. TODO ● DROP OPERATOR не учитывает зависимость oprnegate.
- 13. Подсистемы СУБД 1. Транзакционное хранилище 2. Обработка запросов 3. Обеспечение сохранности данных
- 14. Tuple
- 15. MVCC
- 16. VACUUM
- 17. 64-bit XID «File names are infinite in length where infinity is set to 255 characters.» Peter Collinson, «The Unix File System»
- 20. Методы доступа
- 21. Shared memory
- 22. Перспективы ● Расширяемость методов доступа • Размер блоков • Структура файлов ● Таблицы в памяти ● Приоритеты для avtovacuum
- 24. Parser
- 26. Planner/optimizer ● Построение всех путей выполнения запроса и выбор наилучшего ● Улучшение сбора статистики ● Машинное обучение для оценки планов ● GEQO ● Hints?
- 28. Executor ● Параллельное выполнение ● Возможность отображать прогресс выполнения ● Hooks
- 29. WAL ● Журнал опережающей записи ● pg_xlog ● checkpoint ● PITR (Point In Time Recovery) ● Репликация
- 30. Перспективы ● Обобщенный WAL для новых методов доступа ● Проверка корректности бэкапа ● Инкрементальный бэкап?
- 31. Термины ● Tuple (кортеж) — физическое представление строки таблицы ● MVCC — система контроля версионности записей в базе ● Page (страница) — единица чтения/записи на диск. 8Кб ● Relation (отношение) — объект базы данных (таблица, индекс). Странично-ориентированное хранение ● Block (блок) — 2^32 - 1 блоков на relation ● Buffer (буфер) — страница, находящаяся в данный момент в памяти ● Shared buffers — разделяемая память, кэш страниц ● Node (нода) — узел дерева разбора ● Write-ahead log - журнал опережающей записи
- 32. На следующем занятии ● как устроено сообщество PostgreSQL ● как координируется международная разработка ● какие шаги нужно пройти, чтобы ваш патч приняли ● обзор инструментов, которыми нужно уметь пользоваться разработчику PostgreSQL
- 33. www.postgrespro.ru Спасибо за внимание! Вопросы? Hacking PostgreSQL 25.02.2016
- 34. Источники ● Heikki Linnakangas. PostgreSQL System Architecture. 2014. https://youtu.be/UdlQ7bZUZ9w + http://2014.pgday.ru/files/presentations/PGDay14.Russia.PostgreSQL.architec ture.Heikki.Linnakangas.pdf ● Tom Lane. A tour of PostgreSQL Internals. 2000. http://www.postgresql.org/files/developer/tour.pdf ● Backend Flowchart. http://www.postgresql.org/developer/backend/ ● DOCS. Overview of PostgreSQL Internals. 9.5 http://www.postgresql.org/docs/9.5/static/overview.html ● Документация. Обзор внутреннего устройства PostgreSQL. 9.4. http://postgrespro.ru/doc/overview.html ● Dave Thomas. Overview of Postgres Utility Processes. 2013. http://www.slideshare.net/EnterpriseDB/overviewutilityprocesses-finalaug2220 13 ● Владимир Бородин. Базы данных: PostgreSQL. 2014. https://events.yandex.ru/lib/talks/2324/ ● Фёдор Сигаев. Архитектура , устройство и особенности PostgreSQL. 2015. ● Для любителей истории - статьи М.Стоунбрейкера. http://www.postgresql.org/docs/9.5/static/biblio.html