Download as PDF, PPTX
![Поиск и определение04 dataegret.com postgresql.log: ● Второе место куда следует заглянуть, если что-то пошло не так; ● Никакая детализация по-умолчанию. ● log_line_prefix = '%m %p %u@%d from %h [vxid:%v txid:%x] [%i] '](https://image.slidesharecdn.com/copao-p4-43-170706184903/75/Call-of-Postgres-Advanced-Operations-part-4-31-2048.jpg)
Uploaded byAlexey Lesovsky
Call of Postgres: Advanced Operations (part 4)
Документ описывает инструменты и методы для устранения проблем в PostgreSQL, включая сторонние, встроенные и самодельные решения, которые в основном основаны на встроенной статистике. Он также исследует типы проблем, такие как неэффективное выполнение запросов и ошибки, а также методы для определения узких мест и анализа производительности. В заключение подчеркивается важность понимания встроенной статистики для эффективного использования доступных инструментов.
Call of Postgres: Advanced Operations (part 4)
- 1. Call of Postgres: AdvancedOperations Alexey Lesovsky lesovsky@gmail.com
- 2.
- 3. План04 dataegret.com Какие есть инструменты. Обнаружениепроблем. Исследование проблем.
- 4.
- 5. Инструменты04 dataegret.com Инструменты бывают: ● Сторонние. ● Встроенные. ● Самодельные. Большая частьоснована на встроенной статистике.
- 6. Инструменты04 dataegret.com Сторонние инструменты: ● Консольные. ● Web. ● Плагины длясистем мониторинга. ● https://wiki.postgresql.org/wiki/Monitoring
- 7. Инструменты04 dataegret.com Встроенные инструменты: ● Системные функциии представления. ● Contrib-модули. ● Утилиты в комплекте (pgbench, pg_waldump, pg_test_fsync, etc.)
- 8. Инструменты04 dataegret.com Самодельные инструменты: ● Запросы ксистемным функциями и представлениям. ● Ad-hoc скрипты на shell/perl/python/… ● Системы управления конфигурациями.
- 9. Статистика04 dataegret.com Как правило, всёосновано на встроенной статистике: ● pg_stat_database, pg_stat_database_conflicts; ● pg_stat_replication, pg_stat_subscription, pg_replication_slots; ● pg_stat_user_tables, pg_stat_user_indexes; ● pg_statio_user_tables, pg_statio_user_indexes; ● pg_stat_activity, pg_locks; ● pg_stat_bgwriter, pg_stat_archiver, pg_stat_progress_vacuum; ● pg_stat_statements, pg_buffercache, pg_stat_kcache. ● …
- 10.
- 11. Статистика04 dataegret.com pg_stat_database, pg_stat_database_conflicts: ● Операции commit/rollback,read/insert/update/delete; ● Чтение из кэша/диска; ● deadlock'и, временные файлы, конфликты при восстановлении.
- 12. Статистика04 dataegret.com pg_stat_replication, pg_stat_subscription, pg_replication_slots: ● Статусstandby-узлов, слотов репликации; ● Лаг репликации; ● Возраст запросов на standby-узлах.
- 13. Статистика04 dataegret.com pg_stat_user_tables, pg_stat_user_indexes, pg_statio_user_tables, pg_statio_user_indexes: ● Количествоопераций доступа к таблице/индексу; ● Количество IUD операций по таблицам; ● Количество операций vacuum/analyze над таблицей; ● Количество IO операций над таблицей/индексом.
- 14. Статистика04 dataegret.com pg_stat_activity, pg_locks; ● Текущая клиентскаяактивность; ● Вредная активность (idle/long transactions, waitings); ● Информация о блокировках.
- 15. Статистика04 dataegret.com pg_stat_bgwriter, pg_stat_archiver, pg_stat_progress_vacuum: ● Checkpointer,Bgwriter, WAL Archiver; ● Статус (auto)vacuum операций.
- 16. Статистика04 dataegret.com pg_stat_statements, pg_buffercache, pg_stat_kcache: ● Информацияо выполненных запросах; ● Лайтовое профилирование shared buffers; ● Сколько «потрачено» на выполнении запросов.
- 17.
- 18.
- 19. Типы проблем04 dataegret.com Использование ресурсов: ● Неоптимальноевыполнение запросов.
- 20. Типы проблем04 dataegret.com Использование ресурсов: ● Неоптимальноевыполнение запросов. ● Нагрузка от фоновых процессов.
- 21. Типы проблем04 dataegret.com Использование ресурсов: ● Неоптимальноевыполнение запросов. ● Нагрузка от фоновых процессов. ● Накопившиеся проблемы.
- 22. Типы проблем04 dataegret.com Использование ресурсов: ● Неоптимальноевыполнение запросов. ● Нагрузка от фоновых процессов. ● Накопившиеся проблемы. ● Потенциально опасные ситуации «здесь и сейчас».
- 23.
- 24.
- 25.
- 26. Поиск и определение04 dataegret.com Определениеузкого места: ● Список процессов (бэкенды vs. фоновые процессы); ● Отчеты по запросам; ● Отчеты по фоновым процессам; ● Периодические отчеты; ● postgresql.log; ● Профилирование на коленке; ● Профилирование (perf, systemtap, gdb, coredump, etc.).
- 27. Поиск и определение04 dataegret.com Списокпроцессов: ● Только если вы хорошо знаете свой ворклоад; ● pg_stat_activity; ● pg_stat_statements; ● pg_stat_functions.
- 28. Поиск и определение04 dataegret.com Отчетыпо запросам: ● log_min_duration_statements + postgres log; ● pg_stat_statements, pg_stat_kcache; ● Log analyzers. ● EXPLAIN
- 29. Поиск и определение04 dataegret.com Отчетыпо фоновым процессам: ● pg_stat_bgwriter; ● Autovacuum – postgres log, pg_stat_activity, pg_stat_progress_vacuum.
- 30. Поиск и определение04 dataegret.com Периодическиеотчеты: ● Отчеты об ошибках; ● Неиспользуемые индексы; ● Изменение размеров таблиц и индексов; ● Bloat; ● ...
- 31. Поиск и определение04 dataegret.com postgresql.log: ● Второеместо куда следует заглянуть, если что-то пошло не так; ● Никакая детализация по-умолчанию. ● log_line_prefix = '%m %p %u@%d from %h [vxid:%v txid:%x] [%i] '
- 32. Поиск и определение04 dataegret.com Профилирование: ● Есливдруг «подземный стук»; ● Strace, Perf, SystemTap, BPF, etc... ● Придется писать bug репорт в pgsql-hackers (как правило); ● Проблема не решается быстро.
- 33. Резюме04 dataegret.com Может показаться чтоинструментов много – но это не так. Все инструменты крутятся вокруг встроенной статистики. Нужно иметь представление о том что есть в статистике.
- 34.