Downloaded 16 times
Uploaded byAlexey Lesovsky
Call of Postgres: Advanced Operations (part 2)
Документ содержит инструкции по продвинутым операциям в PostgreSQL и настройке Linux, включая применение различных инструментов и команд для управления RAID-контроллерами, виртуальной памятью и производительностью системы. Основное внимание уделяется проблемам, связанным с ресурсами, а также методам их диагностики и устранения. Включены практические советы по настройке параметров системы и инструментов для мониторинга производительности.
Call of Postgres: Advanced Operations (part 2)
- 1. Call of Postgres: AdvancedOperations Alexey Lesovsky lesovsky@gmail.com
- 2.
- 3. План02 dataegret.com Отработка навыков настройкиLinux. Отработка навыков troubleshooting в Linux.
- 4. Отработка навыков настройки02 dataegret.com НастройкаRAID контроллера. Настройка переменных sysctl. Виртуальная память, NUMA, Huge Pages Transparent Huge Pages. Планировщики ввода-вывода. Файловые системы. Энергосбережение.
- 5. Настройка RAID контроллера02 dataegret.com MegaCli(StorCli): ● Проверка конфигурации контроллера, томов, дисков. ● Настройка логических томов. ● Журнал событий.
- 6. Настройка RAID контроллера02 dataegret.com Проверкаконфигурации контроллера, томов, дисков. # megacli adpallinfo aall # megacli ldinfo lall aall # megacli pdlist aall # megacli adpbbucmd aall
- 7. Настройка RAID контроллера02 dataegret.com Настройкалогических томов. # megacli ldsetprop wt l0 a0 -- set Writethrough # megacli ldsetprop direct l0 a0 -- set Direct # megacli ldsetprop nora l0 a0 -- set No ReadAhead
- 8. Настройка RAID контроллера02 dataegret.com Журналсобытий. # megacli adpeventlog getevents severity -f filename a0 ● severity: info, warning, critical, fatal
- 9. Sysctl переменные02 dataegret.com Планировщик процессов: #vi /etc/sysctl.conf kernel.sched_autogroup_enabled = 0 kernel.sched_migration_cost_ns = 5000000 # sysctl -p
- 10. Sysctl переменные02 dataegret.com Виртуальная память: #vi /etc/sysctl.conf vm.dirty_background_bytes = 128000000 vm.dirty_bytes = 512000000 # sysctl -p
- 11. Sysctl переменные02 dataegret.com Виртуальная памятьи Out-of-memory: # vi /etc/sysctl.conf vm.swappiness = 1 vm.min_free_kbytes = 1000000 vm.overcommit_memory = 0 # sysctl -p
- 12. Sysctl переменные02 dataegret.com Виртуальная памятьи NUMA: # vi /etc/sysctl.conf vm.zone_reclaim_mode = 0 kernel.numa_balancing = 0 # sysctl -p
- 13. Sysctl переменные02 dataegret.com Виртуальная памятьи Huge Pages: # vi /etc/sysctl.conf vm.nr_hugepages = 32000 # 64GB vm.nr_overcommit_hugepages = 1000 # +2GB # echo 3 > /proc/sys/vm/drop_caches # sysctl -p # grep ^Huge /proc/meminfo
- 14. NUMA02 dataegret.com # numastat # numactl--hardware # numactl --interleave program # cat /proc/pid/numa_maps
- 15. Transparent Huge Pages02 dataegret.com #uname -a # echo never > /sys/kernel/mm/transparent_hugepage/enabled # echo never > /sys/kernel/mm/transparent_hugepage/defrag # vi /etc/rc.local
- 16. Планировщики ввода-вывода02 dataegret.com На лету: #echo noop > /sys/block/<device>/queue/scheduler На постоянно, способ №1: # vi /etc/rc.local На постоянно, способ №2: # vi /etc/default/grub GRUB_CMDLINE_LINUX="… elevator=noop" # update-grub
- 17. Механизм BLK-MQ02 dataegret.com # vi/etc/default/grub GRUB_CMDLINE_LINUX="… scsi_mod.use_blk_mq=1" # update-grub # reboot # cat /sys/block/sd*/queue/scheduler (none)
- 18. Файловые системы02 dataegret.com На лету: #mount -o remount,nobarrier /db На постоянно: # vi /etc/fstab LABEL=pgdb /db ext4 nobarrier 0 2 # mount -o remount,nobarrier /db
- 19. Энергосбережение02 dataegret.com Какой режим включен? #lscpu |grep MHz # cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor Поменять на лету: # for i in $(ls -1 /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor); do echo performance > $i; done На постоянно: # update-rc.d ondemand disable – Ubuntu # cpupower frequency-set -g performance – CentOS
- 20. Troubleshooting Linux02 dataegret.com Постановка задачи: ● Определениепроблемного ресурса. План: ● Выявление нагрузки на CPU. ● Выявление нагрузки на Storage. ● Выявление нагрузки на Network.
- 21. Troubleshooting Linux02 dataegret.com # gitclone https://github.com/lesovsky/ConferenceStuff # cd ConferenceStuff/2017.pgday/scripts # ./01-generate-test-data.sh
- 22. Troubleshooting Linux02 dataegret.com # scripts/02-generate-cpu-load.sh #top ● Load average. ● CPU Usage: us, sy, ni, id, wa, hi, si, st.
- 23. Troubleshooting Linux02 dataegret.com А какиееще есть тулзы? ● htop, atop, pidstat, tiptop, ... ● /proc/stat интерфейс.
- 24. Troubleshooting Linux02 dataegret.com # scripts/03-generate-io-load.sh #top ● CPU Usage: wa. # iostat -m -x 1 ● IOPSes, throughput, latencies, utilization. # iotop -Poa ● Disk read/write, swap, io%. # cat /proc/diskstats
- 25. Troubleshooting Linux02 dataegret.com # scripts/04-generate-network-load.sh #nicstat -m -x 1 ● Throughput, errors, utilization. # netstat -s # ss # cat /proc/net/dev
- 26. Troubleshooting Linux02 dataegret.com Проблемы спамятью? ● numastat. ● Intel Memory Latency Checker. ● dmesg.
- 27. Troubleshooting Linux02 dataegret.com Аппаратные проблемы: ● Chassis?– ipmitool. ● CPU? – mcelog. ● Memory? – EDAC модули, mcelog. ● Storage? – утилиты RAID-контроллеров, smartmontools, mcelog. ● Network? – ethtool.
- 28. Troubleshooting Linux02 dataegret.com Аппаратные проблемы: ● Chassis?– ipmitool. ● # ipmitool sel elist ● CPU? – mcelog. ● Memory? – EDAC модули, mcelog. ● Storage? – утилиты RAID-контроллеров, smartmontools, mcelog. ● Network? – ethtool.
- 29. Troubleshooting Linux02 dataegret.com Аппаратные проблемы: ● Chassis?– ipmitool. ● CPU? – mcelog. ● # mcelog --client ● Memory? – EDAC модули, mcelog. ● Storage? – утилиты RAID-контроллеров, smartmontools, mcelog. ● Network? – ethtool.
- 30. Troubleshooting Linux02 dataegret.com Аппаратные проблемы: ● Chassis?– ipmitool. ● CPU? – mcelog. ● Memory? – EDAC модули, mcelog. ● # cat /sys/devices/system/edac/mc/mc*/*_count ● Storage? – утилиты RAID-контроллеров, smartmontools, mcelog. ● Network? – ethtool.
- 31. Troubleshooting Linux02 dataegret.com Аппаратные проблемы: ● Chassis?– ipmitool. ● CPU? – mcelog. ● Memory? – EDAC модули, mcelog. ● Storage? – утилиты RAID-контроллеров, smartmontools, mcelog. ● # megacli, storcli, arcconf, tw_cli, hpacucli, etc... ● Network? – ethtool.
- 32. Troubleshooting Linux02 dataegret.com Аппаратные проблемы: ● Chassis?– ipmitool. ● CPU? – mcelog. ● Memory? – EDAC модули, mcelog. ● Storage? – утилиты RAID-контроллеров, smartmontools, mcelog. ● Network? – ethtool. ● # ethtool -S eth0 |grep err
- 33.
- 34.