Performance

Недавно столкнулся с парадоксом: новые ноды с топовыми процессорами работали медленнее старых. Latency прыгал, поды реагировали с задержками, а CPU вроде бы простаивал. Виновник оказался неожиданным - энергосберегающие режимы процессора (C-states). Расскажу, как мы это выяснили и починили. Что такое C-states? C-states (CPU states) - это режимы энергосбережения процессора. Чем выше номер C-state, тем глубже “сон” процессора: C0 - активная работа C1 - легкий сон (clock gating) C2 - глубже, отключаются части кэша C3 - еще глубже, flush L3 кэша C6/C7 - почти полное отключение ядра Проблема: выход из глубокого сна занимает время. Для C6 это может быть 100+ микросекунд. ...

Звонок в 9 утра: “Прод тормозит так, будто работает на картошке!” Симптомы: Nginx отвечает по 5-10 секунд SSH коннект устанавливается минуту Load Average зашкаливает при минимальной нагрузке Первые подозреваемые: DDoS? - Нет, трафик обычный Память забита? - Свободно 80% Диск умирает? - iostat в норме Сеть? - ping до соседних серверов 0.2ms Копаем глубже: cat /proc/cpuinfo | grep "cpu MHz" # cpu MHz : 200.000 # cpu MHz : 200.000 ЧЕГО?! 😱 Процессор работает на 200 MHz вместо 3200! Проверяем режим работы CPU: ...