Как не хранить секреты где придётся, или зачем нам Hashicorp Vault

Я не понимаю, как ваши слова противоречат статье и паттерну использования Vault.
Vault не запрещает гибко управлять доступами к секретам. Общность секретов — только в расположении secret/infra/whatever.
Вы можете и должны делать токены для доступа только к тем секретам, которые необходимы и достаточны для выполнения работ.
Например у вас есть сервис, который использует все секреты из secret/service_name и только jenkins_api_token из инфраструктурных секретов.

Вы можете сделать политику

path "secret/service_name/*" {  
  policy = "read"  
}

path "secret/infra/jenkins/api_token" {  
  policy = "read"  
}

И выдать токен, ограниченный только теми доступами, которые вам нужны.

Так эти хранилища решают другие проблемы:
Аудит
Настраиваемая гибкость доступа к секретам
Обслуживание жизненного цикла секретов и доступов
Безопасность — это вообще сложная тема, тут нет серебряных пуль, которые сделают вашу систему безопасной. Только работа с рисками, только хардкор :)

Можно построить, только без веб-gui.

Так мы не от админа с рут-доступом защищаемся. Мы защищаемся от некоего злоумышленника, который мог получить доступ к хранилищу.