Kaiserův alkoholismus se snažili všude pro jeho velký talent a popularitu dlouho tolerovat, nakonec ho postupně vyrazili ze čtyř divadel. Vystřídal také čtyři pobyty v protialkoholických léčebnách, ale až dnes po boku Dáše Vokaté se zdá, že má svůj život pod kontrolou.
Jistý čas s koštětem lidstva bojovala i jeho dcera Karolína, která se narodila v manželství s Nadí Konvalinkovou. S pitím začala podstatně dříve než její otec. Pro alkohol ji vyhodili ze školy těsně před maturitami. Po rodičích zdědila i herecké nadání. Když její otec vybavil malou roli v pohádce Řachanda, na dohodnuté natáčení nepřišla. Po protialkoholním léčení se lihovin již nedotkla a v současnosti se snaží prosadit jako herečka.