Schwarzenberg byl známý svými častými zpožděními a zapomnětlivostí. Jak charakterizují jeho chování jeho blízcí, byl to skutečný bohém. Narodil se 10. prosince 1937 v Praze do bohaté šlechtické rodiny Schwarzenbergů. Po komunistickém převratu v roce 1948 rodina uprchla do Rakouska, kde Karel dostal tradiční aristokratické vzdělání.
V posledním roce se Schwarzenbergovi zhoršoval zdravotní stav. Trápily ho zejména problémy se srdcem a ledvinami. Přesto však zůstal politicky aktivní až do svých posledních dnů. Jeho odchod zasáhl mnoho lidí, kteří si ho pamatovali jako charismatického a nekonvenčního politika.