czterokrotnie żonaty: 1. Rosemarie Fendel (1955 - 1962, rozwód), córka Suzanne (ur. 23.09.1957); 2. Alwy Becker (rozwód), córka Cosima (ur. 20.07.1966); 3. Heide Keller (rozwód); 4. Karin Dittmann (od 1997 do jego śmierci)
Ojciec aktorek <a href=http://www.filmweb.pl/o5677/Suzanne+von+Borsody>Suzanne von Borsody</a> i <a href=http://www.filmweb.pl/o676438/Cosima+von+Borsody>Cosimy von Borsody</a>.