czterokrotnie żonaty: 1. Brenda Davison (od 1952, rozwód); 2. Shirley Pearce (1955 - 1962, rozwód), 2 synów: Sebastian (ur. 1956) i Jasper Alexander Thirlby (ur. 12.12.1959); 3. Caroline Herbert (1963 - 1996, rozwód), 3 dzieci: córka Henrietta Sophia (ur. 1965) i 2 synów: Tom i Edmund; 4. Vicki Davis (od 2000 do jego śmierci)