czterokrotnie żonaty: 1. Lola Gibbs (do 1922, rozwód); 2. Margaret Sullavan (15.11.1936 - 28.04.1948, rozwód), 3 dzieci: Brooke (ur. 05.07.1937), Bridget (ur. 1939) i William Leland (ur. 1941); 3. Nancy Gross (10.06.1949 - 1960, rozwód); 4. Pamela Harriman (od 04.05.1960 do jego śmierci)