Jako syn pułkownika, od wczesnego dzieciństwa wiele razy zmieniał miejsce pobytu. Mieszkał m.in. w Bone, w Marsylii, w Strasburgu. Po odbyciu służby wojskowej przeniósł się do Paryża, gdzie zarabiał pracując dorywczo tu i tam. Tutaj też dostał swoje pierwsze role w krótkometrażówkach.
Sława przyszła do niego wraz z pojawieniem się w dwóch filmach
Claude'a Chabrola -
"Piękny Serge" i "
Kuzyni". Potem Brialy zaczął współpracę z
Godardem,
Truffautem i
Rohmerem. W 1971 zrealizował pierwszy własny film
Eglantine, gdzie przywołuje wspomnienia z dzieciństwa. Od tego czasu stał się nieuleczalnym pracoholikiem - kręcił kilka filmów rocznie i godzinami przesiadywał w teatrze.