罗伯特-杜瓦尔诞生在加州的圣地亚哥，父亲是海军军官。杜瓦尔在普林斯匹亚学院主修戏剧，1953年毕业后曾参战，两年后退伍返美。返国后，杜瓦尔纽约的戏剧黉舍接管严酷的训练，并在邻居戏院演舞台剧。在那里，他与达斯汀-霍夫曼共住一间公寓。罗伯特-杜瓦尔是南北战争时期联盟军总司令罗伯特-爱德华-李的后裔，他本人是美国共和党撑持者。