Caan vystudoval herectví v New Yorku a poprvé se na plátně objevil v roce 1963 ve filmu Sladká Irma. Později si zahrál i ve filmu Lidé deště, přičemž režisér Coppola si jej na základě tohoto snímku vybral i do Kmotra. Po úspěšné roli se objevil také v trhácích Zloděj, Příliš vzdálený most či Misery nechce zemřít, který byla natočena podle knihy Stephena Kinga.
