New York, dans les années 40. Joseph Mitchell, célèbre journaliste du New Yorker, fait la rencontre de Joe Gould. Gould est un personnage bohème : diplômé de Harvard, c'est pourtant dans les rues de Greenwich Village qu'il réside. Il y travaille à l'oeuvre de sa vie, l'Histoire Orale, une retranscription de tout ce qu'il entend au hasard de ses rencontres. Sans emploi, il dépend d'amis et de dons versés aux "Fonds Joe Gould" pour survivre. La parution de l'article que Mitchell décide d'écrire sur lui pour le New Yorker apporte une certaine notoriété à Gould, compliquant ainsi leur relation. Désormais Mitchell devra porter sur ses épaules le secret de Joe Gould.