De son vrai nom Jacques Narcy, Rufus est né à Riom, près de Clermont-Ferrand. Avant de s'orienter vers l'art dramatique, le jeune homme entreprend des études de médecine à Rouen, où il passera deux ans. Plus attiré par la recherche médicale que par un poste de médecin, il renonce finalement à une carrière médicale pour s'orienter vers le milieu du théâtre, et part pour Paris où il étudie à l'école de la Rue Blanche le métier de régisseur. En cours de deuxième année, il se laisse influencer par un professeur qui lui conseille plutôt de jouer la comédie devant le succès comique qu'il rencontre alors qu'il tient un tout petit rôle dans une pièce de Marivaux. Rufus débute sur scène dans un cabaret appelé L'Echelle de Jacob, puis fait la rencontre de Jacques Higelin et de Brigitte Fontaine, avec lesquels il monte un spectacle. C'est le début d'une longue carrière théâtrale qui, de one-man-shows en films, téléfilms et pièces de théâtre (il en a écrit deux, "Le Don Quichotte" et "Auguste"), développe un personnage lunaire, sorte de clown blanc un peu austère et pince-sans-rire. Le cinéma s'intéresse rapidement à sa haute silhouette, et Rufus enchaîne les seconds rôles dans à peu près tous les genres : comédie, drame, grand spectacle... Il tient néanmoins le rôle principal de Mariage, de Claude Lelouch, formant un couple avec Bulle Ogier qui va s'aimer puis se déchirer sur trois décennies.