Fils d'un conseiller militaire, Friedrich Rudolf Klein-Rogge voit le jour à Cologne, ville de l'Empire Germanique. La mort de son père interrompt sa formation militaire au Corps des Cadets Prussien. Il passe alors son baccalauréat, puis il étudie l'histoire de l'art à Bonn et à Berlin et suit des cours d'art dramatique chez Hans Siebert. En 1909, il fait ses premiers pas au théâtre, dans le rôle de Cassius, dans «Jules César» de Shakespeare, au Stadttheater d'Halberstadt.

Au cours des années dix, Rudolf Klein-Rogge, acteur au physique impressionnant et à la voix puissante, s'impose comme l'un des principaux tragédiens des scènes allemandes. Les plus grands théâtres se l'arrachent. Il joue sur les scènes de Kiel, d'Aix-la-Chapelle, en passant par Düsseldorf et Nuremberg. En 1914, il épouse l'auteur Thea von Harbou. Ils divorceront sept ans plus tard. En 1918, il s'installe au Théâtre Lessing de Berlin, où pendant six ans, il accumule les triomphes dans des pièces souvent mises en scène par son ami Victor Barnowsky. Entre temps, il fait quelques apparitions au cinéma, dont une courte apparition, en meurtrier, dans «Le cabinet du Docteur Caligari» (1919) de Robert Wiene.