Ils sont trois : Violette, une fille de 14 ans à l'intelligence scientifique, Klaus, un garçon de 12 ans qui lit sans cesse et Prunille, une petite fille qui mord tout ce qui passe à portée de dents. Ils ont été élevés par des parents extrêmement gentils qui disparaissent dans un horrible incendie. Désormais orphelins, à la tête d'une immense fortune dont ils ne pourront jouir qu'à la majorité de Violette, les trois enfants sont placés chez divers membres de leur famille. L'homme qui les place est Mr Poe, un banquier un peu terne mais bien intentionné, exécuteur testamentaire des parents Baudelaire. Malheureusement, la richesse des enfants a attiré l'attention du cupide comte Olaf, un parent éloigné, acteur et maître du déguisement.