Issu de l’un des plus anciennes familles d’aristocrates allemands, von Gersdorff est officier dans la Wehrmacht. Après avoir pris part en 1939 à la campagne de Pologne, il demande et obtient sa mutation au groupe d’armées Centre pour l’opération Barbarossa lors de l’invasion de l’URSS. Son objectif : accéder au cercle des conspirateurs qui s’était formé autour de la personne d’Henning von Tresckow pour tuer Hitler. Peu après la vaine tentative de celui-ci au moyen d’une bombe dissimulée dans son avion, il se résout à commettre un attentat-suicide contre Hitler.
Le 21 mars 1943, Hitler inaugurait une exposition à l’Arsenal de Berlin. Gersdorff, détaché comme expert de l’exposition, décide d’en profiter pour se sacrifier en faisant sauter Hitler et les autres dirigeants nazis présents (Göring, Himmler, Keitel) au moyen de deux mines qu’il gardait dans les poches de son manteau. Alors qu’il avait déjà déclenché le minuteur, Hitler visita l’exposition au pas de course et sa présence fut plus courte que prévue. Gersdorff n’avait plus d’autre choix que de désamorcer le détonateur. Contrairement à celle de Von Stauffenberg, cette tentative est restée méconnue. Pourtant, elle fut d’autant plus décisive que Gersdorff garda l’explosif et le détonateur et ce sont ceux-ci qu’utilisa Stauffenberg. N’ayant jamais été dénoncé, il put éviter l’emprisonnement et le jugement et fut ainsi l’un des rares membres de la Wehrmacht ayant activement résisté contre la dictature national-socialiste à survivre à la guerre. Après cette tentative, il partit se faire oublier sur le front de l’est où il découvrit en avril 1943 accidentellement l’horreur de Katyn, ces fosses communes de milliers d’officiers polonais exécutés par les unités soviétiques du NKVD en 1940. En 1944, il est muté en France sur le Mur de l’Atlantique et est fait prisonnier l’année suivante par les Américains.