Även om hans namn inte stod på någon valsedel är det republikanska nederlaget i kongressvalen ett förödande bakslag för president Bush.
Missnöjet med Irakkriget dominerade valkampanjen och demokraterna lyckades framställa kongressvalen som en folkomröstning om kriget.
Det blir omöjligt för president Bush att envist hålla fast vid sin linje och ignorera att maktbalansen i USA-kongressen skiftat.
- Det amerikanska folket har tydligt sagt ifrån att vi behöver en ändring i Irak. Vi kan inte fortsätta på dagens katastrofala väg, förklarar demokraten Nancy Pelosi som nu väntas bli representanthusets nya talman.
Det är inte omedelbart klart i vilken mån den 63-årige förre CIA-chefen Robert Gates som ny försvarsminister signalerar för Bush smärtsamma omprövningar i Irak.
Men när Bush nu ändå säger att Gates behövs för att ge "nya perspektiv" på Irakkriget är det i sig en helomvändning.
Det var bara dagar sedan presidenten ståndaktigt stod upp för sin försvarsminister och försäkrade att han skulle sitta kvar under de två år som återstår för Bush i Vita huset.
Men valresultatet underströk att Rumsfeld blivit en belastning.
Med sin tjuriga arrogans och "jag vet alltid bäst"-attityd blev han en symbol för alla missgrepp i Irak och en tacksam måltavla för kritiker som anklagade honom för inkompetens och för att strunta råd från höga militära befattningshavare.
För Bush handlar det nu inte bara om att demokraterna får mer att säga till om och med kontroll över viktiga kongressutskott kan dra igång utredningar som kan bli besvärliga för Vita huset.
När Irakkriget döms ut som ett fiasko så ökar oron i de republikanska leden inför president- och kongressvalen 2008.
Redan under den nu avslutade valkampanjen gick det att se hur republikaner desperat försökte avvärja ett hotande valnederlag genom att öppet kritisera Irakkriget och kräva både en tidtabell för reträtt och Rumsfelds avgång.
Att nu bara gå vidare i Irak som om inget hänt liknar en republikansk självmordsstrategi.
Det är också uppenbart att det blivit allt svårare för president Bush att förklara USA:s uppgift i Irak för hemmaopinionen.
Det fanns inga massförstörelsevapen och idén att skapa en modell för demokrati i Mellanöstern har helt tappat trovärdighet när Irak fallit ner i ett kaos av sekteristiska strider och annat våld.
Men resultatet av kongressvalen utgör även en utmaning för demokraterna. Det duger inte längre att bara skylla allt på Bush. USA är tills vidare fast i Irak och demokraterna behöver nu samla sig kring en konstruktiv plan.
Uttalanden från ledande partiföreträdare ger inga indikationer om att kraven från partiets vänsterfalang om en omedelbar truppträtt från Irak kommer att anammas.
Inval av mer konservativa nya demokrater i kongressen pekar också mot att partiet kommer att agera i det politiska mittfältet och söka samförståndslösningar.
Men med tanke på den debatt som förts är kompromisser knappast möjliga i dagens läge utan en uppgörelse som inkluderar demokraternas krav på en tidtabell för att gradvis ta hem trupperna från Irak.
President Bush har hittills kategoriskt avvisat alla krav på en tidtabell. Och det finns gott om exempel som belyser hur Bush som politiker är högst ovillig att resonera sig fram till kompromisslösningar.
Men möjligen kan en ansiktsräddande dörr öppnas när en tvärpolitisk kommission - The Iraq Study Group - under ledning av den förre republikanske utrikesministern James Baker och demokraten Lee Hamilton inom kort lägger fram en utvärdering av Irakkriget.
Baker har gjort klart att alternativ till den nuvarande Irakkursen måste övervägas.
Det kan också vara värt att notera att en av kommissionens medlemmar är Robert Gates, just nominerad till ny försvarsminister.