Az 1808. évi 7. törvénycikk mondta ki a magyar tisztképzés megindítását, s a cél érdekében országos gyűjtés indult. Ennek az épületnek csakúgy, mint a Nemzeti Múzeumnak József nádor volt a legfőbb támogatója.

1829-ben bizottság alakult a kivitelezés kérdésének megvizsgálására, ekkorra már a nádor felkérte Pollack Mihályt a tervezésre, s ő nem sokkal ezután be is terjesztette terveit. A bécsi és bécsújhelyi katonai iskolák vezetői kapták meg Pollack terveinek gyakorlati felülvizsgálatát, és az utóbbi számos építészeti kérdéssel kapcsolatban tett megjegyzést. A nádor azonban teljes mértékben megbízott az építészben, s annak minden javaslatát elfogadta.

1830 végén már az emelet magasságában álltak a főhomlokzati szárny falai, s a hátsó szárny, valamint a kert kialakítását kezdték el. 1832-ben a főhomlokzat állványzatát lebontották, s már csak a kápolna befejezése volt hátra. A kápolna szobrászati díszével Pollack Ferenczy Istvánt szerette volna megbízni, ám a nádor másként döntött. A falképdekorációra (nemzeti hősöket ábrázoló medaillon-sorozat) Horváth Istvántól, a Széchényi Könyvtár őrétől kért javaslatot.

Az épület végül csak a kiegyezés után szolgálta eredeti célját, s ekkor végzett rajta Kauser József jelentős átalakításokat.


A Ludovíceum eredeti külseje tekintetében jórészt a korszakban készült grafikák adnak hiteles képet. A kétemeletes épület emeletmagas talapzaton áll. Oldalrizalitjai három-három tengelyesek, közöttük hét-hét tengelyes szárnyakkal. Az ablakok ritmusa és kialakítása egyenletes, a középső rizalit felett háromszögletű oromzat áll. A kertre néző homlokzat csak a középrizalit tagolásával tér el a főhomlokzattól. A nyolcszögű belső udvara az ugyancsak Pollack Mihály által tervezett szekszárdi vármegyeházáéra emlékeztet megoldásával.

A katonai akadémián a hadköteles kort még el nem ért (14-17 éves), önkéntesen jelentkező ifjak tényleges állományú tisztekké történő kiképzése történt, valamint a már katonai szolgálatot teljesítő honvédtisztek számára felsőfokú hadtudományi képzés elvégzését biztosította. Az akadémiai képzés azonban csak a millennium idejére szerveződött meg, és ekkor már az intézmény a nevezetes bécsújhelyi Theresianum Katonai Akadémiával egyenrangú oktatást nyújtott. Az intézmény a nevét Habsburg-Estei Mária Ludovika magyar királynéról, I. Ferenc király harmadik feleségéről kapta, aki koronázási díjából 50 000 forintot ajánlott fel építésére, de emellett még számos adakozás történt.