Alcsútdoboz község Fejér vármegyében, a Bicskei járásban. Alcsút a 12. századi össze-írásokban már nemesi faluként szerepel. Első fennmaradt okleveles említése 1365. Az 1600-as évek elejére a török teljesen elpusztította. 1825-ben az uradalom akkori tulajdonosa, József nádor kezdett
a völgybe különleges növényfajokat telepíttetni, ezzel megteremtve
a mai arborétum alapjait.
A pompás, klasszicista stílusú kastélyt József nádor építtette 1820 és 1827 között nyári rezidenciaként. Az épület első terveit Heyne Ferenc készítette, amelyeket később Pollack Mihály átdolgozott. Az alapkő letételére 1821. június 13-án került sor, és 1824-ben már el is készült a főszárny. A kastély kivitelezését Klosz Ferenc székesfehérvári építőmester vezette. A nádor pedig Fiuméből érkezve, 1827-ben költözött be új otthonába. A kastély egykori északi szárnyához épített, istállóból kialakított kápolna ma is áll, ez 1879–80-ban, Storno Ferenc tervei alapján, neoromán stílusban épült. József nádor 1847-ben bekövetkezett halálával a kert első korszaka lezárult.
A kastély fiára József Károly Lajos főhercegre szállt, aki 1867-ben költözött
a birtokra. Ő tovább csinosítgatta a kertet és a kastélyt is, több új épület született ez idő alatt. A pálmaházat 1872-ben Ybl Miklós tervei alapján építették fel. A 2. világháborúban a németek 1944 októberében József főherceg kastélyában rendezték be parancsnokságukat. Decemberben Szálasi Ferenc is járt itt egy magas rangú német katonatiszt kíséretében. A németek december 23-án délelőtt 9 óráig tartózkodtak ott. Az elvonulásuk előtti napon felrobbantották a vértesboglári úton álló hidakat. A főherceg alkalmazottai december 24-én távoztak. Délelőtt 9 és 10 óra között látták, hogy ég a kastély könyvtára és a pavilonban is tűz keletkezett.
