Az 1738-ban grófi rangra emelt Schmidegg család 1736-ban szerezte meg a sárladányi uradalmat és ekkor építette fel a jelenlegi kastély előzményeként a barokk udvarházát, amely 1738-ban már állt. A birtokot és lakhelyüket 1851-ben adták el gróf Nádasdy Lipótnak (1802–1873), aki birtokai központját a Vas vármegyei Felsőlendváról Fejér vármegyébe, az 1859-től Nádasdladánynak hívott településre kívánta áthelyezni. A kis kastélytól északra ekkor már tájképi kert terült el, és létezett a későbbi konyhakert alapja, az épület főhomlokzata előtti növényágyás, a magtár, valamint a kulcsárság épületének előzménye.

A birtokszerző fia, Nádasdy Ferenc (1842–1907) és felesége, gróf Zichy Ilona (1849–1873) megbízásából dolgozó Linzbauer István tervei alapján új, historizáló, neogótikus, angol Tudor-stílusú kastély épült fel 1873 és 1876 között a korábbi barokk épület főszárnnyal történő L alakú kibővítésével. Az új főszárny földszintjén a társasági terek, emeletén családi és személyzeti szobák sorakoztak, a régi épület környékét feltöltötték, és a földszintessé alakított szárnyban a vendégek és személyzeti tagok szobáit alakították ki. Az ifjú grófnő váratlan halála miatt már nem érte meg a kastély elkészültét. Az épület legdíszesebb belső tereit, historizáló kastélyépítészetünk remekműveit, az ősök csarnokát, a könyvtárat és a kápolnát pedig Hauszmann Alajos tervezte Linzbauer halálát követően.

Sisa József kutatásai nyomán ismert, hogy Nádasdy három fő tematika köré tervezte az épület külső és belső megjelenését. A Nádasdy família ősi dicsősége volt az első. A család őseire, hőseire utaló címerek több helyen megjelentek a mozgalmas, aszimmetrikus homlokzaton, de szintén őket ábrázolták az előcsarnok szobrai és természetesen az ősök csarnokának portréi. Emellett a két további témakör a gróf ifjan elhunyt felesége tiszteletének, kultuszának, illetve a vadásztársadalom egyik legtekintélyesebb tagjaként a birtokos vadászati relikviáinak, trófeáinak és a lovak iránti rajongásának bemutatása volt.
Habár a kastély berendezése és hangulata a múltat idézte, ezzel együtt a korszak legmodernebb technikai eszközeit építették be a lakók kényelmének biztosítása érdekében.

A 19. század végére ez az épület és környezete vált a korábban jóval nagyobb létszámú Nádasdy família uradalmainak központjává, legfőbb vidéki otthonává, ipar- és képzőművészeti gyűjteményeik, illetve könyvtáruk őrzőhelyévé, kiváló ménesük elsőszámú bázisává. A II. világháborús évekig elsőként az építtető fia, Tamás (1870–1915) és családja, majd annak legidősebb fia, Ferenc (1907–1944) és hozzátartozói éltek a kastélyban.