Castelul a fost construit la începutul secolului IX, în jurul anului 1800, în satul Păclișa, aflat la câțiva kilometri de Parcul Național Retezat.
Din puținele date păstrate despre castel, se pare că imobilul a aparţinut familiei Pogany din Aiud. Cel mai probabil, proprietari au fost Pogany György și fiul său, Pogany Károly. György a fost încă student în anii 1830 la Aiud, dar înainte de revoluţia din 1848 a devenit deja subprefectul comitatului Alba de Jos.
În anul 1847 György a fost cel care a capturat-o pe Varga Katalin, conducătoarea mișcărilor minerilor din Munții Metaliferi. În 1858 a devenit președinte a tribunalului, iar din anul 1961 a fost prefectul comitatului. Fiul său, Károly (1848-1925) s-a născut la Aiud, și-a făcut studiile de bază în orașul său natal, după care a studiat la Facultatea de Drept din Budapesta. În perioada 1875-1901 a fost de mai multe ori deputat în Parlament.
Castelul are subsol și două etaje, cu turn de colţ și cu mansardă. Este situat pe un teren de 18 hectare, în centrul unui parc amenajat în cea de a doua parte a secolului al 19-lea. Parcul este traversat de un pârâu, iar în apropierea castelului este un mic iaz de pește.
Clădirea – cu plan de construcţie de formă neregulată – a fost construită evident în mai multe etape: probabil o parte a clădirii, care fuseseră construit în secolul al 18-lea, a fost refolosită și completată la sfârșitul secolului al 19-lea, și prin această transformare și-a primit forma de astăzi.
În castel s-a născut și a locuit pictorița Margit Pogany, sursă de inspirație a lui Constantin Brâncuși pentru celebra sculptură care-i poartă numele. După 1918, castelul a intrat în proprietatea statului român, după al doilea război mondial a fost ocupat de armatele sovietice și transformat în cazarmă. După retragerea armatelor sovietice, castelul a devenit sediul unui centru de reabilitare pentru copii cu handicap.
Ultimele lucrări de renovare au avut loc în anii 1990, după care imobilul a fost restituit descendentului familiei, lui Pogány György.
Din fericire se mai păstrează câteva dintre ornamentele originale, iar una dintre intrări a rămas neschimbată.
În prezent clădirea se aflată pe lista monumentelor istorice românești, având codul: HD-II-a-A-03402.
