Nachádza sa tu najsevernejšie položený empírový kaštieľ v Európe. Bol postavený ako renesančný v prvej polovici 16. storočia. Je úzko spätý s históriou šľachtického rodu Abaffy, obcou Horná Lehota, Oravským hradom a Oravskou stolicou. Abaffyovcom patril do roku 1922. Po roku 1945 bol pomerne zničený. V rokoch 1991-93 bol kaštieľ rekonštruovaný a ponúka služby ako exkluzívny motel a ubytovaním a stravovaním. Tvorí ho dvojpodlažná budova s výraznými nárožnými arkiermi a šindľovou strechou. Zachovali sa na ňom aj zvyšky renesančných kamenných detailov.