Áno, mohol sa (vystavať do svojej...), ale sa nevystaval. Teda vystaval, ale nie tak celkom. Stredoveký hrad Červený kameň vyzeral (pravdepodobne) úplne inak ako ten terajší. Z pôvodného objektu sa vraj nezachovala žiadna vizualizácia okrem jedinej kresby bratislavského maliara Johanna Tiergartnera, ktorá sa údajne stratila cestou do Augsburgu. Historici len predpokladajú, že hrad mal asi (ako ostatné vtedajšie hrady) nejakú kamennú obytnú vežu, palác a nejaké hosp. budovy (zrejme drevené). A samozrejme opevnenie. Dokonca, vďaka úžasnej práci Juraja Žudela predpokladáme, že cca. v 15.stor. mal objekt horný a dolný hrad. K hornému patrila okrem veže a poschodového podpivničeného paláca aj kaplnka sv. Kataríny a cisterna (zásobník pre vodu). K dolnému hradu ďalšie dve veže a niekoľko budov (komora, kuchyňa, zbrojnica, väznica).
Hrad aj s hradným panstvom neustále menili vlastníkov, až sa v 16.stor. dostal (tak trochu cez spišských Thurzovcov) do rúk veľkopodnikateľskej rodiny Fuggerovcov z Augsburgu. Tí nechali pôvodný hrad Červený kameň postupne celý zbúrať a prestavali ho do dnešnej podoby (nie úplne do dnešnej, ale približne - ešte sa niekoľkokrát prestavoval, vyhorel a rekonštruoval) štvorhranného objektu s jeho typickými nárožnými baštami.