Ostroh nad řekou měl odedávna význam obranného štítu při brodu. Původní hrad se pak stal rezidencí habsburských králů, za Ferdinanda I. byl přebudován na nádherný renesanční zámek. Pravý rozkvět zaznamenal Brandýs za Rudolfa II., který tu rád pobýval spolu s významnými učenci a umělci té doby. Během třicetileté války došlo k devastaci zámku, byl však opraven a pobyty císařů zde pokračovaly až do roku 1918. Současná zámecká expozice nabízí knihovnu Ludvíka Salvátora Toskánského i vzpomínky na Karla I.