Vodní hrad Lipý (též Lipá, Lipý) založili ve 13. století členové rodu Ronovců, pak se zvali Páni z Lipé. Původně dřevěný hrad ležel u Ploučnice, její tok byl časem odkloněn. Ve 14. století byla postavena kamenná obranná věž. Byl dobyt husity i Švédy a postupně zpustl. V 19. a zkraje 20. století v něm byla rafinerie cukru, po roce 1945 byl odstřelen. Po roce 1990 započala jeho pozvolná rekonstrukce a využití pro kulturní akce města. K jeho správě vytvořilo město svou příspěvkovou organizaci Lipý, Česká Lípa, která od února 2011 převzala i nově zbudovanou sousední historickou expozici Centrum textilního tisku.
Město bylo vystavěno u vodního hradu Lipý při brodu přes řeku Ploučnici.
Původní gotický vodní hrad z 13. století byl v 17. století přestavěn na renesanční zámek, který byl po druhé světové válce z větší části zbourán. Po roce 1995 jsou zbytky původního hradu upravovány a areál Vodního hradu Lipý je využíván pro kulturní akce města. Je chráněn jako kulturní památka České republiky.
Nádvoří hradu je využíváno i jako improvizované letní kino. Veřejnost v létě 2014 představení hojně využívá.

V letech 2003 až 2015 zde působil jako průvodce a správce Petr Brambor Nárovec

Těsně vedle hradu Lipý se nalézá - Červený dům (Rotes Haus) je to renesanční, jednopatrový letohrádek postavený v centrální části České Lípy vedle vodního hradu Lipý v 16. století. Sloužil kdysi šlechtě, byl i muzeem, dnes je jeho depozitářem, pro veřejnost je uzavřen. Je chráněn jako kulturní památka České republiky

V roce 1583 si dal zámeček postavit na břehu Ploučnice (dříve tekla jinudy) Jetřich Berka z Dubé, člen rodu Berků z Dubé, potomek starobylého rodu Ronovců. V sousedství stavby byl hospodářský dvůr, na druhém břehu byl městský mlýn a židovská čtvrť.

Jednopatrovou, nepodsklepenou budovu o tvaru kosodélníku 23 x 10 metrů si nechal postavit italskými staviteli. Byla opatřena otevřenou lodžií, vyzdobena sgrafity. Stěny byly opatřeny dvojitou omítkou. Na spodní bílé byla nanesena druhá s rozemletým dřevěným uhlím, ta byla štukatéry seškrabána do tvaru černobílých psaníček Okna a dveře byly natřeny do červena, navíc zde byla později i barvírna, proto se takto po čase nazýval i celý dům. Dlouho sloužil panstvu jako lovecký zámeček.