Červený dům, stojící v blízkosti Vodního hradu Lipý, má ve správě Vlastivědné muzeum a galerie Česká Lípa. Jeho zřizovatel, Liberecký, kraj, dokončil projektovou dokumentaci na rozsáhlou rekonstrukci letohrádku, která pamatuje i na veřejně přístupné expozice. „Za poslední roky jsme opravili vnější plášť, ale dům ještě čeká rekonstrukce interiéru a také přilehlých budov. V tuto chvíli máme projekt a žádost o dotaci do Integrovaného regionálního operačního programu,“ uvedla Květa Vinklátová, náměstkyně pro kulturu, památkovou péči a cestovní ruch Libereckého kraje.
V objektu by měla po dokončení oprav vzniknout stálá expozice historické sbírky palných zbraní, kterou má českolipské muzeum, a v přilehlých objektech bude zázemí muzea včetně konzervátorských a preparátorských dílen nebo příručního depozitáře.
Na rekonstrukci chce navázat také Město Česká Lípa a pustit se do úprav okolí tak, aby mezi zámečkem, vodním hradem Lipý a Centrem textilního tisku vzniklo malebné zákoutí v centru, kde budou moci občané trávit svůj volný čas. „My s úpravami dále navážeme v okolí bývalé České pojišťovny, kde už běží proměna na moderní úřad, a v okolí Kounicova domu, který bude rekonstruován pro potřeby Domu dětí a mládeže Libertin,“ upřesnila již z kraje roku českolipská starostka Jitka Volfová.

Červený dům nechal podle kroniky českolipského pekaře Hanse Kriescheho zbudovat Jetřich Jiří Berka z Dubé a Lipé. Dokončen byl před 440 lety, v roce 1583. Označení „červený“ získal až později během své existence, pravděpodobně od červeného pomalování sloupků lodžie. Jednopatrová budova s klenutými arkádami je zdobena psaníčkovým sgrafitem. Klenba lodžie měla původně freskovou výmalbu a hlavní, takzvaný holdovací sál byl ozdoben na stěnách figurami v životní velikosti. Nástěnné malby bohužel při opravě v roce 1883 zedníci zcela zničili a dodnes se zachovala jen malba Šašek a smrt.
Letohrádek se později stal součástí podnikatelské činnosti nových neurozených majitelů. Na začátku 19. století se v něm nalézala barvírna látek, v přízemí hostinec U kotle. V roce 1882 se stal majitelem Josef Altschul a v Červeném domě fungovala dílna na odlévání cukrových homolí. Protože ale byla budova značně sešlá, Altschul výrobu zrušil a začal s jejím restaurováním za pomoci akademického malíře Eduarda Steffena.
V roce 1933 zde bylo otevřeno městské muzeum. V roce 1945 přebral správu český muzejní spolek a ve správě Vlastivědného muzea je Červený dům dodnes.