Массивный семиэтажный арбатский дом, занимающий целый квартал между Калошиным и Кривоарбатским переулками, был построен по заказу Анны Тимофеевны Филатовой в 1913 году по проекту архитектора Валентина Дубовского. Здание задумывалось как многофункциональный комплекс, включающий в себя частную женскую гимназию с особым педагогическим классом и преподаванием танцев, пансион для гимназисток и собственно жилой доходный дом с квартирами для состоятельной публики, которые размещались со стороны Арбата и Кривоколенного переулка.
Дом Филатовой стал не только крупнейшей работой Дубовского, несмотря на ряд других его интересных построек, но и «визитной карточкой» улицы Арбат. С уровня человеческого восприятия здание благодаря своим массивным башням и трёхгранным эркерам с остроугольными аттиками напоминает замок. А самый эффектный вид на дом открывается с крыши стоящего напротив Театра Вахтангова. В этом ракурсе здание напоминает огромный готический орган. Дубовской, увлекавшийся архитектурой западноевропейского Средневековья, часто использовал такую комбинаторику форм. Почти все доходные дома зодчего имеют сходство со сложным конгломератом зданий средневекового города, с их различными как по форме, так и по высоте завершениями.
В своих постройках Дубовской часто использовал скульптуру. Одна из угловых башен здания, просматриваемая из разных точек Арбата, на уровне пятого этажа украшена скульптурами рыцарей в латах, шлемах, с мечами в руках. Одновременно с домом Филатовой возводится ещё одно строение зодчего — схожий по стилистике компактный доходный дом Эпштейна в Гусятниковом переулке, также украшенный рыцарем под готическим козырьком.
Как и все доходные дома, построенные по проектам Дубовского, здание на Арбате имело богатое убранство квартир. Архитектор уделял большое внимание не только внешнему виду своих зданий, но и его интерьерам, что превращало эти постройки в единое целое. Обладая тонким чувством стиля, Дубовской тщательно продумывал общую композицию фасадов и интерьеров. Парадные вестибюли и лестничные клетки его доходных домов отделывались ценными породами камня, живописными плафонами и цветными витражами. Полноценную отделку получали и интерьеры квартир.
В этом смысле доходный дом Филатовой не стал исключением. Все парадные подъезды были оборудованы электрическими лифтами в открытых цилиндрических шахтах, которые окружали мраморные лестницы с ажурными дубовыми и чугунными перилами. Порталы подъездов были украшены массивными дубовыми дверями, выполненными в неоготической стилистике. Квартиры не только имели тщательно проработанную отделку, но и были оснащены электричеством и телефоном, а ванные комнаты — водопроводом и канализацией.
Всё это предопределило дальнейшую судьбу дома, резко изменившуюся после революции. Не все квартиры в нём подверглись уплотнению, большая часть из них досталась новым привилегированным жильцам. Здесь поселились Иван Белов, Григорий Зиновьев, Николай Подвойский и многие другие. Как вспоминал военный переводчик Иммануил Левин, проживший с рождения на Арбате, у подъезда дома всегда поджидали своих хозяев казённые «бьюики», «линкольны» и «роллс-ройсы», которые к 1930-м годам сменились чёрными «воронками», увозивших жильцов этого дома лишь в один конец. Так навсегда покинули этот дом Григорий Зиновьев, командарм Белов и многие другие. В этом доме была арестована жившая здесь артистка Театра Вахтангова, красавица 1930-х годов Валентина Вагрина. Все эти события легли в основу романа Анатолия Рыбакова «Дети Арбата».
В ночь на 22 июля 1941 года немецкая авиация совершила первый налёт на Москву. Бомбы попали в здания, расположенные в Староконюшенном и Большом Афанасьевском переулках. Был почти полностью разрушен Театр Вахтангова. Но стоявший напротив Дом с рыцарями остался цел.
В 1970-х годах здание пережило капитальный ремонт, в ходе которого была уничтожена большая часть его интерьеров. В доме разместились различные учреждения Министерства культуры СССР, а первый этаж занял магазин ювелирторга «Самоцветы», витрины которого украсили витражами, удачно перекликавшимися с архитектурой всего здания.
В 1992 году новым хозяином Дома с рыцарями стал Центральный Дом актёра, переехавший сюда после пожара, уничтожившего в 1990 году здание СТД РСФСР на углу улицы Горького и Пушкинской площади.
