Давно живя раздельно с женой, он держал при себе любовниц во множестве, актёрок и пейзанок. Театрал-завсегдатай Архангельского рассказывал, что во время балета стоило старику махнуть тростью, танцорки тотчас заголялись... В 1812 году князь, бросив усадьбу, сидел в Турашкине, куда отступили гонимые французом войска. Долгое время известий о своём добре не имел. По окончании войны он вернулся в Москву. Оказалось, что московский дом цел и невредим, а Архангельское в состоянии плачевном. Статуи разбиты, деревья поломаны. Увидав, что боги с богинями безносы, князь воскликнул: «Свиньи-французы заразили сифилисом весь мой Олимп!»
