Любимое место отдыха москвичей и гостей столицы изначально принадлежало бывшему актёру Малого Театра М.В. Лентовскому, да и расположен сад «Эрмитаж» был на Божедомке. Уникальное увеселительное место, в котором аристократы совершали ежедневные променады, к концу XIX века пришло в запустение, когда разорился его попечитель — на месте бывшего сада построили дома.
Современный сад «Эрмитаж» стоит на месте старой усадьбы — 16 июля 1894 года участок перешёл во владение купца Я.В. Щукина, который всего через год превратил заброшенный пустырь в райский уголок: здесь были высажены курстарники и деревья, разбиты цветочные клумбы, облагорожены изящные скамейки и извилистые тропинки, ведущие вглубь парка, а также реконструировано здание заброшенного театра, в котором через несколько лет состоялся один из первых кинопоказов в стране. Кстати, на его сцене играли Сара Бернар и Мария Ермолова, здесь дебютировал Фёдор Шаляпин и был открыт МХАТ с премьерой спектакля «Царь Фёдор Иоаннович».
За всё время сад несколько раз был реконструирован: здесь построили летний концертный зал, установлен экран для летнего кинотеатра и отреставрированы многие постройки, представляющие историческую и культурную ценность.
Сад «Эрмитаж» уже более 115 лет является местом, где отражен весь калейдоскоп современной культурной жизни столицы.