Особняк был построен в 1930 году по проекту архитектора и филантропа Элдена Фримена, наследника Standard Oil. Он смоделировал особняк по образу и подобию старейшего здания в западном полушарии, "Алькасар-де-Колон" в Санто-Доминго. "Алькасар-де-Колон" был построен в 1510 году Диего Колумбом, сыном знаменитого путешественника Христофора Колумба. Фримен использовал кирпич из этого древнего дома в строительстве Casa Casuarina.
Обновленный особняк Фримена выполнен в мавританском стиле с плитками, мозаикой, гобеленами и классическими бюстами. Когда Фримен умер в 1937 году, его имущество было приобретено Жаком Амстердамом. Особняк был переименован в "Амстердам Пэлэс" и использовался в качестве 30-квартирного здания. Многие художники жили там, привлеченные архитектурой и красотой особняка.
В 1992 году особняк был куплен известным итальянским модельером Джанни Версаче, по цене $ 2,9 миллиона. Он также приобрел Revere Hotel, пустующий отель по соседству, и использовал его для расширения своих владений. Версаче достроил южное крыло, гараж, бассейн и сад, а также реконструировал и украсил особняк. Например, среди особенностей здания стоит упомянуть 54-футовый бассейн, окруженный мозаикой 24-каратного золота.
В течение следующих нескольких лет Версаче и и его партнер Антонио Д'Амико неоднократно устраивали в особняке светские приемы и показы мод. А 16 июля 1997 года, в возрасте 50 лет, вернувшись домой с прогулки вдоль Оушен Драйв, Джанни Версаче был застрелен на крыльце особняка убийцей-любителем Эндрю Кунананом. Тот уже убил 4 других людей в течение предыдущих 3 месяцев, а затем покончил жизнь самоубийством через неделю после убийства Версаче. Мотивы Кунанана так и остались загадкой.
После смерти Версаче особняк был выставлен на аукцион и приобретен в 2000 году телекоммуникационным магнатом Питером Лофтеном. В сентябре 2000 года особняк стал частным клубом. Затем в декабре 2009 года ресторатор Бартон Г. Вайс вновь открыл его под новым названием "Villa By Barton G." Сейчас он работает, как роскошный бутик-отель, ресторан и место для светских раутов и мероприятий.
Я рада, что владелец принял такое решение, так как наступает очень интересное время, - говорится в заявлении Джилл Эдер, риелтора, занимающегося продажей особняка, - Есть много местных и международных покупателей, которые остро заинтересованы в нашем сообществе. Сейчас мы немного снизили цену и, таким образом, делаем эту собственность доступной для многих перспективных покупателей".