Năm 1911 một ông Hoàng người Pháp là công tước De Montpensier từ Pháp sang du lịch, săn bắn ở những ngọn đồi lân cận, thấy phong cảnh sơn thủy đẹp ở đây đã khiến ông nảy ra ý định mua đất và xây dựng biệt thự, cũng để có nơi nghỉ ngơi trong các kỳ săn bắn và du lịch sau này. Nguyện vọng của ông đã được nhà cầm quyền Pháp ở Bình Thuận (công sứ Garnier) đồng ý bán quả đồi Bà Nài. Lầu ông Hoàng gồm quần thể đồi núi, sông biển, chùa tháp tạo thành khu danh lam thắng cảnh, nổi lên với ngọn núi Cố tương đối cao và 4 ngọn đồi nhấp nhô sát biển, đẹp nhất là núi Cố, đồi Bà Nài, cửa sông Phú Hài và bờ biển cùng với những làng chài xưa cách Phan Thiết 7km về hướng Đông Bắc.
Ngày 21 tháng 2 năm 1911 biệt thự được khởi công xây dựng và gần 1 năm sau đó hoàn chỉnh, với diện tích rộng 536m² chia thành 13 phòng. Đây là biệt thự đẹp, đầy đủ tiện nghi, ban đêm có máy phát điện, dưới biệt thự có nhiều hầm ngầm chứa nước mưa đủ cho những người trong biệt thự dùng trong 1 năm, được coi là hiện đại nhất Bình Thuận lúc bấy giờ. Từ đó trở đi nhân dân Phan Thiết quen gọi khu vực này là đồi “Lầu Ông Hoàng” để chỉ ngọn đồi có khu biệt thự to đẹp do công tước De Montpensier xây dựng. Tháng 7 năm 1917 công tước De Montpensier bán lại cho chủ khách sạn người Pháp Prasetts.
Sau khi có Lầu Ông Hoàng một người Pháp tên Bell đã xây dựng Hotel Ngọc Lâm ở quả đồi bên cạnh để phục vụ người Pháp. Vài chục năm sau thi sĩ Hàn Mạc Tử đã đến địa danh này và đã để lại nhiều kỷ niệm khiến cho Lầu ông Hoàng càng có ý nghĩa. Trong kháng chiến chống Pháp biệt thự này đã bị tiêu hủy, ngày nay chỉ còn lại toàn bộ nền móng, hầm ngầm chứa nước và những ký ức trong người dân Phan Thiết.
Cũng tại Lầu ông Hoàng quân Pháp xây dựng ở đây một hệ thống đồn bót với nhiều lô cốt bê tông cốt thép chắc chắn để khống chế khu vực thị xã Phan Thiết. Tháng 6/1947 xảy ra cuộc chiến ác liệt. Một tiểu đoàn thuộc đơn vị mang tên Hoàng Hoa Thám thu thắng lợi lớn, thường gọi là “Chiến thắng Lầu Ông Hoàng”.
Hiện nay Lầu Ông Hoàng là một quần thể du lịch hấp dẫn bao gồm: nhóm tháp Chàm cổ, bên cạnh tháp có chùa Bửu Sơn cổ kính, dưới chân đồi là bờ biển, cửa sông Phú Hài, núi Cố nơi có mộ của nhà thơ Nguyễn Thông… Tất cả hợp thành một quần thể di tích lịch sử văn hoá và danh lam thắng cảnh ở Phan Thiết.
