Tù nhân thường gọi Giám đốc là Ông Lớn hay Chúa đảo, đây là nơi tập trung cao nhất quyền lực trên đảo cả về hành chính, tư pháp, quân sự. Đồng thời, đây cũng là nơi xuất phát các âm mưu thủ đoạn cai trị tù nhân, trung tâm chỉ huy các cuộc đàn áp qui mô trên toàn đảo. Chúa đảo đầu tiên là Félix Roussel, Trung úy, Phó Hạm trưởng hải quân Pháp, Chúa đảo cuối cùng là Lâm Hữu Phương.

Nơi đây có nhiều chúa đảo mà sự tàn bạo đồng nghĩa với chế độ giết người, Chúa đảo Andouard là một trong số đó đã bị tù nhân sát hại năm 1919.

Nhà Chúa đảo thể hiện cuộc sống xa hoa của sự thống trị bên cạnh cuộc sống khổ ải, nghèo nàn của người tù. Trong khu vườn (Sở rẫy Ông Lớn) thường xuyên có hàng chục tù nhân phải lao động khổ sai và phục dịch tất cả sinh họat, từ ăn, mặc, ở... cho Chúa đảo. Đây cũng là nơi thành lập Chính quyền Cách mạng đầu tiên ở Côn Đảo năm 1945 và ngày Côn Đảo hoàn toàn giải phóng năm 1975.

Ngày 29/4/1979, Bộ Văn hóa - Thông tin đã ra Quyết định số 54-VHTT.QĐ đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia, trong đó có di tích Nhà Chúa đảo. Ngày 10/5/2012 Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg xếp hạng là Di tích Quốc gia đặc biệt.

Năm 2019, di tích Nhà Chúa đảo được trùng tu, tôn tạo và phục dựng nội thất tái hiện sinh hoạt của các đời chúa đảo.