Côn Đảo nằm trên trục giao lưu Đông - Tây nên ngay từ thế kỷ XIII, tàu buôn các nước Italia, Tây Ban Nha, Bồ Đào Nha, Anh, Pháp. đã ghé thăm đảo. Hai công ty Đông Ấn của Anh và của Pháp đã nhiều lần cho người lên đảo nghiên cứu địa thế, vẽ bản đồ. Năm 1702, Allen Catchpote, Giám đốc công ty Đông Ân của Anh đích thân chỉ huy cuộc đổ quân chiếm Côn Đảo. Hắn mộ lính người Macasca (Thổ dân đảo Sulavedi thuộc Indonesia) xây pháo đài và canh giữ. Chúa Nguyễn đã đưa người ra đảo, làm kế trá hàng rồi cùng đội lính Macasca làm binh biến, đánh đuổi thực dân Anh thu lại chủ quyền, lãnh thổ xứ Đàng Trong (1705).

Thất bại của người Anh tiếp tục nuôi dưỡng cho ý đồ của thực dân Pháp. Ngày 28/11/1861, Trung úy Lespès đã được lệnh của Đô đốc Bonard, đưa chiến hạm Nogagaray tới đánh chiếm Côn Đảo. Bởi dưới con mắt của thực dân Pháp, Côn Đảo là nơi lý tưởng có khả năng đáp ứng tốt nhất những nhu cầu đối với một nhà tù: với bốn bề là biển mênh mông, cách biệt với đất liền, không có phương tiện, người tù khó bề trốn thoát. Khi bị giam trên đảo người tù sẽ bị cắt đứt mọi quan hệ với người thân, bên ngoài xã hội và không thể chống đối được. Mặt khác, là nơi hoang vắng, nên thực dân Pháp có thể thi hành bất cứ những biện pháp đàn áp dã man, có thể che đậy được với dư luận thế giới bên ngoài. Hơn thế, Côn Đảo là nơi dân cư thưa thớt, nguồn lợi tài nguyên lại thuận lợi nên chúng có thể bắt tù nhân lao động khổ sai để khai thác, bóc lột và đày đọa phục vụ nhu cầu sinh hoạt tại chỗ cho cả hệ thống nhà tù..

Nhà tù Côn Đảo được Đô đốc Bonard ở Nam Kỳ ký quyết định thành lập ngày 1/2/1862 để giam những tội nhân mang án từ 1 đến 10 năm. Phó Hạm trưởng Félix Roussel được chỉ định làm chỉ huy trưởng quần đảo kiêm quản đốc đầu tiên của Nhà tù Côn Đảo.

Ngày 31/01/1873 Thống đốc Nam kỳ Dupré ra nghị định ban hành quy chế riêng cho đề lao Côn Đảo. Sau nhiều năm thi hành bổ sung và sửa đổi, bản quy chế hoàn chỉnh nhất, gồm 20 chương, 109 điều được ban hành vào ngày 17/5/1916. Bản quy chế này được áp dụng cho đến ngày cáo chung của thực dân Pháp trên bán đảo Đông Dương.

Trong hơn nửa thế kỷ đầu, nhà tù Côn Đảo chỉ có 1 trại giam (Banh I). Với nguồi tài chính bổ sung từ ngân sách liên bang (Đông Dương), Banh II được khởi công từ năm 1917 và đưa vào sử dụng vào năm 1928. Banh III tiếp tục được xây dựng và được sử dụng năm 1939. Banh phụ của Banh III cùng hai dãy chuồng cọp được sử dụng từ 1944.

Năm 1955, Thiếu tá Aloise Blanck bàn giao lại nhà tù này cho Chính quyền Sài Gòn, chấm dứt gần một thế kỷ tội ác của thực dân Pháp trên quần đảo. Trong 20 năm sau cùng của nhà tù này, Mỹ - Ngụy đã tăng quy mô từ 4 trại lên 8 trại. Trại V được xây dựng năm 1962. Trại VI, trại VII và trại VIII được xây dựng gần như cùng một lúc, vào năm 1968, hoàn thành cơ bản vào cuối năm 1970. Ba trại giam này được ngân sách Maccord (Chương trình viện trợ quân sự và kinh tế của Mỹ) chi tiền, chuyên gia xây cất nhà tù của Mỹ thiết kế và hãng thầu Mỹ RMK - BRJ xây cất. Trại IX, trại X cũng đã được đổ móng, đúc cột rồi bỏ dở khi hãng RMK - BRJ rút khỏi Việt Nam (1972).

Hệ thống nhà tù trong 113 năm (1862-1975), được xây dựng với 117 phòng, 44 xà lim, 504 phòng “Biệt lập chuồng cọp” và 18 Sở tù. Được chia thành các trại Phú Hải (trại II), Phú Sơn (trại III), Phú Thọ (trại I), Phú Tường (trại IV), Phú Phong (trại V), Phú An (trại VI), Phú Bình (trại VII), Phú Hưng (trại VIII), Biệt lập Chuồng Cọp Pháp và trại an ninh chuồng bò. Trong đó, trại Phú Hải được xây dựng vào năm 1862, chỉnh trang kiên cố năm 1896. Đây là trại giam lớn nhất và cổ nhất ở di tích lịch sử Côn Đảo. Các trại khác đều có nhiều phòng giam, khu tra tấn, hành hạ người tù dã man và tàn độc. Có 18 Sở tù gồm Sở Lưới, Sở Ruộng, Làm đá, Kéo cây, Chuồng Bò, Lò gạch, Lò vôi, Sở muối, Bản chế, Sở tiêu, Rẫy An Hải, Cỏ ông, Hòa Ni, Bông Hồng, Rẫy Ông Lớn, Ông Đụng, vệ sinh và sở Đất Dốc. Các Sở này xuất hiện đồng loạt để cải tạo người tù bằng những hình thức lao động khổ sai... phục vụ toàn diện các mặt đời sống cho bộ máy hành chính của thực dân, đế quốc và đời sống người tù trên đảo.

Xây dựng theo lối kiến trúc kiểu phương Tây. Thời thực dân Pháp làm nhà ở. Sang thời Mỹ, năm 1960 sử dụng làm khu điều tra, gồm 3 dãy nhà với những chức năng khác nhau. Ngoài ra còn có phòng biệt giam và nhà vệ sinh.

Khu điều tra là một bộ phận làm việc: làm công việc lưu trữ hồ sơ và hỏi cung. Tù nhân trước khi bọ đưa vào một trại giam nào thì sẽ bị đưa vào đây để hỏi cung. Tùy theo mức độ nguy hiểm của người tù mà chuyển vào từng trại.

Cũng có trường hợp tù nhân ở các trại bị tình nghi có chuẩn bị bạo động hoặc có những hành động chống đối lại cai ngục, bị chúng để ý cũng đưa về đây lấy cung. Nếu tù nhân nào tỏ ra ngoan cố thì bị đánh đập và cho vào phòng biệt giam tạm thời.

Từ năm 1966 - 1970, khu điều tra thu hẹp lại thành Ban sưu tra. Sau Hiệp định Paris năm 1973, gọi là Trú khu I.