Thời Pháp, đây là Banh phụ của Banh III; đến thời Mỹ gọi là Lao trại IV, trại Phú Tường. Trại được xây dựng trong những năm 1940, khi ấy mang tên Banh phụ của Banh III (Annexe du Bagne III) cơ bản hoàn thành vào năm 1944. Banh phụ của Banh III có 2 dãy, 8 khám, được xây nối tiếp vào khu biệt lập, góc phía Nam của Banh III. Năm 1944, các khám mới hoàn thành của Banh phụ đã được sử dụng làm bệnh xá, nhằm cách ly những tù nhân mang bệnh truyền nhiễm. Sau Cách mạng tháng Tám (1945), Banh III và Banh phụ của Banh III bị bỏ hoang trong nhiều năm, và xuống cấp nhanh. Tình trạng kỹ thuật của Banh phụ của banh III còn khá hơn, được sử dụng giam lớp tù binh mới ra từ giữa những năm 1952. Sau cuộc bạo động của 200 tù binh ở Bến Đầm (12/1952), toàn bộ tù binh ở Banh II bị chuyển cả về đây. Từ đó, Banh phụ của Banh III được gọi là Trại Tù Binh (Camps des prisons millitaires). Có thể nói, Trại IV ra đời khi các trại tù I,

II không còn đủ chỗ để giam tù nhân.

Trại Tù Binh có một đội ngũ sĩ quan từ cấp tỉnh đội, trung đoàn, tiểu đoàn, đại đội... đông đảo, từng trải, được rèn luyện trong thực tiễn chiến đấu trên chiến trường. Lực lượng tù binh được tổ chức thành một đạo quân chiến đấu, là lực lượng xung kích trong các hoạt động và tranh đấu của tù nhân Côn Đảo. Từ giữa năm 1953, văn phòng của Thường vụ Đảo Ủy đã chuyển về trại này. Chủ trương “Tích cực công kích địch” đã được hình thành tại đây, vũ trang cho toàn thể tù chính trị về tư tưởng tiến công trong mọi hoạt động và tranh đấu, quán triệt sâu sắc quan điểm “Nhà tù là một mặt trận mà người tù là chiến sĩ”; “Đấu tranh trong nhà tù là một bộ phận của cuộc đấu tranh cách mạng, cuộc kháng chiến của dân tộc”.

Tháng 7/1959, Ngụy quyền chuyển 1.500 tù chính trị câu lưu chống ly khai ở Trại I (Trại Cộng Sản) về phân tán ở khu vực Trại III, Trại IV và Chuồng Cọp. Cuộc đấu tranh chống ly khai của tù chính trị câu lưu bước vào giai đoạn thử thách ác liệt. Trong vòng 16 tháng, đã có 150 tù chính trị chết vì chế độ cấm cố và đòn roi tại khu vực này.

Tại đây đã diễn ra nhiều phong trào phản đối, quyết tâm chiến đấu đến cùng của những người tù, phải kể đến phong trào tuyệt thực liên tiếp diễn ra dù là thành công hay thất bại. Các phòng của Trại IV tuyên bố tuyệt thực đòi các yêu sách dân sinh dân chủ (1963) với các yêu sách: giải tỏa cầm cố, tự do tư tưởng, bỏ hô khẩu hiệu, bỏ chào cờ, trả tự do cho tù chính trị câu lưu, cơm ăn đủ no, có đủ thức ăn, có rau tươi thịt cá, đau ốm có thuốc chữa bệnh, được bầu đại diện phòng, tổng đại diện trại...

Đầu năm 1964 ngụy quyền tập trung toàn bộ tù chính trị câu lưu về Trại IV và đổi tên thành Trại I. Theo đó, Trại I cũ đổi thành trại II, Trại II cũ thành Trại III và Trại giam này chính thức mang tên Trại IV. Trại I, Trại IV và Chuồng Cọp là trung tâm của phong trào đấu tranh của tù chính trị Côn Đảo trong những năm 1964 - 1970.

Trại IV là di tích có giá trị lịch sử qua hai thời kỳ thống trị của Pháp, Mỹ, là chứng tích tố cáo tội ác chiến tranh đã biến nơi đây thành “địa ngục trần gian”.