Xây dựng năm 1962, còn có tên gọi Trại Phú Phong, được xây theo cùng một kiểu như các trại giam thời Pháp, trên khoảng đất rộng 6.752 m², giáp tường Chuồng Cọp (phía Tây) và giáp tường Trại giam số III (nay là Trại I), Trại V có 12 phòng, chia làm 3 dãy, mỗi dãy có 4 phòng và 1 nhà bếp.. .với tổng diện tích 3.594m², được hoàn thành vào năm 1964, lúc đầu là nơi giam giữ số tù câu lưu quân sự (sau gọi là Trại Tù Binh).

Trại Phú Phong là nơi diễn ra nhiều cuộc đàn áp của địch, đồng thời là nơi biểu dương tinh thần đấu tranh kiên cường của tập thể nữ tù và tù nhân bị giam giữ tại đây. 36 phụ nữ chống đối ở Trại 0 Thủ Đức bị đày ra đảo tháng 8/1966 cũng bị giam ở trại này. Tháng 7/1970, địch phải giải 360 phụ nữ từ Chuồng Cọp về Trại V. Các chị là một tập thể chiến đấu kiên cường, là ngọn cờ tiêu biểu trong phong trào đấu tranh ở Chuồng Cọp Côn Đảo trong thời kỳ 1969 - 1970.

Các cuộc đấu tranh đòi dân sinh dân chủ ở Trại V cũng hết sức quyết liệt, phương thức đấu tranh chủ yếu là tuyệt thực, hô la. Trong những năm 1971 - 1972, dưới thời Trung tá Cao Minh Tiết, một tên trùm tình báo (tên Giám thị ác ôn số 1) là Lê Văn Khương được đưa về làm trưởng Trại V. Cao Minh Tiết thanh lọc số tù chống đối nhưng có quan điểm khác biệt trong tranh đấu ở Trại IV, Chuồng Bò và một số nơi khác về đây, giao cho Lê Văn Khương thực hiện kế hoạch “Dùng tù trị tù”, “dùng chống đối trị chống đối”, với sự gia tăng của bộ máy trật tự, an ninh, tình báo, mật báo. Không chỉ bằng những trận đòn đổ máu Lê Văn Khương đã khủng bố bằng những đòn chấn động tâm lý, thông qua việc gây chia rẽ, nghi kỵ, hoang mang trong các nhóm tù chính trị.

Sau ngày Chuồng Cọp bị phá bỏ (1970) Trại V cùng với trại I, Trại IV hợp thành một khu trung gian để thanh lọc tù nhân. Các đối tượng chấp hành nội quy, chịu làm khổ sai được đưa về Trại II, Trại III. Các đối tượng còn lại tiếp tục bị giam ở khu vực này để cải tạo, theo dõi và thanh lọc.

Trại V là trại đầu tiên Mỹ - Ngụy xây dựng ở Côn Đảo và sau này mở rộng thêm các trại VI, VII, VIII ra đời. Trại V là nơi ghi nhận tội ác mở đầu cho tội ác của Mỹ - Ngụy, nơi thực hiện, thực nghiệm thủ đoạn "dùng tù trị tù, dùng chống đối trị chống đối". Song trong chính trại này, đã ghi nhận phong trào đấu tranh sôi nổi, đặc biệt là đấu tranh của các nữ tù chính trị từ 1968 - 1974.

Cùng với sự gia tăng quy mô của cuộc chiến tranh xâm lược, nhà tù Côn Đảo cũng được mở rộng. Phái đoàn Cố vấn dân sự Hoa Kỳ sau nhiều đợt khảo sát đã đề nghị chính phủ Mỹ sử dụng ngân sách của MACCORD (chương trình viện trợ quân sự và kinh tế của Mỹ ở Việt Nam), để xây dựng hệ thống trại giam kiểu mẫu tại Côn Đảo. Các chuyên gia về xây cất nhà tù của Mỹ ra Côn Đảo nghiên cứu, thiết kế một hệ thống nhà tù quy mô gồm Trại VI, Trại VII, Trại VIII ở phía đông Bắc thị trấn Côn Đảo. Hãng thầu Mỹ RMK-BRJ đã trúng thầu và gấp rút xây dựng hệ thống trại giam này. Cả 3 Trại được xây cất gần như cùng một lúc (đầu năm 1968) và đưa vào sử dụng vào cuối năm 1970.