Có thể xét khoảng thời gian thay đổi các tên gọi của Trại Phú Thọ trong diễn biến lịch sử: Banh III (1928-1939), Trại 4 (1945-1953), chi nhánh Bác Ái (1960), Trại I (1960), trại Phú Thọ (1973), Trại I (từ 1975 - nay).

Trong hơn nửa đầu thế kỷ XIX, trại giam này đồng nghĩa với nhà ngục Côn Đảo (Pénitencier de poulo coudore). Được xây dựng sớm (từ thập kỷ 60 của thế kỷ XIX), trại giam mang tên Banh I40. Năm 1954 ngụy quyền gọi là Lao I, Trại I rồi đổi thành trại Cộng Hòa (4/1960), Trại I (11/1963), Trại II (1964), Trại Phú Thọ (1974). Mỗi lần đổi thay tên gọi đều gắn với những thăng trầm của chế độ Sài Gòn và bước phát triển của phong trào đấu tranh của tù chính trị. Toàn bộ khuôn viên trại được bao bọc bởi bốn bức tường kiên cố và có 4 tháp canh ở bốn góc tường rào. 

Thời thực dân Pháp, trại Phú Thọ có một khu bệnh xá và ba dãy trại giam (trong đó có hai dãy phòng giam tập thể và một dãy biệt lập). Sau Cách mạng tháng Tám năm 1945, được chỉnh trang lại còn hai dãy, mỗi dãy có bốn phòng được đánh số thứ tự từ 1-8. Thời Mỹ - Ngụy xây thêm phòng 9 và phòng 10 ở phía sau bệnh xá. Phòng 10 được ngăn ra 15 phòng biệt giam nhỏ, gọi là “Biệt Lập Chuồng Gà”. Trên trần không có song sắt như Chuồng Cọp, chỉ đan bằng kẽm gai chằng chịt mà Mỹ - Ngụy dùng để bổ sung cho khu Chuồng Cọp. Ngoài ra, trại Phú Thọ còn có các công trình phụ: nhà kho, nhà ăn, nhà bếp, văn phòng giám thị, sân vườn. Khu bệnh xá được dựng lên để đối phó với các đoàn giám sát về nhân quyền của quốc tế và đánh lừa dư luận. Thực dân Pháp sử dụng trại Phú Thọ để giam giữ những tù nhân mới bị đưa ra Côn Đảo nhằm cách ly họ trước khi chuyển qua các trại giam khác, để ngăn chặn tin tức từ đất liền đưa tới các tù nhân cũ. Sau đó, trại Phú Thọ trở thành nơi giam giữ tù chính trị mà địch liệt vào hạng “Thành phần nguy hiểm “, “Bất trị ” bị kết án về tội phá hoại và âm mưu phá rối trị an, tù vượt ngục nhiều lần.

Từ năm 1939-1945, trại Phú Thọ giam giữ những người bị bắt trước và sau Cuộc khởi nghĩa Nam Kỳ (1940), trong đó có: Lê Duẩn, Lê Hồng Phong, Dương Bạch Mai,... Các chuyến chuyển tù nhân từ Sơn La - Hỏa Lò bị đày ra đảo hè năm 1944 cũng bị giam cầm ở trại Phú Thọ, trong đó có nhiều tù nhân là lãnh đạo cấp ủy và xứ ủy Bắc Kỳ. Banh III là một trong những trại đày ải cầm cố khắc nghiệt, hàng ngàn tù chính trị bị đánh đập, đày ải đến chết trong thời kỳ thực dân Pháp khủng bố trắng sau Cuộc khởi nghĩa Nam Kỳ.