Banh II, do thực dân Pháp xây dựng năm 1908 hoàn thành năm 1916. Sang thời Mỹ - Việt Nam Cộng hòa đổi tên là lao 2, Trại Nhân Vị, sau đó gọi là trại 3. Sau hiệp định Paris năm 1973 gọi là trại Phú Sơn. Diện tích 13.228m gồm 13 phòng giam lớn và 14 xà lim. Ngoài ra còn có các công trình phụ như: Phòng y tế, nhà ăn, nhà bếp, câu lạc bộ, phòng hớt tóc, văn phòng giám thị và sân vườn...

Banh II xây dựng đồ sộ và kiên cố hơn, có lối đi bên trên để trật tự cai ngục đi kiểm tra người tù. Một lần vào đêm khuya tù nhân đã tìm cách vật tên cai ngục xuống chết tại chỗ, từ đó địch khiếp sợ không sử dụng lối đi này nữa.

Trái với yêu cầu cấp bách của Banh I là phải đấu tranh chống chế độ khổ sai giết tù thì yêu cầu cấp bách của Banh II là đoàn kết các xu hướng chính trị, đấu tranh đòi cải thiện đời sống, thực hiện chế độ tù chính trị, bảo vệ sinh mạng cán bộ. Nơi đây, các đồng chí đã tổ chức học tập văn hóa, lý luận, đào tạo và rèn luyện cán bộ, nhiều đồng chí cán bộ cốt cán của Đảng và Nhà nước ta đã trưởng thành như: đồng chí Nguyễn Văn Cừ, Lê Duẩn, Phạm Văn Đồng, Hòang Quốc Việt, Lê Thanh Nghị, Hà Huy Giáp...

Khu xà lim cũng được bố trí tinh vi hơn, nằm khuất sau bức tường dày, nếu không quan sát kỹ thì khó phát hiện được. Tù nhân bị cấm cố ở đây bị ghẻ lở đầy người, mỏi mòn đi vì thiếu ánh sáng, khí trời và dinh dưỡng. Thêm vào đó là chế độ ăn uống tồi tệ, nhiều người bị kiết lỵ nặng rồi chết. Khu xà lim mà thực dân Pháp còn gọi là “Vườn ươm cây cộng sản”, vì nhiều đảng phái khác đã bị đưa ra và giam chung với tù chính trị để gây mâu thuẫn, nhưng với tài cảm hóa của Đảng cộng sản Việt Nam, cuối cùng họ đã trở thành cộng sản. Nơi đây đã từng giam giữ, cấm cố đồng chí Lê Hồng Phong, Nhà yêu nước Nguyễn An Ninh... Dưới chế độ khắc nghiệt của nhà tù, ngày 06/9/1942, căn bệnh kiết lỵ và những trận tra tấn của địch, đồng chí Lê Hồng Phong đã trút hơi thở cuối cùng tại Xà lim số 05.

Mùa xuân năm 1935, tại sân Banh II, đồng chí Phạm Văn Đồng, Nguyễn Văn Linh, Nguyễn Kim Cương cùng một số đồng chí khác đã tổ chức diễn thành công vở kịch Napoleon. Gác ngục Pháp vào xem rất đông, các vở kịch không chỉ thành công trong lĩnh vực nghệ thuật mà còn thắng lợi về mặt ngoại giao. Nhiều gác ngục Pháp tỏ thái độ kính nể những người tù cộng sản có văn hóa, có nhân cách và hiểu biết sâu rộng. Từ đó họ ít đánh tù và xưng hô bớt thô tục hơn.

Giai đọan 1951-1953, Banh II là nơi giam giữ các đoàn tù binh từ miền Bắc và miền Trung đưa ra. Phương án võ trang giải thóat tù nhân đã hình thành từ đây, dẫn đến cuộc võ trang vượt Đảo tại Bến Đầm ngày 12/12/1952 của 198 tù binh.

Năm 1964, nơi lực lượng xung kích mở đầu cuộc đấu tranh mang tên “Mùa tiva thu đồng khởi” (tháng 7/1970). Đây là cuộc đồng khởi chống khổ sai và chống to Se chào cờ của hơn 4.000 tù chính trị trên toàn đảo.

Banh II được xem như một bề dày lịch sử sau Banh I, là nơi ghi dấu ấn của bao thế hệ tù chính trị.

Di tích trại Phú Sơn đã được, Bộ Văn Hóa - Thông Tin đã ra quyết định số 54-VHQĐ Đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia ngày 29/4/1979. Ngày 10/5/2012 Thủ Tướng chính phủ ra quyết định 548/ QĐTTg công nhận là Di tích Quốc gia đặc biệt.