Nghĩa trang Hàng Dương rộng khoảng 20 hecta, theo số liệu ước định có khoảng 2 vạn tù nhân yên nghỉ tại Côn Đảo. Tuy nhiên không phải tất cả đều nằm ở Hàng Dương. Nghĩa địa đầu tiên được lập ở khu vực Chuồng Bò (Di tích Bãi Sọ Người), sau dời lên Hàng Keo. Đến sau năm 1934 và nhất là giai đoạn 1941, chế độ khủng bố trắng sau cuộc khởi nghĩa Nam kỳ đã giết hại hàng ngàn tù nhân. Nghĩa địa Hàng Keo hầu như hết chỗ, thực dân Pháp mới mở nghĩa địa Hàng Dương để chôn tù.

Nghĩa trang Hàng Dương được khởi công xây dựng và tôn tạo vào ngày 19/12/1992 gồm 4 khu: A-B-C và D (Riêng khu B được chia ra làm 2 phần B1 và B2), với 1.922 phần mộ trong đó 714 phần mộ có tên.

Khu A, đa số các phần mộ yên nghỉ từ năm 1945 trở về trước. Tiêu biểu có phần mộ của Cố Tổng Bí thư Lê Hồng Phong, nhà yêu nước Nguyễn An Ninh.

Đến cuối năm 1944, khu A đã chôn chật mộ, nhà tù mở rộng nghĩa trang về phía Nam, tức Khu B hiện nay. Hài cốt lớp tù nhân kháng chiến chống Pháp (1945 - 1954) được chôn kế tiếp từ đồi cát chạy dài xuống phía Đông Nam (gọi là khu B1). Hài cốt lớp tù nhân chống Mỹ được chôn vào phần còn lại của khu (gọi là khu B2) nơi có phần mộ của nữ Anh hùng lực lượng vũ trang nhân dân Võ Thị Sáu.

Khu C đa số các phần mộ yên nghỉ từ năm 1960 đến 1975. Nơi đây có ngôi mộ của Anh hùng Lực lượng vũ trang nhân dân Lê Văn Việt.

Khu D là nơi quy tập những phần mộ từ Hòn Cau, Nghĩa trang Hàng Keo và những nơi khác trên Côn Đảo.

Sân hành lễ của nghĩa trang và tượng đài chính được thiết kế cách điệu từ hình thái của các nấm mồ và bia mộ trong nghĩa trang với ý nghĩa biểu tượng như một nấm mồ lớn và một bia mộ lớn. Tượng đài chính có đế 9m x 9m, chiều cao 21,6m, tượng đài được tổ hợp từ 144 phiến đá khối, đồng thời là 144 bản chạm khắc những hình tượng tiêu biểu của lịch sử hàng ngàn năm của văn hóa dân tộc (từ thời tiền sử đến nay).

Khu vườn đá: trung tâm là phù điêu Bất khuất, một bên khắc họa những hình ảnh của cuộc sống nhà tù Côn Đảo mang tính tố cáo sâu sắc tội ác dã man của các thế lực thực dân xâm lược và một bên là thể hiện ý chí kiên cường bất khuất của các anh hùng liệt sĩ từng bị giam cầm và đày đọa tại Côn Đảo.

Tượng Thủy Chung cao 4,5m (trước đây được gọi là Tượng trao áo) thể hiện lòng trung thành, chung thủy với cách mạng, với đồng chí đồng đội của những người yêu nước “chết còn trao áo cho nhau”.

Tượng Hy Vọng cao 4,5m, thể hiện tinh thần lạc quan, niềm tin vào thắng lợi cuối cùng trong cuộc đấu tranh chính nghĩa của những chiến sĩ cách mạng và những người yêu nước.

Mỗi ngôi mộ ở nghĩa trang này không chỉ là một số phận bi hùng, một chứng tích tội ác của thực dân, đế quốc mà còn âm vang những trang sử hào hùng của cuộc đấu tranh trong tù, tỏa sáng chủ nghĩa nhân văn và chủ nghĩa anh hùng cách mạng Việt Nam. 

Ngày 29/4/1979, di tích Nghĩa trang Hàng Dương đã được Bộ Văn hóa - Thông tin đã ra Quyết định số 54-VHTT.QĐ đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia. Ngày 10/5/2012 Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg xếp hạng là Di tích Quốc gia đặc biệt.