Sở Lò Vôi do thực dân Pháp xây dựng, tên thường gọi Lò Vôi là Sở Lò Vôi có từ ngày 3/12/1864, được coi là chứng tích điển hình về chính sách bóc lột sức lao động một cách dã man, cùng với chế độ hà khắc nhằm dập tắt ý chí của những người yêu nước chống thực dân Pháp lúc bấy giờ.

Những công việc lao dịch chủ yếu mà những người tù phải làm: đốn củi đốt lò, nung gạch, đập đá, làm đường...Trong đó có phần khai thác san hô để nung vôi, được ghi lại “Bãi canh tức Bảy Cạnh còn ghi Bai Kan, là một hòn đảo tạo thành đảo Côn Lôn... phía Nam của đảo là nơi Lò Vôi được dựng lên từ ngày bắt đầu công trình xây dựng Hải Đăng”. Lò Vôi chuyên nung san hô cung cấp cho toàn đảo, chủ yếu là những tù nhân Banh I đốt lò. Thường có 4 - 5 kíp tù trông coi việc đốt lò, một kíp thường xuyên phải bám biển lặn lấy san hô, mỗi tháng phải lấy được 4 sà lan san hô, làm bất kể ngày đêm, vô cùng khổ cực. 

Việc lấy san hô vô cùng khắc nghiệt, có hai mùa để lấy tùy theo nước thủy triều lên xuống. Những bàn chân tù rách nát với công việc lặn, dầm trong nước biển đào hốc dưới tảng đá đa bẩy san hô và phải đem san hô về Lò Vôi bằng phương tiện xe 4 bánh, 8 bánh do tù nhân chế tạo nên. 

Sở Lò Vôi là bản cáo trạng về chính sách khai thác sức lao động của tù nhân vô cùng tàn bạo. Ngày đi làm khổ sai tối về nhốt vào xà lim trong đói rét lạnh lẽo, cơm không đủ ăn, áo không đủ mặc. 

Nhà giam Lò Vôi xây dựng vào khoảng 1920 - 1921, dùng để nhốt tạm tù nhân trong quá trình lao động khổ sai đốt lò. Toàn bộ Lò Vôi - nhà giam hoạt động đến năm 1945 thì dừng lại. Sang thời đế quốc Mỹ, nhà giam này thành nơi đóng quân, đồng thời, Mỹ xây thêm một căn nhà phụ. 

Tóm lại, Sở Lò Vôi cùng với các Sở tù khác trên đất Côn Đảo đã tạo nên một quần thể di tích lịch sử, là chứng tích ghi lại chính sách lao tù khổ sai dã man của thực dân Pháp.