Một cách giải thích khác cho rằng Hòn Bà do chữ Bến Đầm, họng Đầm (tiếng Pháp: Dame là bà, phụ nữ) mà ra. Những người dân Côn Đảo lại có cách giải thích riêng, gắn với truyền thuyết về Bà. Theo truyền thuyết Bà là Thứ phi của Nguyễn Ánh, tên tục là Nguyễn Thị Răm, được tôn là Phi Yến, biết Nguyễn Ánh định gửi con bà là hoàng tử Cải làm con tin để cầu viện binh Pháp, chống quân Tây Sơn, Bà đã lựa lời khuyên: việc Chúa Công đánh nhau với Tây Sơn nên mộ binh trong xứ. Nếu nhờ ngoại viện, có thắng cũng chẳng vẻ vang gì, mà thiếp e có nhiều chuyện rắc rối về sau.

Nổi giận vì trái ý, Nguyễn Ánh ghép Bà vào tội thông đồng với Tây Sơn. Nhờ các cận thần can gián, Bà khỏi tội chém, nhưng bị giam vào hang núi trên hòn đảo nhỏ, nay mang tên Hòn Bà. Vừa lúc quân Tây Sơn đuổi tới nơi, Nguyễn Ánh cùng đám cận thần lên thuyền chạy. Hoàng tử Cải không thấy mẹ, khóc lóc thảm thiết. Nguyễn Ánh dứt tình cho rằng hoàng tử đồng lòng phản trắc với mẹ nên sai vứt cậu bé vô tội xuống biển. Xác cậu trôi dạt vào làng Cỏ Ống, được dân làng an táng và lập miếu thờ cậu. Dân làng Cỏ Ống cho người sang Hòn Bà đón Bà Phi Yến về phụng dưỡng.

Đến với Hòn Bà, du khách không chỉ đến với một hệ sinh thái rừng đa dạng, với nhiều chủng loại đọng thực vật quý hiếm mà còn được nhìn thấy những bãi biển tuyệt đẹp, thấy đỉnh núi xanh mây bay và ngắm san hô.