An Sơn Miếu là nơi thờ Bà Phi Yến - Bà có tên riêng là Lê Thị Răm. Tương truyền, vào khoảng cuối thế kỷ XVIII, Bà theo Vua bôn đào ra Côn Đảo để tránh sự theo dõi của lực lượng đối kháng. Vì thất bại liên tục nên nhà Vua có ý định đưa Hoàng tử Hội An (tục gọi là Hoàng tử Cải) ra nước ngoài để cầu viện.

Bà Phi Yến rất không hài lòng về việc này nên ngỏ lời khuyên can: “Việc đánh nhau với địch thủ ta có thể coi như việc trong nhà, Chúa công nên dùng nghĩa binh trong xứ thì hơn, nếu phải nhờ sức mạnh của người ngoài về giải quyết vấn đề nội bộ thì dù ta có thắng cũng chẳng vẻ vang gì, song thiếp e còn lắm điều rối rắm, tai tiếng về sau”.

Ngờ đâu, chỉ mấy lời khuyên can ấy mà nhà Vua nổi trận lôi đình, nghi Bà Phi Yến có ẩn ý thông đồng với địch thủ, nếu không có các quan cận thần hết lời khuyên ngăn, ắt Bà Phi Yến không thoát khỏi tội chém đầu. Tuy nhiên, nhà Vua vẫn truyền lệnh giam Bà trong một hang đá trên hòn đảo hoang vắng nằm về hướng Tây Nam của quần đảo Côn Đảo (ngày nay còn gọi là Hòn Bà).

Vừa truyền lệnh giam cầm Bà Phi Yến xong, nhà Vua được tin địch thủ sắp ra đến Côn Đảo, ông liền cùng đoàn cung quyến và tùy tùng xuống thuyền chạy về phía Nam. Theo đoàn chạy loạn có con Hắc Hổ của Hoàng tử Cải, nó rất mến Hoàng tử, Hoàng tử đi đâu nó cũng đi theo, nửa bước cũng chẳng chịu rời. Khi thuyền sắp nhổ neo, Hoàng tử không nhìn thấy mẹ đâu liền hỏi những người đi cùng và biết được mẹ mình đang bị giam cầm, khi đó Hoàng tử đã khóc rất to đòi mẹ và yêu cầu Cha phải cho mẹ đi cùng. Trong lúc nguy nan, bức bách, con lại khóc lóc đòi mẹ, nhà Vua đã rất tức giận mà đẩy Hoàng tử xuống biển và xem đây là việc ngăn ngừa một kẻ loạn thần. Thấy thế, Hắc Hổ vội vàng phóng theo nhưng không cứu được, mà chỉ đến khi thủy triều rút cạn mới thấy thi hài Hoàng tử nằm yên nơi bãi san hô. Hắc Hổ đem thi hài của Hoàng tử chôn giữa khu rừng gần bãi Đầm Trầu (thuộc làng Cỏ Ống). Dân làng Cỏ Ống thấy con vật mà có nghĩa như vậy nên ai cũng động lòng bèn xúm nhau vun đất, đắp đá cho nấm mộ được cao hơn, rồi lập miếu phía trước mộ để thờ Hoàng tử (ngày nay mộ và Miếu Hoàng tử Hội An vẫn còn tại làng Cỏ Ống, được gọi là miếu Cậu hoặc Thiếu gia miếu). Hắc Hổ sau khi chôn cất Hoàng tử xong thì đêm lên rừng rậm non cao kiếm ăn, ngày về nằm bên mộ Hoàng tử kêu gào thảm thiết. Một ngày kia, không rõ tình cờ hay do một lý do huyền bí nào đó mà Hắc Hổ lại gặp Vượn bạch. Tuy không biết nói nhưng Vượn bạch đã tỏ dấu để hướng dẫn Hắc Hổ qua tận bên kia hòn đảo gặp Bà Phi Yến đang bị giam cầm trong hang đá, Hắc Hổ và Vượn bạch đã ra dấu cho Bà cùng đi theo. Bà Phi Yến gượng sức leo lên lưng Hắc Hổ, hơn nửa ngày vượt suối qua đèo vất vả lắm mới đến được ven rừng Cỏ Ổng. Khi tới trước mộ Hoàng tử Cải thì hai con vật dừng chân lại, dân làng Cỏ Ống hay tin kéo đến rất đông và kể cho Bà biết đây là nấm mộ của Hoàng tử. Đau xót trước cảnh tình ấy, dân làng bèn xúm nhau làm một ngôi nhà khá đẹp gần mộ Hoàng tử để Bà được sớm hôm chăm sóc ngôi mộ con trai mình.

Trong thời gian ở tại làng Cỏ Ống, Bà Phi Yến đã cảm tác bài thơ thất ngôn bát cú để nói lên nỗi lòng của mình:

“Đốt nén hương thề tạ Chúa Công

Can Vua nên nỗi tội thông đồng

Ngai vàng một thuở ngồi chưa vững

Bia đá ngàn năm vết vẫn còn

Máu chảy ruột mềm đau phận thiếp

Nồi da xáo thịt thỏa tình ông

Sông sầu núi thảm hoa mờ lệ

Đã khóc cho con lại khóc chồng”.

Rằm tháng 10 năm Ất Tỵ 1785, tại làng An Hải tổ chức lễ Đàn chay khá lớn, Ban hội tề của làng muốn buổi lễ thêm phần long trọng nên đã cử người sang làng Cỏ Ống rước Bà Phi Yến qua dự. Ngờ đâu đêm ấy, tại làng An Hải, tên đồ tể Biện Thi đã lén vào phòng Bà định giở trò sàm sỡ. Nhưng khi vừa chạm đến cánh tay thì Bà đã kịp thức giấc tri hô, Biện Thi bị dân làng bắt trói.

Bà Phi Yến tuy bấy lâu đã dứt tình, song vẫn giữ vẹn mình trong sạch. Vì thế, Bà đã tự mình chặt đứt cánh tay nhơ uế nhưng vẫn chưa thấy vơi niềm tủi nhục trong lòng, đêm đó Bà đã tự vẫn để giữ trọn danh tiết. Hơn hai trăm năm trôi qua:

“Lòng đất chôn sâu niềm uất hận

Lưng trời đeo mãi vết tang thương

Thương người cương trực liều thân thể

Trách kẻ tà tâm dạ khó lường”

Có lẽ, xuất phát từ câu chuyện xúc động, xót thương trước cảnh tình của Bà, mà dân gian đã truyền nhau câu ca:

“Gió đưa cây Cải về trời

Rau Răm ở lại chịu đời đắng cay”.

Hằng năm cứ vào ngày 18 tháng 10 Âm lịch, nhân dân Côn Đảo cùng chung tay tổ chức lễ giỗ Bà Phi Yến rất long trọng và thường làm cỗ chay để tưởng nhớ cũng vì một hội Đàn chay mà Bà phải bỏ mình.

Câu chuyện về Bà Phi Yến đã trải qua hơn hai thế kỷ nhưng đã đi sâu vào tiềm thức của mỗi người dân Côn Đảo, trở thành một nét văn hóa truyền thống với những giá trị lịch sử vô cùng tốt đẹp và nhân văn cao cả. Chính vì vậy, ngày 18/04/2007 di tích An Sơn Miếu đã được công nhận là di tích lịch sử văn hóa cấp tỉnh.