Phía trước thị trấn Côn Đảo, từ mũi Cá Mập ra biển Đông có 4 hòn đảo nhỏ nằm gần nhau, mang tên hòn Trác lớn, hòn Trác nhỏ, hòn Tài lớn, hòn Tài nhỏ. Người xưa gọi nhóm hòn đảo này là hòn Huynh Đệ.

Chuyện kể rằng có 2 anh em sinh đôi là Đặng Phong Tài và Đặng Trác Vân, giống nhau như đúc. Đặng Phong Tài bị biệt xứ ra đảo từ thời Minh Mạng, được vị Hương cả làng An Hải mến mộ tài đức, gả cho người con gái yêu là Đào Minh Nguyệt. Hai vợ chồng sống rất hạnh phúc trong ấp An Hội. Nàng Minh nguyệt có nhan sắc, nết na, trai làng thường gọi là nàng tiên An Hội.

Ít lâu sau, Đặng Trác Vân, người em sinh đôi với Phong Tài cũng bị biệt xứ ra đảo, được người anh và chị dâu đón về ở cùng nhà. Lạ thay, hai anh em giống nhau như hai giọt nước. Tình cờ, một lần Trác Vân đi đốn củi về sớm, người chị dâu ngỡ là chồng về, săn sóc ân cần và tặng một nụ hôn nồng ấm. Trác Vân đứng nghiêm như pho tượng một hồi rồi xin chị thứ lỗi. Nàng tiên An Hội ngẩn người bối rối và xin người em giữ kín cho sự nhầm lẫn này. Oái ăm thay, một lần khác, Phong Tài có việc đi qua làng Cỏ Ống, không hiểu vô tình hay hữu ý mà nàng tiên An Hội lại đặt nhầm nụ hôn tình tứ cho người em. Nhưng giống như lần trước, Trác Vân sụp lạy chị, xin giữ trọn đạo đệ huynh. E ngại ẩn tình của chị dâu, Trác Vân đã bỏ nhà, kết bè qua một hòn đảo nhỏ, cốt ngăn ngừa phút giây sa ngã, trái đạo luân thường. Khi Phong Tài trở về, biết chuyện bèn lặn lội đi tìm em. Hai anh em không gặp được nhau và mỗi người đã bỏ mình trên một hòn đảo. Hai hòn đảo ấy sau được mang tên Hòn Trác - Hòn Tài, còn gọi là hòn Huynh Đệ.

Dân gian còn lưu truyền câu ca về mối tình éo le và tấm lòng kết nghĩa giữa Minh Nguyệt - Phong Tài và Trác Vân :

“Ai qua hòn Trác hòn Tài

Cho em xin gửi một vài câu thơ:

Đêm khuya gió lạnh sao mờ

Trăng khuya chênh chếch bóng vân chờ đợi mây

Bao giờ Núi Chúa hết cây

Côn Lôn hết đá, dạ này hết thương”.