Lần đầu tiên nhìn thấy khu vực này, nhiều người thường nhận định, đây là tàn tích của một nền văn minh bản địa như là Maya hay Aztec. Thực tế, nơi này do một người giàu có và lập dị đến từ châu lục khác xây dựng - thi sỹ người Anh Adward James.

Sinh năm 1907, Adward James là người thừa kế duy nhất khối tài sản khổng lồ của ông trùm đường sắt Mỹ - William James. Bố mẹ ông là những nhà tài phiệt hàng đầu nước Mỹ, nhưng Adward James lại định cư ở Anh.

Ông là một nhà thơ, đồng thời cũng là "Mạnh Thường Quân" hào phóng đối với nhiều nghệ sỹ ở Anh những năm đầu thế kỷ 20. Tuy nhiên cuộc đời của Adward James chính là minh chứng cho câu “Tiền không mua được hạnh phúc”. Dù được thừa hưởng khối tài sản khổng lồ, nhưng James có một cuộc hôn nhân thảm họa, ông luôn phải sống trong tâm trạng buồn chán và lo lắng.

Ông rời bỏ châu Âu vào cuối những năm 1930 và bắt đầu ngao du khắp châu Mỹ để tìm kiếm niềm vui. Cuối cùng James quyết định xây dựng một thiên đường của riêng mình trên miền đất mới. Ông cùng người bạn Plutarco Gastelum lên kế hoạch tìm địa điểm xây dựng lâu đài suốt 5 năm. Họ đã chọn khu vực Xilitla vào cuối năm 1945 và bắt đầu xây dựng Las Pozas.

Từ đó, Las Pozas trở thành nơi nghỉ ngơi được James ưa thích nhất, cho đến khi ông qua đời vào năm 1984. James đã kiến thiết nơi này thành “thiên đường” của riêng ông. Ông cho nuôi hơn 200 loài chim và khoảng 40 con chó trong lâu đài.

Việc kiến thiết tòa lâu đài được James thực hiện liên tục với nhiều công sức và tiền bạc. Kiến trúc và nghệ thuật trong tòa lâu đài cũng ảnh hưởng nhiều bởi thiên hướng nghệ thuật siêu thực của James.

Khắp khu vườn là những tác phẩm tạo hình kỳ lạ, thậm chí có phần quái dị. Những tổ hợp kiến trúc bằng bê tông pha trộn giữa kiến trúc đền chùa, nhà thờ và cung điện mà James và những người bạn của ông đã “phóng tay” sáng tác.

Một số nơi trong lâu đài đang xây dựng dở dang, dù James đã chi khoảng 5 triệu USD, số tiền rất lớn ở thời điểm đó.

Thậm chí James còn bán cả bộ sưu tập những tác phẩm nghệ thuật được đánh giá là lớn nhất của ông. James đã sống những năm tháng cuối đời cùng với những con vẹt cưng tại chính nơi mà ông đã xây nên. Đáng tiếc là sau khi James qua đời, những người bạn của ông không còn đủ khả năng để duy trì nơi này nữa, và tâm huyết một đời của ông bị bỏ hoang cho đến ngày nay.