Древний замок, который возвышается на Голубином острове со времён Византии, служил для защиты города от нападений врагов, в основном пиратов. Именно поэтому он окружён довольно впечатляющими башнями с бойницами. Башня в самой высокой точке острова была местом, где жили и откуда вели наблюдение стражники.
По иронии судьбы, самым известным его обитателем стал именно пират: в XVI веке его стены служили убежищем для знаменитого пирата Хаир ад-Дина, которого многие называли просто Барбаросса. По этой причине его довольно часто именовали «Пиратским замком». Хайр-ад-Дин Барбаросса, родившийся в 1475 году, был заметным деятелем времен расцвета Османской империи. Турки его считают одним из самых славных флотоводцев всех времен, но в западной исторической литературе его чаще именуют пиратом. Начинал свой путь Хайр-ад-Дин под руководством своего старшего брата - морского разбойника Аруджи Барбароссы. Развернувший активную деятельность во всем Средиземноморье, в 1518 году Аруджа погиб в Алжире, и его наследие в виде флота и преданной своему лидеру команды перешло Хайр-ад-Дину. После ряда победоносных вылазок Барбароссу его принял сам султан Сулейман I и назначил главнокомандующим всего турецкого флота, присвоив титул паши. В течение 16 лет он вел военные действия против европейских государств (в первую очередь - Венеции и Священной Римской империи).
Замок был незначительно перестроен в середине XVII в. и в первой половине XIX в. В настоящее время над всем замковым комплексом доминирует башня (в отличие от замка в Бодруме здесь всего одна главная башня).
Не так давно замок был отреставрирован, однако в 2012 году началась новая реставрация, которая идет до сих пор (лето 2013 г.). Его центральная часть превращена в музей, экспозиция которого достаточно традиционно для подобных музеев на юго-западе Турции: как в Мармарисе или Бодруме, на территории замка под открытым небом и в его помещениях размещены предметы различных исторических эпох, в первую очередь дошедшие до наших дней со времен античности (амфоры, надгробия, статуи, барельефы).
Замок соединен с берегом небольшой насыпью, на которой традиционно располагаются продавцы сувениров и рыбаки с удочками. От стен замк открывается чудесный вид на набережную Кушадас, маяк и гавань; если обойти замок, то от скал с западной стороны виден остров Самос. Местные жители часто приходят сюда на закате.
По вечерам замок подсвечивается.
