Na hlavním náměstí Plaza Uta el-Hammam stojí historická pevnost Kasbah of Chefchaouen. Jde o nejstarší stavbu ve městě, okolo které se začal Chefchaouen postupně rozrůstat. Hradby jsou nápadné svou červenohnědou barvou, která výrazně kontrastuje s modrými domy všude okolo.
Majestátní kasba byla postavena v roce 1471 a sloužila jako obrana proti portugalským vpádům na sever Maroka. Pevnost nesloužila jen vojenským účelům, ale v průběhu času se uvnitř hradeb vystřídaly rezidence místních vládců, vojenský arzenál a dokonce i vězení.
Za malé vstupné se člověk rázem octne v tiché a krásné andaluské zahradě, kde najde malé muzeum a vyhlídkovou věž, odkud je jeden z nejhezčích výhledů na modré střechy města a pohoří Rif.
V muzeu je jen pár vitrín s několika exponáty, jako jsou třeba tradiční hudební nástroje, keramika, výšivky, zbraně a další předměty z historie severního Maroka. Na stěnách pak visí historické fotografie s popisky archeologických prací.
Hned vedle kasby stojí na náměstí Velká mešita, takže už více než 500 let jde o hlavní centrum společenského a náboženského života města.