Konak inače označava mjesto gdje se umorni putnik može odmoriti i prenoćiti. U doba turske vladavine u cijelome carstvu Konak je označavao mjesto službenog stana državnog namjesnika. Isto značenje je Konak imao i u Mostaru, a u njemu su osim namjesnika bili smješteni razni vojni odredi, vojne vlasti i Okružni sud.
U mostarskom Konaku obitavao je 1850. g. i čuveni Omer paša Latas, kada je od carigradske Porte poslan kako bi ugušio ustanak bosanskohercegovačkih begova. Tada je u prostorijama Konaka, uz pašine privatne odaje bio smješten i njegov harem. Međutim, i pored brojnog harema Omer paša se zaljubi u kćerku Hafiz paše Čerkeza – bivšeg namjesnika Bosne, onog junaka koji je gasio požar u Barutani. Ipak, djevojku nije uspio dovesti u svoje odaje bez privole njenog oca. Usprkos protivljenju djevojčina oca, snalažljivi paša isposlova ferman od sultana, kojim je omogućeno njeno dovođenje u stan.
Nije mostarski Konak služio isključivo vojnoj namjeni. Prečesto su Omer paši u Konak u okrilju noći dovodili mostarske kćeri, što izazva sablazan, zgražanje i brojna ogovaranja po Mostaru. Kako bi izbjegao te neugodne priče i zaustavio tračeve, naredi paša da mu se mlade ljepotice dovode u harem preodjevene u vojne časnike. Tako su mladi i ljepuškasti „časnici“ sve više i više dolazili u Konak i podnosili „raport“ paši, dok bi ih on smješkajući se savjetovao: „Moja tjelesna gardo, pazite da vam samo ja zapovijedat mogu“.
Fotografija: Brankovac – stara zgrada Konaka (iz doba Ali-aše Rizvanbegovića), 1890-ih