Här finns fins fler än 30 utställningar som speglar stadens hela historia och näringar. Museigården i sig är en liten oas i stadskärnan där vi även exponerar levande historia i form av en tobaksodling och Stillerydspelargonen. Ett av Karlshamns äldsta hus, Holländarehuset, är även återuppbyggt på museigården.

I huset finns även museishop med försäljning av böcker och suvenirer samt ett minder kafé. Smithska huset är till viss del tillgänglighetsanpassat.

Museets huvudbyggnad Smithska huset har fått sitt namn efter Otto Smith, son till brännvins-kungen L.O Smith. Otto ägde och bodde med sin familj i huset från 1904 fram till sin död 1935. Fastigheten såldes förmånligt av dödsbodelägarna till Karlshamns stad i mars 1938 på villkor att fastigheten användes – till museum eller annat staden gagnande ändamål.

Under andra världskriget inhystes museets samlingar provisoriskt i delar av huset som i övrigt brukades av militären. I juni 1953 beslöts att stadsbiblioteket skulle förläggas till husets bottenvåning och att museet skulle få disponera övervåningen, vinden och gården. Iordningställandet av de nya lokalerna tog dock tid och först vid stadens 300-års-jubileum sommaren 1964 kunde det nya museet invigas av H.K.H. Prins Bertil. När stadsbiblioteket 1980 åter flyttade fick museet ta i anspråk hela byggnaden.

Huset byggdes efter den stora branden 1763 av handelsmannen Olof Gummesson Bergh som dock aldrig fick uppleva sitt nya hus då han avled 1765. Året dessförinnan hade han fått Kungens tillstånd att importera 400 000 mursten och 6 000 taktegel till sitt nybygge. Då Olof var ogift ärvdes fastigheten av två barn till hans halvbror vilka 1774 lät sälja huset på offentlig auktion till handelsmannen Gustav Adolf Ekelund med alla befintliga byggnader och tomter ända ned till ån, ”varunder sadelmakaregården begripes jämte ett väl inrättat tobaksspinneri”.