Музей был открыт по постановлению ГК КПСС и исполкома Таганрогского городского Совета 3 ноября 1981 года с целью изучения и популяризации исторических и культурных памятников г. Таганрога. Музей находится в бывшем особняке чиновника Е. И. Шаронова. Здание было построено в 1912 году в стиле модерн по проекту академика архитектуры Ф. О. Шехтеля. До 1917 года здание принадлежало Е. И. Шаронову. С 1920 по 1922 год в здании размещалась шелководческая станция, с 1923 года — детская поликлиника, после 1944 года — городские организации, с 1981 — музей «Градостроительство и быт Таганрога».

Здание является жемчужиной «модерна», великолепным образцом синтеза архитектуры, живописи и скульптуры. Полутораэтажное здание имеет много общего с Ярославским вокзалом в Москве: те же островерхие башни, трапециевидная форма кровли с гребешком в центральной части, тот же ритм чередования различной формы окон. Композиция здания основана на асимметрии. Левая часть имеет 4-х угольную высокую башню с шатровым восьмигранным завершением. Наверху первоначально был круг с инициалами владельца дома «Е. Ш.», замененный вскоре на шпиль с флажком. В 1978 г. флажок насажен на шарикоподшипник и теперь вращается от ветра. В этой части расположен парадный вход, оформленный кокошником, обрамляющим размещенную здесь мозаичную композицию. Фризовая часть фасада облицована керамической плиткой, на которой особенно колоритно смотрятся мозаичные картины. Вверху центральной части здания межоконные проемы заполняет композиция «Отплытие ладей», выполненная в манере художника Н. Рериха. В правой части здания — панно «Морской бой», созданное по эскизу В. Васнецова. Эта часть дома имеет полукруглую кровлю, на которой ранее было остроконечное навершение, ныне утраченное. С левой стороны здания к нему примыкают ворота с декоративными надворотными башнями. Маски львиц на них — работы выдающегося художника М. Врубеля. Памятник архитектуры начала XX века в стиле «модерн» — единственный в Ростовской области пример использования монументальной живописи на фасаде. В национализированном доме Шаронова в разные годы размещались: шелководная опытная станция, детский дом, детская поликлиника, Орджоникидзевский РК КПСС. В 1978-81 гг. проведена полная реставрация здания, после чего здесь открылся музей «Градостроительство и быт Таганрога». Помимо основной экспозиции музей ведёт активную выставочную работу, предоставляя свои залы для современных художников, скульпторов, коллекционеров, а также разнообразных передвижных выставок.