Проект Боффо (архитектора, работающего над созданиемВоронцовского дворца) был использован и при строительстве дворца графов Толстых. И сам дворец, и его интерьеры выдержаны в духе классицизма. Сам дворец был построен в 1832 году, а в 1897 была построена картинная галерея, выдержанная в стиле барокко. Ее торжественный фасад выполнен из разного вида бетона, имитирующего ценные породы камня, украшает его богатая лепная отделка.
С 1934 года здесь находится Одесский дом ученых, систематически проводятся симпозиумы и конгрессы.
Дом учёных в Одессе в то время стал одним из первых в РСФСР и первым на Украине. Вход в Дом ученых в Одессе был свободным, это сделало его общегородским культурным центром.
