O Museu de Gemas está abrigado no prédio que, desde suas origens, guarda a invocação de São José. Erigido como convento em 1749, serviu ainda como depósito de pólvora, quartel, olaria e hospital até o século XIX, sendo uma das construções mais antigas da cidade. A partir dos anos quarenta do século XX, passou por várias adaptações para se tornar o “Presídio São José”, função desativada pelo Governo do Estado em 1998. Entre 2000 e 2002 foi adaptado para abrigar Complexo São José Liberto, sendo composto atualmente pelo Museu de Gemas do Pará, pela Oficina de Joias e pela Casa do Artesão. O Museu de Gemas, integrado ao Sistema de Museus, rememora a história da gemologia no Pará desde períodos que remetem ao século XVIII, e sua exploração até a contemporaneidade. O Museu aborda, sobretudo, a arte de adornar, os ritos, a confecção de indumentárias e de outros instrumentos ligados às tecnologias dos grupos originários da Amazônia. Destacam-se ainda no museu a riqueza das gemas, minerais, pedras preciosas e joias inspiradas na cultura e na história da região, que influenciou e ainda influencia os ourives e artesãos do lugar.