A ideia de um novo edifício nasceu há dezassete anos, quando o Grão-Ducado se tornou um dos seis países fundadores da União Europeia, e as autoridades decidiram apoiar a imagem do Luxemburgo não só como um Estado economicamente próspero, mas também como um importante centro cultural do continente. No entanto, a própria ideia de criar uma coleção de arte contemporânea, e sua encarnação arquitetônica na forma de um projeto de J. M. Pei encontrou resistência em vários círculos da sociedade de mentalidade conservadora. Como resultado, seu conceito foi revisado várias vezes, o design e até a construção foram suspensos. Só em 1997 o local do museu foi determinado: as ruínas da fortaleza de Tungen (1732), que foram incluídas no novo edifício. Em 1999, a construção começou, mas depois foi interrompida por quatro anos porque Pei queria usar apenas calcário dourado da França para sua construção, e isso deu origem a muitos novos problemas.
Além disso, surgiram dificuldades com a coleção: uma vez que nunca houve uma coleção de arte do século 20 em Luxemburgo, ela teve que ser criada. Devido aos fundos limitados, não se falou em comprar obras de Dali e Picasso: a grande maioria das exposições dos 230 objetos pertencentes ao museu pertence ao período posterior a 1980. Mas, segundo a diretora do museu, Marie-Claude Beaux, o objetivo é ampliar ainda mais o acervo, para colecionar arte do futuro, arte do século XXI.
O complexo está localizado no meio de um parque, entre dois bairros comerciais da cidade. Sua característica marcante é a torre de vidro esverdeado acima do átrio principal, que lembra a fortaleza sobre a qual foi construída. Quase todos os pisos da camada principal são feitos de vidro, portanto, a maioria dos corredores tem luz natural. No rés-do-chão existem duas pequenas galerias e uma sala de conferências. Do lado de fora, as paredes do museu são revestidas de calcário cor de mel, a entrada principal do museu é uma complexa composição espacial em forma de nicho. A área total do edifício é de 10.000 m2. m, dos quais 4.800 sq. m - espaços de exposição. O museu leva o nome do Grão-Duque Jean, que agora transferiu a gestão do país para seu filho Henri.
