A base do novo edifício é formada pelas ruínas da igreja românica tardia de São Columba, outrora o centro da maior freguesia da Colónia medieval. Em 1945, foi destruída durante um ataque aéreo quase ao solo, apenas a estátua de calcário de Nossa Senhora no altar do templo permaneceu intacta, para a qual Gottfried Boehm posteriormente construiu uma capela especial em 1950. Ao mesmo tempo, as ruínas da igreja foram transformadas em uma espécie de praça memorial. No início dos anos 1970, no seu território, arqueólogos descobriram vestígios de edifícios de diferentes épocas da existência de Colónia - romana antiga, início da Idade Média, românica e gótica.
Tal objeto de patrimônio histórico e cultural é em si mesmo incomumente difícil de perceber e preservar, mas quando o Museu da Diocese de Colônia decidiu construir em seu lugar - dentro e ao redor das ruínas existentes - um novo edifício para exibir sua extensa coleção de religiosos arte desde a antiguidade tardia até os dias atuais, a situação tornou-se muitas vezes mais complicada. A decisão de expandir o museu foi tomada em 1974, mas as ruínas da Igreja de St. Columba foram escolhidas como seu novo local apenas no início dos anos 1990. Em 1997, foi realizado um concurso de arquitetura, no qual ganhou o projeto do destacado arquiteto suíço Peter Zumthor. O júri observou a notável habilidade com que Zumthor foi capaz de combinar fragmentos de 2.000 anos de história arquitetônica de Colônia (das fundações dos edifícios dos antigos romanos à capela "Madonna nas Ruínas" de Boehm em 1950) em um único conjunto, que é mais do que apenas a soma de suas partes.
A restauração e conservação dos vestígios arquitetônicos levaram vários anos, e a construção do Museu Colombo começou apenas em 2003.
O edifício assemelha-se ao L latino na planta e é implantado em seu ângulo reto com a rua. As suas paredes, forradas de tijolos lisos e largos cinzentos claros com grossas camadas de argamassa ligante, não parecem em absoluto, graças à fina textura da superfície, o resultado do trabalho de um pedreiro. Restos das paredes da igreja são embutidos nelas ao nível do solo, e acima delas estão seções quebradas de "perfuração" e grandes janelas retangulares, contrastando com o peso monumental da parede de 60 cm de espessura. A planta da igreja inclui um pequeno pátio de cascalho no local do antigo cemitério paroquial. O visitante entra no caminho do saguão para a "sala de exposições" principal do primeiro andar. Este "hall" é uma enorme sala de 12 m de altura, ao longo da qual uma ponte em zigue-zague é colocada sobre as fundações de edifícios antigos e medievais encontrados como resultado de escavações arqueológicas. Zumthor usava iluminação artificial com muita moderação aqui, então quase toda a luz entra através de tiras de pequenos orifícios nas paredes externas do edifício; de dentro, essa técnica enfatiza ainda mais a aparente desencarnação dessas paredes, o que pode ser visto como uma alusão aos princípios da arquitetura sagrada gótica ou uma referência às obras dos místicos da época. O octaedro da capela Boehm está inscrito no mesmo espaço, mas pode ser acedido fora do museu.
No final, uma ponte conduz o visitante às instalações da antiga sacristia, transformada em pequeno pátio; há uma escultura de Richard Serra "Afogados e resgatados".
Acima da primeira camada, há mais dois andares de salas de exposição, um total de dezesseis. Eles são projetados como blocos autônomos - "casas", entre as quais "ruas" de terraço branco são colocadas; cada uma dessas salas difere das outras em tamanho, método e intensidade de iluminação e rota de inspeção. As exposições são nelas expostas sem observar a cronologia e sem textos explicativos e rótulos. Assim, os curadores do museu queriam alcançar uma percepção imparcial das obras de arte por parte do público.
No projeto do museu da diocese de Colônia, Zumthor costumava reunir monumentos culturais de diferentes épocas - tanto arquitetônicos, localizados in situ, como incluídos na coleção do museu - uma linguagem arquitetônica formal lacônica enfatizada, suavizada pela atenção do arquiteto às especificidades da material, às suas propriedades táteis e visuais; um papel especial aí é desempenhado pela iluminação, que é quase insuficiente para uma inspeção completa das exposições, mas dá à sua percepção uma acuidade especial. Tudo isso faz com que esta obra, pelo menos externamente, se assemelhe aos edifícios religiosos da Idade Média, época da construção da destruída igreja de São Columba, que lhe deu o nome, bem como da época da hegemonia do catolicismo no território da Alemanha, que ainda não conhecia as convulsões da Reforma. Ao mesmo tempo, o uso das técnicas da arquitetura sacra na construção de um museu - mesmo um museu de arte sacra - faz pensar em uma profunda mudança no sistema de prioridades do homem moderno, não apenas na mudança de ideais espirituais para uma imagem mais "secular" do mundo, mas também sobre um certo aspecto "populista" de toda a esfera da cultura moderna. No entanto, não se deve esquecer que a mesma arquitetura das catedrais medievais do Ocidente foi projetada não para um punhado da elite, mas para todos os crentes, sem exceção; Talvez Zumthor continue essa linha no Museu de Colombo, dirigindo-se a cada um de nós através do projeto de seu prédio.
