A Casa do Conhecimento é uma biblioteca e o principal templo de Oghma na cidade de Neverwinter. Arquitetonicamente, é considerada uma das estruturas mais impressionantes e belas da cidade – com janelas abundantes e um impressionante telhado em arco. Suas vastas bibliotecas contêm registros e materiais preciosos de muitos séculos, incluindo documentação governamental moderna, já que a cidade atualmente não possui uma sede formal de governo.
Como grande parte de Neverwinter, a Casa do Conhecimento sofreu destruição quase total com a erupção do Monte Inágora (Hotenow) em 1451 CV. Um jovem e dedicado Mestre do Conhecimento, Atlavast, salvou grande parte do precioso conteúdo da biblioteca selando o santuário interno do templo e prendendo-se lá dentro. Sozinho e na solidão, Atlavast conseguiu sobreviver ao cataclismo e salvar uma infinidade de tomos, documentos e artefatos raros. No entanto, ele logo ficou recluso e um pouco louco por causa do isolamento. Ele passou seu tempo catalogando e reorganizando repetidamente a biblioteca. Ele se tornou extremamente protetor em relação ao conteúdo. Durante este tempo, as seções externas da Casa do Conhecimento foram ocupadas por vários invasores, incluindo os cultistas Ashmadai, adoradores de Asmodeus.
Desde que o abismo foi selado, os fiéis de Oghma retornaram ao templo e trabalharam para restaurá-lo como um centro de conhecimento e aprendizagem. O severo Grande Escriba Spivey Liethennson agora supervisiona a reconstrução da Casa com punho de ferro e temperamento explosivo. O exterior da Casa do Conhecimento já foi em grande parte restaurado, embora ainda estejam em curso muitos trabalhos de restauro no interior. Mesmo assim, a casa voltou a ser um local funcional para quem busca conhecimentos e registros locais.