Um visitante de Neverwinter pode notar que sua arquitetura difere um pouco daquela de outras partes da cidade. Isso ocorre porque o Castelo Never tem na verdade mais de um milênio, tendo sido encomendado pelo elfo solar, Lord Halueth Never, que conquistou a famosa cidade de Illusk (de cujas ruínas o moderno Luskan agora fica no topo). Grande parte do Castelo Never foi presumivelmente construída entre -10 CV (Lord Never’s conquista de Illusk) e 87 CV (a época em que Neverwinter foi oficialmente fundada como uma cidade).
Durante os muitos ataques e desastres de Neverwinter, o Castelo Never permaneceu como um símbolo imponente da determinação da cidade, bem como um monumento às antigas glórias da cidade. Isso não quer dizer, porém, que o Castelo tenha saído ileso. Talvez o desastre mais significativo para o Castelo Never tenha ocorrido em 1451 CV, quando “o cataclismo” atingiu Neverwinter e deixou a maior parte do Castelo Never em ruínas e matou quase todos os seus habitantes (incluindo a linhagem dominante). O lugar permanece assombrado pelos espíritos dos mortos no cataclismo.