El Castillo del Aprendizaje es la sede familiar de los Yogo, y es una estructura imponente pero visualmente poco original. No se encuentra en ningún lugar estratégico y, de hecho, está construido en uno de los peores terrenos del territorio de los Escorpión, lo que resulta apropiado dada la mala reputación de la familia. Las colinas boscosas que lo rodean están intercaladas con míseros pantanos, y la zona despejada que rodea al castillo apenas tiene espacio suficiente para la estrecha y desagradable aldea que atiende sus necesidades materiales. De hecho, tan estrecha es la zona que incluso los eta de la aldea viven a la vista de los samuráis, y el tenue olor que desprenden sus viviendas e instalaciones para trabajar el cuero impregna el aire. Samuráis, plebeyos y eta consideran Shiro Yogo un lugar terrible para vivir... pero relativamente seguro. Aunque Yogo Shiro ha sido asaltado un puñado de veces en la historia, la mayoría de los enemigos simplemente se mantienen alejados, viendo el castillo como un lugar demasiado desagradable para intentar conquistarlo. Del mismo modo, los bandidos no causan problemas en la zona porque hay muy pocas cosas que merezca la pena robar.
Los Yogo no celebran corte en sus salones, y pasan su vida aquí llevando a cabo sus investigaciones mágicas en privado aislamiento. El castillo es esencialmente un exilio autoimpuesto, un castigo que los Yogo se infligen a sí mismos como respuesta adecuada a la maldición de su familia. Dado que la maldición dicta que amar es traicionar, los Yogo se privan de todo lo que podrían amar o valorar, rodeándose de miseria y decrepitud. Sorprendentemente, el índice de suicidios en la fortaleza es extremadamente bajo, quizá porque muchos Yogo creen que la maldición les seguirá kármicamente en su próxima vida.
Los únicos visitantes habituales del castillo son los miembros de los Cazadores de Brujas Kuni y los Inquisidores Asako, junto con miembros ocasionales del Dojo de la Luna Oculta de los Soshi. Su presencia se hizo más frecuente a finales del siglo XII, cuando los Yogo buscaban penitencia por los crímenes de su daimyo Yogo Junzo en la Guerra de Clanes. Sin embargo, incluso en siglos anteriores, cuando podían pasar años entre visita y visita, estos dos grupos eran generalmente los únicos que solicitaban la limitada hospitalidad de Shiro Yogo. Durante la época posterior al Golpe, Shiro Yogo fue arrasada junto con la mayoría de los demás asentamientos Escorpión, y cuando el clan fue restaurado algunos forasteros pensaron que la familia podría reconstruirse en un lugar más agradable. Sin embargo, no fue así; los Yogo insistieron en restaurar su castillo exactamente en el mismo desolado emplazamiento de antes.
Shiro Yogo alberga el Dojo Secreto Susurrado de la familia y es el centro de investigación de la Magia de Protección Yogo. Ninguna de estas dos cosas es considerada por los forasteros como una razón para visitar voluntariamente la torre del homenaje. En realidad, Yogo Shiro es un lugar que demuestra una y otra vez que los Yogo preferirían que el Imperio se olvidara de su existencia hasta los raros momentos en que son realmente necesarios.