Construido en la segunda mitad del siglo XII, es uno de los escasos restos de arquitectura no religiosa que quedan en España de esta época. Se organiza su fachada original en dos pisos construidos con buena sillería, quedando divididos en altura por una sencilla cornisa moldurada. El cuerpo inferior, a nivel de calle, se abre por medio de cuatro amplias arcadas, enmarcadas por columnas adosadas al muro que presentan decoración en sus capiteles de tipo vegetal y figurado. En el lado izquierdo se disponen figuras de formas estilizadas que narran un episodio de la Leyenda de Roldán, en concreto, la escena de lucha contra el gigante Ferragut, ejemplificación de la lucha del bien contra el mal. Presenta la peculiaridad de estar firmado por Martinus de Logroño. En el lado derecho, la decoración se configura por finas hojas de penca, de raigambre cisterniense.
El segundo piso, se nos descubre abierto por una galería que crea un grácil ritmo de vacíos. Limitado en sus laterales también por dos semi-columnas, el esquema decorativo de sus capiteles aparece alterado. En el lado izquierdo se muestra un capitel con decoración vegetal, pudiéndose contemplar en el derecho, un precioso conjunto donde se han ideado escenas relacionadas con el pecado de la soberbia, el castigo de los infiernos y la lujuria, utilizando elementos de la fábula animalística de origen oriental, realizado en un estilo de formas más esbeltas que él referente a la leyenda de Roldán. Estas semi-columnas, enmarcan un segundo piso compuesto por ventanas, en número de cuatro, distribuidas cada una de ellas por cuatro arquillos que descansan en capiteles que se adornan con decoración vegetal, animal y figurada, soportados por finas y ligeras columnas. Aquí se alternan formas originales con reconstrucciones recientes, pues a lo largo del tiempo y debido a sus diversas funciones, bien palacio, bien cárcel del distrito judicial, su estructura se fue modificando para adaptarla a sus nuevas necesidades.
El tercer piso de ladrillo, es obra del siglo XVIII. La fachada que mira a la plaza de San Martín, presenta un aspecto mucho más macizo en sus muros, conservando cierta gracia en sus dos últimas plantas...Tras sus diversos cometidos, desde el 14 de Junio de 1991 contiene la colección pictórica del pintor Gustavo de Maeztu (Vitoria - 1887 / Estella - 1947). Sus salas, distribuidas en los dos últimos pisos del edificio albergan los cuadros, dibujos, litografías y otras piezas trabajadas con variadas técnicas que nos hablan de la calidad estética de este pintor, uno de los más importantes de la llamada Escuela Vasca. En la entreplanta se sitúa la sala de exposiciones temporales, sala de conferencias y proyección de audiovisuales.