Caballero fue director del Departamento de Derecho Penal y Criminología de la Universidad Nacional de Córdoba, Fiscal de la Cámara del Crimen en Córdoba, vocal del superior Tribunal de Justicia de esa provincia, (cargo del que fue destituido en 1966 por el golpe de Estado encabezado por Juan Carlos Onganía) y presidente de la Corte Suprema de Justicia de la Nación durante la presidencia de Raúl Alfonsín.
Compartió la Corte con Jorge Bacqué, quien remplazó a Carrió cuando debió apartarse por problemas de salud en 1985, oportunidad en la que Caballero se hizo cargo de la presidencia que ostentaba el saliente Carrió, y permaneció en dicho cargo hasta su renuncia en 1989. Una de sus últimas apariciones públicas fue, precisamente, en el salón de actos de la Corte, el 31 de octubre de 2003, cuando asumió como ministro del máximo tribunal Eugenio Raúl Zaffaroni.
Al enterarse del infortunio, el máximo Tribunal postergó su acuerdo semanal que suele realizar los días martes, el que se trasladó al próximo jueves 3 de marzo, firmando en el día de la fecha sólo la Acordada N° 8/2005 por la que expresaron “que ante esta sensible pérdida este Tribunal adhiere al duelo por la desaparición del distinguido magistrado”.
Asimismo se resolvió dirigir una nota de condolencia a la familia del extinto, incluir el nombre de José Severo Caballero en las tablas de honor del Tribunal e izar en el Palacio de Justicia y en los demás edificios de los tribunales federales la bandera a media asta en el día de la fecha.
Como se recordará, en 1987 Caballero, Belluscio y Fayt fueron los tres ministros que establecieron la constitucionalidad de las leyes de Obediencia Debida y Punto Final, al decir que “no incumbe al Poder Judicial juzgar sobre la oportunidad, mérito o conveniencia de las decisiones de los otros poderes”. El Poder Legislativo, plantearon, puede “establecer la no punición de determinados hechos delictivos”.
En tanto, Enrique Petracchi, sostuvo un punto intermedio, al calificar la norma como una “amnistía”, legalmente admisible mientras que la única disidencia la sostuvo Jorge Bacqué, al calificar la norma como inconstitucional y que al dictarla los legisladores asumieron facultades judiciales.