Tot i que la historiografia situa les arrels dels Cavaller a Besalú i Barcelona, el 1416 arriben a Cervera els avis materns de Samuel Cavaller procedents de la veïna vila de Ponts (Noguera). S’estableixen en el barri jueu antic, el call jussà, al carrer de n’Agramuntell, un espai que corria paral·lel al carrer Major, des de l’actual carreró del Teco fins darrere l’església de Sant Bernat, on hi romandran durant les dues primeres generacions. L’avi, en Samuel de Lunell, és persona adinerada i metge de renom, professió que distingirà bona part de la família, tot passant repetidament de pares a fills.