Quando si può non restituire il deposito cauzionale

Il contratto di locazione che mi vedeva nella veste di affittuario è da poco scaduto. Al momento della riconsegna al proprietario, abbiamo firmato un foglio nel quale si annota che il tendone del terrazzo - già abbastanza usurato al momento del mio ingresso nell'appartamento - risulta scucito (non rotto). Sono passati 10 giorni dalla firma e il proprietario, sostenendo di non avere trovato artigiani disponibili a riparare il tendone ricucendolo, sta valutando di cambiarlo. Se dovesse farlo, potrebbe scalare il prezzo dalla caparra che gli ho versato a suo tempo, e che ora dovrebbe restituirmi?