désinscription aux monuments historiques

Est-ce qu'il est possible de désinscrire quelquechose de la liste des monuments historiques ?
Et si oui comment ?
Je connais un petit village ( mais il ne doit pas être le seul ) où quelqu'un a une époque a cru bien faire, pour un bout de mur délabré qui n'intéresse personne.
Et depuis tout le monde s'en mord les doigts, l'intransigeant Architecte des Batiments de France disant systématiquement non à tout projets de travaux sur les maisons, meme quand ça n'est pas du tout visible du lieu protégé.
--
Fabrice