L'objection la plus persistante à Locke est que la mémoire semble trop étroite pour accomplir la tâche qui lui est assignée. Joseph Butler, dans son essai de 1736 « De l'identité personnelle », soulève un point dévastateur : la mémoire présuppose l'identité plutôt que de la constituer. Je peux me souvenir seulement si je suis déjà celui qui a eu l'expérience antérieure. Ainsi, si l'identité repose sur la mémoire, et que la mémoire repose sur l'identité, la théorie semble circulaire. Locke avait essayé de fonder la personnalité sur la conscience, mais Butler insiste sur le fait que la conscience est un mode de relation à soi-même, et non le fondement ultime de l'identité.
Cette objection est pertinente car elle préserve ce que Locke voulait expliquer tout en niant son analyse. Dans la vie ordinaire, nous ne considérons pas la mémoire comme un pont magique qui crée le passé ; nous la considérons comme un accès à un passé qui nous appartient déjà. Le défi de Butler protège donc le bon sens. Mais il soulève également une question plus profonde : si l'identité ne peut pas être analysée à travers la mémoire, que peut expliquer notre sentiment le plus fort de possession sur le passé ?
Une deuxième ligne de critique vient de Thomas Reid, dont l'exemple du « Brave Officer » montre comment la mémoire peut être transitive sans que l'identité soit transitive de la manière dont Locke en a besoin. Le garçon est fouetté, le jeune officier se souvient du fouet, et le vieux général se souvient de la bataille. Pourtant, si le vieux général ne se souvient plus directement du fouet, le critère de Locke semble impliquer que le général n'est pas la même personne que le garçon, même s'il est lié par une chaîne d'expériences mémorisées. L'exemple est élégant car il exploite un fait familier : la mémoire peut être partielle et chevauchante tout en maintenant la continuité de la vie.
Le point de Reid expose une faiblesse dans tout critère strict de mémoire. Si l'identité nécessite une mémoire directe, elle exclut trop de choses. Si elle permet des liens indirects, elle commence à ressembler à une continuité psychologique plus large, pas seulement à la mémoire. C'est une des raisons pour lesquelles les théories ultérieures passent de la recollection épisodique à des chaînes de connexions mentales chevauchantes. Le critique n'est pas simplement pédant ; il montre que le soi n'est pas récupéré par une seule ligne claire.
Un troisième défi vient de la possibilité de duplication, plus tard dramatique dans des expériences de pensée modernes. Supposons que ma vie psychologique puisse être copiée dans deux êtres futurs, chacun également continu avec moi. Le cadre de Locke, pris littéralement, a du mal à dire lequel est moi, ou si les deux le sont. L'identité, après tout, est un à un. Mais la continuité psychologique peut se ramifier. La théorie semble alors ne convenir à la survie que dans les cas où aucune ramification ne se produit, ce qui est une limitation sévère une fois que nous imaginons des technologies avancées ou des états mentaux divisés.
Ce n'est pas simplement de la science-fiction. Les cas de cerveaux divisés en neurosciences soulèvent des inquiétudes connexes sur la question de savoir si la conscience unifiée est aussi simple que le bon sens le suggère. Si un seul organisme peut présenter des flux de conscience partiellement indépendants, alors la relation entre la conscience et la personnalité est moins ordonnée que Locke ne l'espérait. Le corps peut rester un ; la personne peut ne pas l'être. Pourtant, si la personnalité peut se diviser, alors peut-être que les critères d'identité doivent être pluriels plutôt que singuliers.
L'objection corporelle et animaliste est encore plus directe. Selon ce point de vue, développé sous diverses formes par des philosophes ultérieurs, une personne n'est qu'un animal humain, et la persistance de la personne est la persistance de l'organisme. Cela évite les énigmes de la perte de mémoire et de la duplication en plaçant l'identité là où la biologie la place. Cela correspond également mieux à notre pratique quotidienne de suivre les gens par leurs corps, leurs noms et leurs dossiers légaux. Le coût est qu'il semble ignorer l'intuition selon laquelle ce qui importe dans la survie n'est pas seulement que cet animal continue, mais que la conscience continue.
La tension ici est aiguë. Si je me réveille après une amnésie totale dans le même corps, la plupart d'entre nous ressentent qu'une certaine continuité importante demeure, mais peut-être pas suffisamment pour le poids moral complet de mon passé. Si, à l'inverse, mes souvenirs et mon caractère étaient transférés ailleurs, beaucoup hésiteraient à appeler cela une survie même si la psychologie semblait préservée. Le débat perdure car chaque camp capture quelque chose de vrai et laisse quelque chose de côté.
Le récit de Locke est également mis à l'épreuve par le poids de la pratique éthique. Les tribunaux et les communautés tiennent souvent les gens responsables non seulement de ce qu'ils se souviennent explicitement, mais aussi de ce qu'ils ont fait, approuvé ou devenu. L'habitude, le caractère et le rôle social comptent. Un modèle purement épisodique du soi peut faire paraître la personne trop fragmentaire pour soutenir la continuité que la vie morale exige. En même temps, un modèle purement corporel peut rendre la responsabilité trop grossière, comme si la chair elle-même pouvait mériter le blâme.
C'est ici que le débat philosophique devient humainement coûteux. Si l'identité personnelle est trop mince, la responsabilité peut se dissoudre ; si elle est trop épaisse, nous pouvons punir le mauvais sujet. La démence, les traumatismes sévères et le coma aiguisent la douleur de la question. La question n'est pas académique lorsqu'une famille demande si la personne qu'elle aime est toujours là. Une théorie qui traite de la téléportation mais ne peut pas parler du chagrin n'a pas résolu le problème ; elle l'a seulement déplacé.
Les défenseurs les plus fervents de Locke répondent en élargissant l'idée de continuité psychologique ou en séparant l'identité stricte de ce qui importe dans la survie. Mais ce mouvement lui-même concède un point important : peut-être que l'identité de la personne et la préoccupation pour son avenir ne sont pas des questions identiques. La théorie est mise à l'épreuve de manière plus sévère lorsque nous réalisons que la survie peut se manifester par degrés, tandis que l'identité, si elle existe, ne le fait pas. Cette pression ouvre la voie à une nouvelle phase du débat.
Une fois que les objections classiques ont fait leur travail, la question n'est plus de savoir si l'identité personnelle a une essence unique. Il s'agit de savoir si l'énigme elle-même nous a appris à penser différemment à ce qu'est une personne.