La première objection majeure est arrivée rapidement, et elle visait le mot clé de toute l'histoire : « apprendre ». Lorsque Mary quitte la pièce et voit du rouge, peut-être n'acquiert-elle pas du tout un nouveau fait. Peut-être acquiert-elle une nouvelle capacité : la capacité de reconnaître, d'imaginer et de se souvenir des expériences rouges. Ou peut-être acquiert-elle un nouveau concept : une manière de penser à un état qu'elle connaissait déjà sous des descriptions physiques. Si tel est le cas, la percée épistémique apparente n'implique pas un fossé ontologique. L'argument repose ici sur une petite mais conséquente distinction. Ce qui ressemble à une révélation peut n'être qu'un changement d'accès.
Cette ligne de réponse a été développée avec une force particulière par Laurence Nemirow et David Lewis, qui ont soutenu que Mary acquiert des capacités pratiques et conceptuelles plutôt que des connaissances propositionnelles sur un nouveau fait. Leur intervention était significative car elle ne rejetait pas la force de l'exemple ; elle acceptait le cadre et changeait l'interprétation. La chambre de Mary, selon cette lecture, n'est pas un laboratoire dans lequel la science est renversée. C'est un test de ce qui compte comme apprentissage. L'importance de la critique réside dans sa charité. Nemirow et Lewis n'ont pas nié la vivacité de l'exemple ; ils l'ont expliqué différemment. La première expérience de rouge de Mary peut être transformative, mais la transformation seule ne montre pas qu'un nouveau fait non physique est entré dans le monde.
La force de cette réponse devient plus facile à voir lorsque l'on revient à la structure de l'expérience de pensée elle-même. Mary est confinée avec des informations en noir et blanc, imaginées comme une connaissance physique complète de la vision des couleurs. Elle n'est pas ignorante au sens ordinaire ; elle est empêchée d'accéder à un certain type d'accès. Le drame dépend de cette asymétrie. La chambre est censée garantir une description exhaustive de la troisième personne tout en retenant la connaissance de la première personne. C'est pourquoi la libération est si importante. Lorsqu'elle sort, la pomme rouge ou la rose rouge n'est pas simplement un autre élément dans un catalogue. C'est l'occasion où l'abstrait et le vécu semblent se séparer.
Une deuxième objection, associée à la littérature plus large sur les concepts phénoménaux, dit que la surprise de Mary reflète la manière spéciale dont les états phénoménaux sont conceptuellement accessibles. Avant de quitter la pièce, elle ne peut faire référence à la vision des couleurs qu'à travers des concepts physiques. Après avoir quitté, elle possède un concept phénoménal ancré dans sa propre expérience. Le monde reste inchangé ; sa manière de le saisir ne l'est pas. Cette réponse préserve le physicalisme en déplaçant le mystère de l'ontologie à la cognition. Selon ce compte, ce qui change à l'extérieur n'est rien du tout ; ce qui change dans le répertoire de pensée de Mary est tout. Le fardeau philosophique passe de la question de savoir s'il y a de nouveaux faits à celle de savoir pourquoi un même fait peut être connu de deux manières si différentes.
La tension ici est que l'explication peut sembler ingénieuse sans être satisfaisante. Si Mary connaissait déjà tous les faits physiques, pourquoi un nouveau concept devrait-il sembler si révélateur à moins qu'il ne suive un fait véritablement nouveau ? Le physicaliste doit non seulement une distinction mais aussi une histoire sur pourquoi la distinction est importante. Le coût de la réponse est qu'elle peut sembler redécrire la surprise plutôt que de l'expliquer. C'est le malaise persistant au cœur du débat : les défenseurs de l'argument insistent sur le fait que le problème réside dans nos concepts, tandis que ses critiques soupçonnent que les concepts ne font que suivre le problème, sans le produire.
John Perry et d'autres ont soulevé des inquiétudes connexes sous une forme différente. Peut-être que le cas montre que la connaissance indexicale est importante : savoir que l'eau est H2O est une chose, savoir que ce verre contient de l'eau en est une autre. De même, savoir ce qu'est la vision des couleurs de manière abstraite peut ne pas dire à Mary qu'elle est maintenant dans un état perceptuel rouge. Mais encore une fois, la tension réside dans la question de savoir si l'indexicalité peut rendre compte de toute la force de la phénoménologie. Le problème n'est pas seulement l'auto-localisation ; c'est la qualité ressentie. Une personne dans la position de Mary ne met pas simplement à jour un fichier marqué « ma condition actuelle ». Elle est confrontée à ce qui semble être le caractère qualitatif de l'expérience elle-même.
Le défi le plus célèbre à la conclusion originale de Jackson est venu de Jackson lui-même. Il a ensuite abandonné l'interprétation anti-physicaliste et est devenu physicaliste. Avec le recul, il a soutenu que Mary acquiert une nouvelle manière de penser, pas un nouveau fait sur le monde. Ce renversement est un événement philosophique frappant en soi. Le penseur qui a conçu la chambre en est finalement sorti, non pas parce que l'énigme avait disparu, mais parce qu'il en est venu à croire que la leçon était différente de celle qu'il avait d'abord tirée. Dans l'histoire intellectuelle de l'argument, cela a eu une énorme importance. Cela signifiait que l'expérience de pensée ne pouvait plus être lue comme un piège unidirectionnel menant inévitablement au dualisme. Son propre auteur avait rouvert le dossier.
Ce changement a aiguisé le débat plutôt que de le clore. Les critiques de la lecture anti-physicaliste ont souligné que si chaque prétendue nouvelle vérité peut être redécrite comme un nouveau concept, l'argument risque de devenir instable. Les partisans ont répondu que la stratégie des concepts phénoménaux peut simplement marquer, plutôt que dissoudre, le fossé même que Mary révèle. L'argument semblait migrer entre la sémantique et la métaphysique, refusant de rester en place. D'un côté, on voulait préserver le physicalisme en réduisant le vocabulaire de « l'apprentissage » ; de l'autre, on insistait sur le fait que le vocabulaire est précisément là où le phénomène cache sa force. Ce qui avait commencé comme une stratégie de preuve élégante est devenu une carte contestée de l'esprit.
Une troisième préoccupation va plus loin : peut-être que le scénario est impossible en principe. Quelqu'un peut-il vraiment connaître tous les faits physiques sur la vision des couleurs sans jamais avoir expérimenté la couleur ? Certains philosophes soupçonnent que l'idée de connaissance physique complète introduit déjà l'accès à des vérités phénoménales. Si tel est le cas, Mary n'est pas une créature cohérente mais une projection philosophique. Pourtant, l'objection a un prix propre, car elle menace de rendre l'intuition originale trop facilement illégale. Nier le cas en le déclarant incohérent risque de mettre fin à l'argument avant qu'il ne commence. Ce mouvement peut protéger une théorie, mais il réduit également la portée de ce qui peut être testé philosophiquement.
Il existe également une subtile asymétrie dans l'histoire. La libération de Mary de la chambre est censée révéler quelque chose d'immédiat et d'indéniable, mais ce qu'elle apprend peut être incommunicable sous forme propositionnelle. Cela rend l'expérience philosophiquement puissante et l'argumentation faible. Si l'élément crucial ne peut être énoncé sans être modifié, alors l'expérience de pensée tire sa force de ce qu'elle ne peut pas capturer. C'est à la fois sa force et sa faiblesse. La chambre fonctionne parce qu'elle isole un type de connaissance qui résiste à la machinerie normale du reporting, du classement et de la vérification. Mais cette même résistance rend difficile de la cerner dans les termes que l'argumentation philosophique exige habituellement.
Les débats qu'elle a générés n'étaient pas des escarmouches triviales. Ils ont exposé une ligne de faille entre les théories qui priorisent la clôture explicative et celles qui priorisent l'immédiateté phénoménale. D'un côté se tenait la demande que la science explique tout ce qui est réel. De l'autre se tenait l'insistance sur le fait qu'il y a quelque chose dans la vie consciente que aucun inventaire de la troisième personne ne semble atteindre. La chambre de Mary reste prise dans ce feu : si elle apprend un fait, le physicalisme est en difficulté ; si elle acquiert seulement une capacité ou un concept, alors l'intuition originale exige un meilleur compte de pourquoi cela semble être plus. Cette pression non résolue est ce qui a donné à ce chapitre sa force en premier lieu, et ce qui continue à faire perdurer l'expérience de pensée.