La grande objection à l'empirisme n'est pas qu'il s'intéresse à l'expérience, mais que l'expérience peut ne pas contenir suffisamment de contenu pour supporter le poids que les philosophes lui attribuent. La version la plus célèbre de cette inquiétude apparaît chez David Hume, dont le génie est indissociable de son scepticisme. Si nous acceptons son standard strict — que chaque idée légitime doit dériver d'une impression — alors beaucoup de nos notions les plus importantes commencent à vaciller. L'argument n'est pas simplement abstrait. C'est un test méthodologique, mené contre toute l'architecture de la compréhension humaine, et c'est précisément parce que Hume prend l'expérience si au sérieux que les limites de l'expérience deviennent inévitables.
La causalité est le cas classique. Nous ne percevons pas, argue Hume, la connexion nécessaire elle-même ; nous voyons seulement un événement suivi d'un autre. Une allumette allume une bougie, un soleil chauffe une pierre, une lettre est ouverte après avoir été postée. Dans chaque cas, l'esprit s'attend à ce que le second événement survienne après une conjonction répétée, mais l'attente n'est pas nécessité. Le résultat est une psychologie dévastatrice et une embarras philosophique. La science semble reposer sur la loi causale, pourtant l'empirisme menace de montrer que la loi causale n'est que l'habitude de projection de l'esprit. La scène de l'enquête ici est la vie ordinaire : une personne allume une allumette dans une pièce, voit la flamme s'allumer, et en vient à compter sur cette séquence la prochaine fois. Mais la question philosophique est plus aiguë que l'habitude quotidienne. Qu'est-ce qui, dans le monde observé lui-même, autorise le mot « doit » ? La réponse de Hume est que l'expérience enregistre la séquence, non la force contraignante.
C'est ici que la tension se précise en paradoxe. L'empirisme veut honorer l'expérience, mais le monde de l'expérience ne contient que succession, pas la force contraignante que nous attribuons à la nature. Si nous adoucissons la doctrine, nous pouvons sauver la science mais affaiblir la pureté originelle de la revendication. Si nous la maintenons rigide, nous risquons de réduire nos meilleures explications à des fictions psychologiquement utiles. L'accomplissement de Hume a été de montrer que ce n'est pas un problème secondaire mais le coût central de l'entreprise empiriste. Il ne se contente pas de perturber un point technique en métaphysique. Il expose une ligne de faille traversant l'ensemble de l'effort moderne pour fonder la certitude sur ce qui est donné.
Une autre objection concerne le soi. Le récit de Locke sur l'identité personnelle à travers la conscience et la mémoire est ingénieux, mais il fait face au problème de la discontinuité. Que se passe-t-il si la mémoire est partielle, déformée ou perdue ? Que se passe-t-il si la conscience change de sorte que la personne d'hier ne coïncide pas entièrement avec la personne d'aujourd'hui ? Les critiques, depuis Butler, ont soutenu que la mémoire présuppose l'identité personnelle plutôt que de la constituer. L'empiriste veut remplacer la substance occulte par une continuité vécue, mais le remplacement peut ne pas être suffisamment stable pour accomplir le travail métaphysique. Ici encore, la question n'est pas simplement conceptuelle. Elle concerne ce qui peut être transporté à travers le temps, ce qui est retenu et ce qui s'échappe. Un souvenir peut être vivant et pourtant peu fiable ; une chaîne d'épisodes mémorisés peut encore échouer à sécuriser un seul sujet durable. La preuve même qui semble garantir l'identité peut déjà présupposer l'identité qu'elle est censée prouver.
L'immatérialisme de Berkeley invite à un autre ensemble de doutes. Son argument contre la matière est puissant seulement si l'on accepte que les objets immédiats de la perception épuisent ce qui est connaissable. Mais de nombreux philosophes ont estimé que cela passait trop rapidement d'un point de vue épistémologique à une conclusion ontologique. Du fait que nous connaissons les choses à travers des idées, il ne s'ensuit pas évidemment qu'il n'existe pas de monde matériel indépendant de l'esprit. Le prix de l'élégance de Berkeley est une dépendance radicale à Dieu et à la perception, un prix que beaucoup ont jugé trop élevé. Dans la logique de l'argument, la matière est déplacée parce qu'elle ne peut pas être perçue directement ; dans la logique de la critique, ce déplacement peut sembler un saut. L'inquiétude n'est pas seulement que la matière devienne invisible, mais que le monde devienne précocement lié aux conditions d'être perçu.
Les rationalistes, en particulier Leibniz, ont exercé une critique complémentaire. Si l'esprit n'était qu'une simple ardoise vierge, comment pourrait-il reconnaître des vérités nécessaires ? Comment les mathématiques, la logique ou le principe de non-contradiction pourraient-ils posséder le type de nécessité que nous leur attribuons ? La célèbre réplique de Leibniz à Locke dans les Nouveaux Essais sur l'entendement humain est que rien n'est dans l'intellect qui n'ait d'abord été dans les sens, sauf l'intellect lui-même. La remarque est souvent citée car elle isole le différend : l'expérience peut fournir des occasions, mais elle ne peut pas fournir les pouvoirs d'organisation par lesquels la connaissance devient possible. Le conflit ne porte pas simplement sur la question de savoir si les idées sont copiées ou innées. Il s'agit de savoir si l'esprit est suffisamment passif pour être décrit comme un réceptacle, ou suffisamment actif pour fournir les structures qui rendent l'expérience intelligible en premier lieu.
Kant approfondirait plus tard cette objection en soutenant que l'expérience elle-même présuppose déjà des formes de synthèse, telles que l'espace, le temps et la causalité, qui ne sont pas simplement copiées de la sensation. Sa philosophie critique peut être lue, en partie, comme une tentative de sauver ce qui est juste dans l'empirisme tout en expliquant pourquoi l'expérience seule ne peut pas rendre compte de la structure de l'expérience. En ce sens, Kant n'est pas un ennemi de l'empirisme tant qu'il est son diagnosticien et son révisateur. Il accepte la discipline de l'attention à ce qui apparaît, mais refuse de laisser l'apparence être confondue avec l'auto-explication. L'empiriste commence avec ce qui est donné ; Kant demande ce qui doit déjà être à l'œuvre pour que le donné soit reçu comme expérience.
Il existe également des critiques pratiques. Si l'esprit est principalement façonné par l'expérience, alors une mauvaise expérience engendre un mauvais jugement. Ce n'est pas une réfutation, mais cela signifie que l'empirisme peut sembler trop optimiste quant à l'éducation et trop pessimiste quant aux normes communes. On peut se demander si toute expérience est également autoritaire, ou si certaines expériences nécessitent une interprétation par des normes qui ne découlent pas elles-mêmes directement de la sensation. La vie morale, en particulier, semble nécessiter plus qu'une réception passive. Elle a besoin de classement, d'évaluation et d'idéaux que l'expérience peut révéler mais ne génère pas évidemment. Cette préoccupation devient particulièrement aiguë lorsque les institutions dépendent de témoignages fiables, d'observations compétentes et de jugements disciplinés. L'expérience est partout, mais toutes les expériences ne sont pas dignes de confiance, et tous les observateurs ne savent pas ce qui importe.
Pourtant, les critiques les plus forts n'ont pas simplement rejeté l'empirisme. Ils ont vu que son succès était la source de son péril. En liant la connaissance à l'expérience, l'empirisme a rendu la philosophie responsable ; ce faisant, il a exposé le fossé entre ce qui peut être observé et ce qui doit être supposé pour que la pensée et la science fonctionnent. Ce fossé n'est pas un accident. C'est l'endroit où la doctrine prouve à la fois son honnêteté et ses limites. Dans l'histoire des idées, c'est ce qui donne à l'empirisme sa force durable : il n'évite pas la difficulté en faisant appel à des essences cachées, mais il ne peut pas non plus éviter totalement les conditions cachées qui rendent l'expérience utilisable.
Le résultat est une philosophie éprouvée par le feu. Elle survit en devenant plus subtile : moins une affirmation que l'expérience contient tout, plus une discipline insistant sur le fait que rien ne peut être considéré comme connaissance à moins qu'il ne puisse répondre à l'expérience. Ce raffinement aide à expliquer comment l'empirisme a pu survivre aux disputes classiques et entrer dans de nouveaux mondes intellectuels. La question n'est plus de savoir si la doctrine a été vaincue, mais comment elle a été transformée et où ses exigences résonnent encore. Les anciennes controverses sur la causalité, le soi et la perception n'ont pas mis fin au débat ; elles ont défini son terrain. L'empirisme est apparu non pas comme un règlement final, mais comme un défi permanent à la philosophie pour montrer, étape par étape, ce que l'expérience peut soutenir et où elle ne peut pas.