La première et la plus persistante des objections est interne : un utilitariste peut-il vraiment affirmer que certains plaisirs sont meilleurs en nature, et non seulement en quantité, sans abandonner l'égalité centrale de la théorie ? De nombreux lecteurs ont pensé que Mill avait introduit un standard non-utilitariste sous le couvert de l'utilité. Si les plaisirs supérieurs sont jugés par un critère qualitatif, alors quel est le fondement de ce critère, sinon un appel à des idéaux de dignité, de culture ou d'excellence qui cohabitent difficilement avec le simple hédonisme ? La propre réponse de Mill est que la théorie reste ancrée dans la préférence expérimentée, et non dans un rang métaphysique. Mais l'inquiétude ne disparaît pas. Elle change simplement de forme : peut-être que la doctrine est moins un principe unique qu'un règlement négocié entre Bentham et la conscience éduquée.
Une deuxième critique cible le principe de préjudice. John Austin, l'un des contemporains les plus incisifs de Mill, a soutenu que la frontière entre les actes se rapportant à soi et ceux se rapportant aux autres est beaucoup moins stable que ne le suggère la rhétorique de Mill. Boire, jouer, s'éduquer, la vie de famille et le discours public rayonnent tous des conséquences au-delà de l'individu. Si tel est le cas, alors presque tout acte peut être redéfini comme nuisible dans un sens plus large, et le principe risque de devenir soit inopérant, soit manipulable. Mill était conscient de cette difficulté, c'est pourquoi il met l'accent sur le préjudice direct et substantiel plutôt que sur chaque ondulation lointaine. Pourtant, l'objection expose une tension structurelle : la liberté dépend d'une distinction que la vie sociale brouille constamment.
Le même problème apparaît dans sa défense de la liberté d'expression. Mill soutient que faire taire une opinion prive l'humanité, car l'opinion peut être vraie, partiellement vraie, ou un défi nécessaire à une vérité établie. Mais les critiques soulignent que certaines paroles semblent conçues moins pour rechercher la vérité que pour mobiliser la haine ou la dégradation. Le cadre même de Mill offre une forte défense du désaccord robuste, mais il a plus de mal avec les discours qui infligent des dommages sociaux diffus tout en restant formellement « opinion ». Les débats modernes sur le harcèlement, la désinformation et la gouvernance des plateformes tournent encore autour de ce point de pression.
Une objection plus profonde, formulée par des critiques ultérieurs, est que le récit de Mill sur l'individualité pourrait être trop optimiste quant aux conditions sociales de l'auto-développement. Les choix réels sont façonnés par la classe, le genre, l'empire et la désespérance économique. Dire à un pauvre travailleur ou à une femme subordonnée que la liberté est disponible en principe peut être moralement vrai et pratiquement évasif. Mill est souvent meilleur que son époque sur ces questions — notamment dans The Subjection of Women — pourtant il conserve également des angles morts sur la profondeur de l'inégalité structurelle. Le prix de son universalisme libéral est qu'il sous-estime parfois à quel point les gens entrent de manière inégale dans le jeu de l'auto-culture.
Il y a aussi la question de la domination impériale. Mill a passé une grande partie de sa carrière à la East India Company et a écrit de manière à le rendre sceptique quant à l'auto-gouvernance démocratique immédiate dans les contextes coloniaux. Cette tension a conduit certains chercheurs à le considérer comme un libéral de l'empire : un défenseur de la liberté chez soi, mais pas entièrement prêt à étendre la même confiance de manière universelle. La critique n'est pas triviale, car elle touche à la portée morale des principes mêmes qu'il chérissait. Si la liberté est justifiée par le développement humain, pourquoi certains peuples devraient-ils être jugés non prêts pour cela ? Sa réponse, façonnée par des présupposés victoriens sur les stades de civilisation, expose à quel point il était difficile pour le libéralisme du XIXe siècle de devenir véritablement global.
Même là où Mill est le plus fort, il court un paradoxe. Il veut l'individualité, mais il veut aussi une société moralement améliorée. Il admire l'excentricité, mais seulement dans la mesure où elle élargit la capacité humaine. Il résiste au paternalisme, mais il pense que l'éducation, le débat public et les institutions éclairées doivent délibérément cultiver de meilleurs citoyens. Ce n'est pas tant une inconsistance qu'un fardeau de son projet : rendre la liberté productive sans la transformer en simple licence.
Un tournant surprenant dans l'histoire critique est que certaines des attaques les plus sévères contre Mill proviennent de personnes qui valorisaient la liberté mais doutaient de sa psychologie. Les critiques religieux pensaient que son récit de la conscience était trop séculier ; les conservateurs pensaient que sa confiance dans le progrès était trop expérimentale ; les socialistes pensaient que son individualisme était trop lié à la société bourgeoise ; les féministes le louaient parfois plus que sa propre tradition ne le faisait, tout en le pressant d'aller plus loin. Le résultat est que Mill est devenu un penseur carrefour : tout le monde pouvait l'utiliser, mais personne ne pouvait le garder entièrement intact.
La lecture charitable la plus forte des critiques est qu'elles posent une question difficile : une théorie peut-elle porter à la fois l'aspiration morale et la retenue politique sans étouffer le désir ni excuser l'inégalité ? La réponse de Mill est oui, mais seulement si l'on croit que les personnes se développent par la liberté, et non malgré elle. Les critiques répondent que la liberté elle-même est socialement produite et distribuée de manière précaire. L'argument reste vivant car les deux parties voient quelque chose de vrai.
À la fin de la rencontre critique, la philosophie de Mill ressemble moins à une doctrine bien ordonnée qu'à un équilibre précaire. Elle survit en se déplaçant entre utilité et dignité, société et individualité, liberté et éducation. Cet équilibre peut être défendu, mais seulement au prix d'admettre à quelle fréquence il est menacé de l'intérieur. La question qui reste en suspens n'est pas de savoir si Mill a été réfuté une fois pour toutes, mais pourquoi son équilibre instable organise encore tant de la pensée politique moderne.