La première et la plus durable objection au libertarianisme est qu'il confond la liberté formelle avec la liberté substantielle. Une personne peut être libre, dans le sens légal mince, de choisir parmi des options qui sont en réalité bloquées par la pauvreté, la maladie, un désavantage hérité ou la concentration du marché. Les critiques soutiennent que lorsque les libertariens considèrent toute transaction non contrainte comme moralement saine, ils ignorent les manières dont le désespoir peut restreindre le consentement sans l'abolir. Le défi n'est pas seulement rhétorique ; il interroge si la liberté peut avoir un sens lorsque la ligne de départ est radicalement inégale. Dans l'État-providence moderne, cette critique a été aiguisée par des réalités politiques concrètes : un travailleur dans une ville d'entreprise, un locataire face à une expulsion, ou un débiteur sous pression d'intérêts et de frais peuvent « choisir » dans une structure si inégale que la liberté célébrée n'est que partielle. Les libertariens répondent que toute tentative de corriger une telle inégalité par la force crée une nouvelle contrainte, mais les critiques insistent sur le fait que la liberté qui mérite d'être défendue ne peut être réduite à la simple absence d'une main sur l'épaule.
John Rawls a aiguisé cette préoccupation en faisant dépendre la justice de l'équité de la structure de base de la société. Dans A Theory of Justice (1971), il a soutenu que la liberté ne peut être comprise indépendamment d'institutions équitables qui garantissent des opportunités justes et protègent les moins avantagés. Selon cette perspective, une distribution résultant de nombreuses transactions volontaires peut encore être injuste si la structure de fond qui produit ces transactions est elle-même injuste. La réponse libertarienne est que la redistribution coercitive impose également des coûts et qu'aucun schéma ne peut être maintenu sans une interférence constante. Le débat n'est pas entre justice et indifférence, mais entre deux manières rivales de comprendre ce que la justice exige. L'argument de Rawls était important car il a déplacé la question des échanges isolés à l'architecture qui rend les échanges possibles. Il impliquait qu'on pouvait examiner les résultats d'une société et manquer néanmoins l'injustice plus profonde ancrée dans ses règles d'entrée, ses marchés du travail, ses écoles et ses privilèges héréditaires. Les libertariens ont souvent répondu en défendant la priorité morale des droits sur les schémas sociaux, mais la critique rawlsienne persiste parce qu'elle ne demande pas si une transaction donnée était volontaire à ce moment-là, mais si le monde qui l'entoure a jamais été juste au point de rendre le consentement pleinement significatif.
Une deuxième tension concerne la propriété elle-même. Le libertarianisme traite souvent la propriété comme une extension naturelle de l'auto-propriété, mais les critiques se demandent comment un système de propriété robuste peut être justifié sans règles collectives préalables. Les frontières, l'application, l'héritage et le droit des contrats ne sont pas des miracles spontanés ; ils dépendent d'institutions. Si tel est le cas, alors la propriété peut être moins un fait moral antérieur qu'une création légale et politique. La surprise ici est qu'une théorie construite pour limiter le pouvoir de l'État semble avoir besoin du pouvoir de l'État pour définir les droits mêmes qu'elle souhaite protéger. Ce n'est pas un point administratif mineur. Un acte n'est valable que dans la mesure où le registre qui le soutient l'est ; une clôture n'a de sens que par la loi qui protège contre l'intrusion ; un héritage n'est sécurisé que par des règles de succession et des lignes de succession reconnues. Même l'échange de marché le plus basique repose sur des titres enregistrés, des revendications exécutoires et des tribunaux identifiables. Le libertarien peut insister sur le fait que ce ne sont que des fonctions protectrices, et non redistributrices, mais la distinction reste sous pression car les mêmes institutions qui protègent la propriété déterminent également qui peut posséder quoi en premier lieu.
L'histoire ajoute une complication plus sombre. L'ordre de marché réel que les libertariens admirent a souvent été entremêlé avec des formes de pouvoir de négociation inégal, d'extraction coloniale, de privilège monopolistique et de capture réglementaire. Cela ne réfute pas l'affirmation selon laquelle l'échange volontaire est préférable à la force, mais cela remet en question la tendance du mouvement à imaginer les marchés existants comme moralement innocents par défaut. Si certaines fortunes sont construites sur des privilèges légaux ou des avantages hérités, alors le transfert « volontaire » peut reposer sur un contexte que nul libertarien ne peut simplement ignorer. Le point n'est pas abstrait. De grandes concentrations de richesse peuvent survivre par la légalité formelle tout en reflétant des structures d'exclusion qui n'ont jamais été également ouvertes à tous. Dans un tel contexte, l'idéal du consentement peut masquer l'asymétrie. Une transaction signée dans un environnement fortement déséquilibré peut être volontaire en vertu de la loi et pourtant moralement entachée par les conditions qui l'ont produite. Les critiques poussent donc le libertarianisme à rendre compte non seulement de la légitimité de surface de l'échange, mais aussi de l'histoire cachée qui a rendu l'échange possible.
L'inquiétude interne classique est le problème de l'État lui-même. Si un État minimal est autorisé à taxer, à faire respecter la loi et à juger, pourquoi cet État ne viole-t-il pas déjà le principe même qu'il est censé préserver ? Nozick a tenté de répondre à cela dans son exposé de l'« État ultraminimal » évoluant vers un État minimal, mais de nombreux lecteurs ont jugé la transition instable. Si les droits sont des contraintes latérales, alors l'État ne doit pas forcer quiconque à soutenir des services de protection ; pourtant, si certaines personnes refusent de payer, l'État doit tout de même les empêcher de vivre aux dépens des autres. La ligne entre protection légitime et contrainte illégitime devient difficile à maintenir. Ce problème n'est pas seulement théorique. Il réapparaît chaque fois qu'un gouvernement collecte des revenus, applique des jugements ou contraint la participation à des systèmes nécessaires à l'ordre. L'idéal libertarien d'un État minimal fait donc face à une énigme récurrente : les institutions mêmes nécessaires pour garantir la liberté semblent exiger l'usage dirigé de la force que la doctrine méfiance par ailleurs.
Un autre problème apparaît dans l'action collective. Les biens publics — air pur, contrôle de base des maladies, infrastructures, réponse d'urgence — sont notoirement vulnérables à la fraude. Les libertariens répondent que tous les problèmes collectifs ne nécessitent pas de coercition étatique et que des solutions privées, locales ou contractuelles sont souvent négligées. Mais les critiques répliquent que certains biens sont difficiles à fournir à grande échelle sans contribution obligatoire. La tension est pratique et morale : si la liberté est protégée de manière absolue, certaines formes de vulnérabilité partagée peuvent persister ; sinon, l'État grandit au-delà du minimalisme. Les enjeux deviennent visibles dans la vie ordinaire. Les routes doivent être entretenues avant de s'effondrer ; le contrôle des maladies peut nécessiter une action coordonnée avant que les épidémies ne se propagent ; les services d'incendie ne peuvent pas toujours attendre que des contrats individuels soient négociés au moment du danger. Le libertarianisme est le plus fort lorsqu'il insiste sur le fait que les États revendiquent souvent trop la nécessité, mais il est le plus faible lorsqu'il doit expliquer pourquoi certains fardeaux collectifs peuvent être laissés à l'action volontaire sans exposer tout le monde.
Les critiques féministes et communautaires ont soulevé un point différent. Elles soutiennent que le libertarianisme abstrait la personne des dépendances denses de l'enfance, des soins, du handicap et de la vie familiale. Les êtres humains ne naissent pas en tant que propriétaires autonomes ; ils sont nourris, contraints et soutenus par d'autres bien avant de pouvoir consentir. Cela ne justifie pas en soi un pouvoir étatique illimité, mais cela complique la représentation du choix souverain. La liberté peut dépendre de relations de soin qui ne s'inscrivent pas facilement dans l'idiome du contrat. Les termes mêmes par lesquels les libertariens décrivent les personnes — propriétaires, choisis, contractants — peuvent manquer les réalités corporelles et sociales à travers lesquelles l'agence se forme. Un bébé, un adulte handicapé ou une personne âgée dépendante de proches ou d'institutions n'apparaît pas d'abord comme un acteur de marché porteur de droits. La critique est qu'une philosophie politique centrée sur l'échange volontaire peut ne pas enregistrer adéquatement combien la liberté humaine est assemblée à partir de liens non choisis, de travail non rémunéré et d'interdépendance qui précède l'autonomie.
Une autre objection concerne la psychologie morale de la doctrine. En élevant la non-agression au-dessus de la plupart des autres considérations, le libertarianisme peut sembler aplatir la vie éthique. Les actes de générosité, de solidarité, de devoir civique et de participation démocratique peuvent être admirables, mais la théorie peine à expliquer pourquoi ils devraient être politiquement centraux s'ils ne peuvent être réduits à des droits. Le prix de la clarté est que certains biens deviennent invisibles ou secondaires. C'est un coût sérieux, pas une simple querelle académique. Une communauté politique doit d'une manière ou d'une autre tenir compte des voisins qui contribuent à la vie commune, des citoyens qui délibèrent et des obligations qui ne peuvent être réduites à des contrats signés sous la menace de pénalités. Le libertarianisme peut applaudir ces choses comme des vertus privées, mais les critiques disent que cette relégation est elle-même révélatrice : si la vie publique est traitée principalement comme une zone de coercition potentielle, alors les textures plus riches de l'obligation civique peuvent être diminuées avant même d'être défendues.
Pourtant, le mouvement est le plus fort lorsque les critiques le prennent au mieux. Les libertariens ne défendent généralement pas l'égoïsme en tant que tel ; ils insistent sur le fait que le pouvoir sans consentement est dangereux et que la coercition bien intentionnée tend à s'étendre au-delà de sa justification initiale. La critique la plus forte, donc, n'est pas qu'ils aiment trop la liberté, mais qu'ils peuvent définir la liberté trop étroitement. Une fois cette question pleinement confrontée, la théorie est mise à l'épreuve : la liberté peut-elle rester centrale sans devenir tout ce qui compte ? La question n'a jamais été simplement académique. Elle se situe à l'endroit où la loi rencontre l'inégalité, où la propriété rencontre la force, et où la promesse du choix confronte les réalités qui façonnent qui peut choisir en premier lieu.