De nos jours, ChatGPT ne peut pas remplacer avec succès un avocat humain.
Le prototype d'agent conversationnel lancé par OpenAI en novembre 2022 a été testé et il a été démontré qu’il n’est pas capable de gérer des questions d’analyse de processus plus avancées.
Il n’a pas encore passé l’examen du barreau aux États-Unis. Cependant, il a réussi la première de ses trois composantes : il a obtenu un taux de précision de 50% au MBE (Multistate Bar Examination), la composante à choix multiples de l’examen du barreau américain.
Le modèle de langage a également réussi à passer médiocrement certains examens de droit dans des universités américaines. En moyenne, ses performances étaient au niveau d’un étudiant C+ (ce qui, en France, équivaudrait à 9/20).
En réalité, les compétences analytiques sont essentielles pour les avocats. Trouver des solutions légales aux besoins du client et le guider vers le succès en tenant compte des contextes juridique, économique, social, politique et humain, nécessitera toujours la réalisation d’analyses approfondies.