Grandes modelos lingüísticos como abogados fiscales: este artículo de IA explora las capacidades de un LLM en la aplicación de la legislación fiscal

Feb 05, 2024

Se están logrando avances en la IA. Los grandes modelos de lenguaje (LLM) son donde se están produciendo rápidos avances. Los LLM modernos pueden utilizar herramientas, planificar y aprobar evaluaciones estandarizadas. Pero incluso para sus creadores, los LLM son simplemente cajas misteriosas. No saben mucho sobre cómo piensan por dentro y no pueden predecir cómo actuaría un LLM en una situación nueva. Antes de utilizar modelos fuera del entorno de investigación, es una buena práctica evaluar el desempeño del LLM en una larga lista de puntos de referencia. Sin embargo, estos puntos de referencia con frecuencia deben reflejar actividades del mundo real que son importantes para nosotros o que el LLM puede haber memorizado durante la capacitación. Los datos necesarios para la evaluación del desempeño se incluyen comúnmente en los conjuntos de datos utilizados para la capacitación de LLM, que con frecuencia se descargan de Internet.

La superposición puede sobrestimar el desempeño del modelo, creando la impresión de comprensión cuando puede ser sólo un simple reconocimiento. Concentran especialmente sus esfuerzos de evaluación en las habilidades analíticas legales de los LLM por tres razones. En primer lugar, determinar qué tan bien los LLM entienden la ley puede ayudar con una regulación más general de los LLM y los sistemas automatizados. Una estrategia relevante para las políticas es utilizar razonamientos legales y regulatorios en los LLM para una "IA basada en la ley" que se alinee con los ideales sociales establecidos a través de procedimientos democráticos y legislación. Esta estrategia de “La ley informa al código” se basa en la capacidad demostrada del proceso democrático para producir normas legales flexibles como obligaciones fiduciarias a través de deliberaciones y litigios iterativos. La idea es que enseñar a los sistemas de IA el espíritu de la ley puede ayudarlos a tomar decisiones defendibles en situaciones desconocidas. Cuando un sistema basado en un LLM respalda un principio humano, esta capacidad temprana de detectar cuándo se incumplen las responsabilidades fiduciarias podría permitir implementaciones de IA más seguras. En segundo lugar, ya sea a través del autoservicio o de un abogado calificado, las personas pueden utilizar los LLM como instrumentos para brindar servicios legales de manera más rápida y efectiva. Los modelos pueden ser más fiables y valiosos si comprenden mejor la ley. Los LLM pueden ayudar con diversas actividades, desde la predicción de casos hasta el análisis de contratos, democratizando así el acceso a la asistencia jurídica y reduciendo el costo y la complejidad para las personas a quienes, de otro modo, les resultaría difícil comprender el sistema legal.

Dada la delicada naturaleza del trabajo legal, se deben implementar ciertas protecciones a medida que se implementan estos modelos. Esto implica mejorar la privacidad de los datos, reducir el sesgo, asumir la responsabilidad por las elecciones de estos modelos y evaluar la aplicabilidad de los LLM para un caso de uso particular. Por tanto, son necesarias evaluaciones sistemáticas. En tercer lugar, si los LLM tienen suficiente conocimiento jurídico, el gobierno, el pueblo y los académicos pueden utilizarlos para detectar contradicciones legales. Los LLM pueden mejorar la eficacia general y la apertura de los gobiernos. Por ejemplo, los LLM a menudo pueden explicar reglas y regulaciones complicadas de una manera clara e inteligible.

En el futuro, los LLM pueden pronosticar los probables efectos de nuevas leyes o políticas. Los LLM pueden identificar legislación posiblemente “obsoleta” o situaciones en las que la ley guarda silencio cuando, en otros casos comparables, la legislatura o los reguladores brindan orientación escaneando enormes cantidades de lenguaje legal y las implementaciones que lo acompañan. En esta investigación, investigadores de la Universidad de Stanford, la Universidad de Michigan, la Universidad de Washington, la Universidad del Sur de California, la Facultad de Derecho Northwestern Pritzker y SimPPL investigan la creación de LLM con recuperación aumentada utilizando el texto del Código de EE. UU. (una colección de legislación federal). ) y el Código de Regulaciones Federales (CFR) de EE. UU. Evalúan la comprensión en desarrollo de la legislación tributaria de un grupo de LLM. Se decidieron por la legislación fiscal por cuatro factores.

La autoridad legal en materia tributaria está contenida principalmente en dos fuentes: las Regulaciones del Tesoro bajo el CFR y el Título 26 del Código de los EE. UU. (comúnmente conocido como Código de Rentas Internas). Esto contrasta varias áreas jurídicas donde las doctrinas se derivan de múltiples precedentes. Esto nos permite complementar la recuperación del LLM utilizando un universo predefinido de documentos posiblemente pertinentes. En segundo lugar, muchas leyes tributarias permiten respuestas concluyentes a las preguntas. Esto nos permite implementar flujos de trabajo de validación automática que sean consistentes. En tercer lugar, abordar cuestiones de derecho tributario para un caso específico generalmente requiere algo más que simplemente leer la autoridad legal pertinente; por lo tanto, pueden evaluar las competencias de LLM de una manera que se aplique a la práctica del mundo real.

En cuarto lugar, la legislación tributaria tiene un impacto considerable en las actividades económicas diarias de prácticamente todos los ciudadanos y empresas. Con la ayuda de varias configuraciones experimentales, incluido el uso del LLM solo, la integración del LLM con los textos legales subyacentes y varias técnicas de recuperación (con comparaciones realizadas entre diferentes métodos de recuperación), evaluamos la precisión de las respuestas producidas por los LLM. en miles de consultas sobre leyes tributarias. Realizamos estas pruebas en una variedad de LLM, desde los modelos más pequeños y débiles hasta el modelo moderno más grande, el GPT-4 de OpenAI. Cada LLM que examinamos era de vanguardia cuando estuvo disponible por primera vez.

Descubren evidencia para desarrollar las capacidades de comprensión legal de los LLM, mejorando con cada lanzamiento de modelo al analizar los resultados en modelos progresivamente más grandes. Si la tecnología continúa creciendo rápidamente, es posible que pronto sean testigos del desarrollo de habilidades legales sobrehumanas de IA.

Revisar laPapel . Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides unirte.nuestro SubReddit de 27k+ ML,Comunidad de Facebook de más de 40.000 personas,Canal de discordia, yBoletín electrónico, donde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.

Aneesh Tickoo es pasante de consultoría en MarktechPost. Actualmente está cursando su licenciatura en Ciencia de Datos e Inteligencia Artificial en el Instituto Indio de Tecnología (IIT), Bhilai. Pasa la mayor parte de su tiempo trabajando en proyectos destinados a aprovechar el poder del aprendizaje automático. Su interés de investigación es el procesamiento de imágenes y le apasiona crear soluciones en torno a él. Le encanta conectarse con personas y colaborar en proyectos interesantes.