Перевод статьи 10 Principles shaping the role of GenAI in Legal Drafting - Hype, opportunity, and the road ahead by James Quinn and Richard Batstone
Принцип 1: Прецеденты по-прежнему являются золотым стандартом
Нет никаких сомнений в том, что шаблоны (прецеденты), созданные опытными юристами-экспертами, являются гораздо лучшей отправной точкой по сравнению с контентом, сгенерированным языковой моделью (LLM). В то время как автоматизированный шаблон может производить черновики стабильно высокого качества, контент, сгенерированный LLM, вносит риск ошибок и «галлюцинаций» — профессионально написанной чепухи. Но это не означает, что LLM не имеют места в составлении документов. LLM могут предоставить отличную отправную точку, когда нет доступного шаблона, или помочь адаптировать шаблон к новому сценарию — при условии, что юристы понимают, что контент, сгенерированный LLM, потребует тщательной проверки.
Принцип 2: Генеративный ИИ — это инструмент, а не продукт
Потенциал генеративного ИИ чрезвычайно захватывающий, но превращение этого потенциала в полезные решения требует тщательного обдумывания. Многие пользователи уже имеют доступ к приложениям в стиле чата с LLM (например, через корпоративные инструменты, такие как Microsoft Copilot), поэтому мало смысла просто делать эту возможность доступной через другой продукт — просто передавая запросы пользователей LLM и получая от нее сообщения. Вместо этого нам нужно бросить себе вызов, чтобы использовать генеративный ИИ для добавления чего-то более существенного. Как мы можем сэкономить время наших пользователей? Можем ли мы использовать его, чтобы упростить взаимодействие людей с нашей платформой? Или дополнить ее проверенным контентом и лучшими практиками?
Реализация
Принцип 3: Будьте агностиками в отношении LLM (насколько это возможно)
Хотя генеративный ИИ комфортно вошел в наш повседневный словарь, он продолжает быстро развиваться. Невозможно предсказать, у кого будет лучшая языковая модель в будущем или какие возможности она предложит. OpenAI, Google, Anthropic, Meta — ваша догадка так же хороша, как и наша. Вместо того чтобы создавать решение, которое работает только с одной языковой моделью (или провайдером), агностический подход к LLM необходим для сохранения гибкости в навигации и адаптации к постоянно меняющемуся ландшафту.
В реальности это легче сказать, чем сделать. Внедрение возможностей генеративного ИИ (будь то юридическая фирма или поставщик LegalTech) заставляет вас в определенной степени адаптировать свой подход к определенным провайдерам моделей или LLM: вы не можете быть полностью агностиками в контексте составления документов, учитывая значительно различающееся поведение каждого провайдера и модели. Подход, который хорошо работает с одной моделью, не обязательно будет хорошо работать с другой. Но что мы можем сделать, так это выделить время, чтобы быть в курсе последних разработок, быть гибкими и попытаться сосредоточиться на подходах к контенту, которые с большей вероятностью будут переносимыми, что приводит нас к Принципу 4.
В реальности это легче сказать, чем сделать. Внедрение возможностей генеративного ИИ (будь то юридическая фирма или поставщик LegalTech) заставляет вас в определенной степени адаптировать свой подход к определенным провайдерам моделей или LLM: вы не можете быть полностью агностиками в контексте составления документов, учитывая значительно различающееся поведение каждого провайдера и модели. Подход, который хорошо работает с одной моделью, не обязательно будет хорошо работать с другой. Но что мы можем сделать, так это выделить время, чтобы быть в курсе последних разработок, быть гибкими и попытаться сосредоточиться на подходах к контенту, которые с большей вероятностью будут переносимыми, что приводит нас к Принципу 4.
Принцип 4: Сосредоточьтесь на своей задаче, а не на трюках с промптами
Большинство сложных применений генеративного ИИ требуют некоторого уровня "инженерии промптов": тщательной настройки инструкций для LLM для получения лучших результатов. Разные модели требуют разных подходов, и в прошлом технологическое сообщество выделяло множество (иногда удивительных) техник для получения максимальной отдачи от LLM. Например, эмоциональные промпты, сообщение LLM о том, что вас уволят, если вы не получите правильный ответ, или что ваша жизнь зависит от того, скажет ли она правду. Эти особенности интересны (и часто развлекательны), но было бы ошибкой полагаться на них для успеха решения. Это потому, что эти техники обычно специфичны для модели (поэтому не способствуют агностицизму - см. Принцип 3) и, в любом случае, вероятно, будут сглажены со временем.
Вместо этого, в контексте юридического составления документов, мы считаем, что лучше сосредоточиться на основах кодирования юридических знаний и фиксации лучших практик. Например, каковы характеристики хорошего определения? Что делает пункт однозначным или легко читаемым? Затрата времени на прояснение этих концептов (как для себя, так и для промптинга LLM) с гораздо большей вероятностью приведет к подходу, который переносится между моделями.
Вместо этого, в контексте юридического составления документов, мы считаем, что лучше сосредоточиться на основах кодирования юридических знаний и фиксации лучших практик. Например, каковы характеристики хорошего определения? Что делает пункт однозначным или легко читаемым? Затрата времени на прояснение этих концептов (как для себя, так и для промптинга LLM) с гораздо большей вероятностью приведет к подходу, который переносится между моделями.
Принцип 5: Больше часто означает меньше
Когда знакомишь кого-то с генеративным ИИ впервые, люди часто представляют инструмент как «коллегу». Например, при взаимодействии с LLM в стиле чата мы можем предложить давать ей инструкции так, как вы бы давали новому коллеге: предоставьте соответствующую справочную информацию и четко укажите, какой результат вы хотели бы получить (американский академик Итан Моллик написал расширенную статью об этом подходе). Мы обнаружили, что подобный подход полезен в контексте юридического составления документов, особенно в отношении объема контента, который вы предоставляете LLM. Например, представьте, что вы даете новому младшему коллеге целый набор документов и просите его добавить определение «Существенного неблагоприятного изменения». Ваш коллега, вероятно, задаст вопросы: В каком документе должно появиться определение? Есть ли конкретный язык, который оно должно учитывать или с которым оно должно быть согласовано? В каком контексте вам нужно, чтобы определение работало?
То же самое верно и для составления документов с помощью генеративного ИИ. Просто предоставление LLM всей имеющейся у вас информации рискует привести к переменному и низкокачественному результату. Качество сгенерированного результата напрямую связано с релевантностью и объемом контекста в промпте. Предоставление сфокусированной, релевантной информации существенно улучшает качество результата, в то время как нерелевантные детали существенно его ухудшают. Для таких задач обычно лучше потратить больше времени на понимание того, какая информация, вероятно, будет релевантной для задачи, и начать с этого небольшого объема контента, чем бросать все подряд и надеяться на лучшее (см. далее Принцип 4).
То же самое верно и для составления документов с помощью генеративного ИИ. Просто предоставление LLM всей имеющейся у вас информации рискует привести к переменному и низкокачественному результату. Качество сгенерированного результата напрямую связано с релевантностью и объемом контекста в промпте. Предоставление сфокусированной, релевантной информации существенно улучшает качество результата, в то время как нерелевантные детали существенно его ухудшают. Для таких задач обычно лучше потратить больше времени на понимание того, какая информация, вероятно, будет релевантной для задачи, и начать с этого небольшого объема контента, чем бросать все подряд и надеяться на лучшее (см. далее Принцип 4).
Принцип 6: Галлюцинации присущи, и их смягчение не является универсальным
Текст, сгенерированный LLM, может быть ложным или вводящим в заблуждение («галлюцинированным»), даже если он кажется очень убедительным и профессионально написанным. Поставщики технологий работают над решением этой проблемы, и введение проверенной справочной информации в процесс генерации («Генерация с дополнением извлечения») может улучшить качество результатов, но пока нет универсального решения. Поэтому, когда мы используем генеративный ИИ, нам нужно учитывать: (1) является ли задача такой, в которой галлюцинации имеют значение; и (2) если да, то как мы позволим пользователям проверить результат.
В контексте юридического составления документов точность и качество имеют решающее значение, но наш подход к проверке может варьироваться. Например, предположим, вы используете генеративный ИИ для первого черновика специфической для сделки гарантии, которая не охвачена в вашем базовом прецеденте. При проверке сгенерированного текста вам нужно будет учесть (как минимум):
Внутреннюю согласованность: должен ли текст использовать существующие определенные термины? Есть ли другие пункты, на которые он должен ссылаться?
Намерение: точно ли текст отражает ваши инструкции? Охватывает ли он ту мысль, которую вы имели в виду?
Конструкцию: является ли текст подходящим и эффективным в вашем более широком правовом и регуляторном контексте?
Для первого пункта мы можем представить способы, которыми продукт мог бы начать автоматизировать проверку или иным образом сделать ее простой для пользователя. Но пункты два и три требуют гораздо большего опыта и суждения. Мы должны четко объяснить пользователям, какие шаги были предприняты продуктом, и что требуется от них.
В контексте юридического составления документов точность и качество имеют решающее значение, но наш подход к проверке может варьироваться. Например, предположим, вы используете генеративный ИИ для первого черновика специфической для сделки гарантии, которая не охвачена в вашем базовом прецеденте. При проверке сгенерированного текста вам нужно будет учесть (как минимум):
Внутреннюю согласованность: должен ли текст использовать существующие определенные термины? Есть ли другие пункты, на которые он должен ссылаться?
Намерение: точно ли текст отражает ваши инструкции? Охватывает ли он ту мысль, которую вы имели в виду?
Конструкцию: является ли текст подходящим и эффективным в вашем более широком правовом и регуляторном контексте?
Для первого пункта мы можем представить способы, которыми продукт мог бы начать автоматизировать проверку или иным образом сделать ее простой для пользователя. Но пункты два и три требуют гораздо большего опыта и суждения. Мы должны четко объяснить пользователям, какие шаги были предприняты продуктом, и что требуется от них.
Принцип 7: Будьте ясны в отношении того, откуда взялся текст
Документ, сгенерированный традиционным движком автоматизации документов, будет последовательно отражать результат составления, установленный логикой автоматизации. Он обеспечивает предсказуемый, точный результат, который был проверен и утвержден соответствующей юридической фирмой. Напротив, результат, сгенерированный LLM, каждый раз разный. Язык не будет предварительно проверен. Это нормально, когда не существует подходящего прецедентного языка, но, как рассмотрено в Принципе 6, это также означает, что он всегда нуждается в какой-то форме проверки. Это напряжение делает крайне важным для документов, включающих текст, сгенерированный генеративным ИИ, быть полностью прозрачными в отношении того, откуда взялся различный контент. У юристов не должно оставаться сомнений в том, был ли конкретный пункт или документ сгенерирован с помощью автоматизации, LLM или через какой-то другой процесс.
Ответственная разработка
Принцип 8: Встречайте ваших пользователей там, где они находятся
Разные организации — и отдельные лица — находятся на разных стадиях внедрения ИИ, и ни одна организация не пошла по тому же пути, что и другая. Некоторые будут стремиться экспериментировать и быть пионерами в использовании технологии, в то время как другие будут более осторожными. Подход фирмы также будет отражать ее клиентскую базу, регуляторный и юрисдикционный контекст. Это означает, что при создании возможностей генеративного ИИ мы должны четко указывать, какие функции используют LLM и, что крайне важно, предоставлять фирмам возможность отказаться.
Принцип 9: Не идите на компромисс в отношении безопасности и владения данными
Создание возможностей генеративного ИИ не должно негативно влиять на ваши существующие стандарты информационной безопасности или менять то, как вы и ваши клиенты подходят к владению данными. В контексте Clarilis наши клиенты доверяют наше размещенное решение своим данным, и мы применяем те же стандарты к нашей разработке генеративного ИИ. Мы можем использовать LLM через выбранного клиентом провайдера или через собственную развернутую модель клиента. Прецеденты, которые мы автоматизируем, принадлежат нашим клиентам, и мы не претендуем на владение каким-либо результатом LLM: мы также не используем входные данные клиентов для какого-либо проприетарного обучения модели или тонкой настройки.
Принцип 10: Уважайте сторонних поставщиков контента
Большая часть контента, с которым работают юридические фирмы, предоставляется сторонними поставщиками контента. Например, отраслевые органы (такие как Loan Market Association, комитет Model Commercial Lease и British Venture Capital Association) или издатели знаний (такие как FromCounsel и Practical Law). У каждого поставщика контента есть свои правила в отношении использования их контента с LLM — которые необходимо соблюдать. Например, некоторые поставщики контента разрешают загружать свои документы в систему на основе LLM, но большинство — нет, и загрузка их контента нарушила бы условия их лицензии/уставы членства. Это требует добросовестного управления и гибкости, одновременно предоставляя пользователям прямое сообщение о том, что они могут и не могут делать в данном контексте.