Отзыв о сервисе Noroots
Сервис даже концептуально не подходит для консалтинга:
В целом подход сервиса рассчитан не на юридические фирмы, а на крупный и средний бизнес, который хотел бы снизить трудозатраты по договорной работе.
И у которого есть отработанные шаблоны договоров и(или) типовые требования к договорам и целые отделы, по недоразумению названные юридическими, которые занимаются только штамповкой договоров по этим шаблонам. Но даже у них могут возникнуть проблемы, если есть разные подразделения с разными требованиями или типами договоров.
Я понимаю, что наверняка эта категория и является целью (там основные деньги на рынке), все хотят «залезть в крупняк».
Но тогда сервису стоит не обманывать ожидания потенциальных клиентов при позиционировании и размещении рекламных материалов.
Кроме того, у меня есть сомнения относительно перспективы продавать сервис именно крупному бизнесу, потому что у них часто какая-то автоматизация договорной работы уже настроена. Но это уже просто мысли вслух, никаких исследований я не делал.
Хотя, положа руку на сердце, ещё proof-of-concept даже под вопросом. А с точки зрения практической применимости, сервис даже на уровень MVP пока не выходит, до минимально работоспособного продукта там ещё пилить и пилить.
Справедливости ради, в низу страницы скромно висит указание на версию — «v0.0.1», но: - разработчики нигде (ни в маркетинговых материалах, ни на сайте, ни в личном кабинете, ни в презентации менеджера по продажам, через которого предоставляется доступ) не говорят о том, что проводится альфа-тестирование; - сервис вышел в релиз и за него просят деньги — от 12 тыс. за рабочее место; - бесплатных или более дешёвых тарифных планов нет, а демо-доступ предоставляется только через созвон с менеджером.
Поэтому я принципиально считаю, что пользователь вправе высказывать требования и претензии к функциональности, работоспособности и надёжности продукта, а также к его состоянию на релизе.
За тестирование платят тестировщикам, а не разработчику. (с) здравый смысл
В данной же ситуации разработчики сервиса предлагают нам альфа-тест за наши же деньги.
Такая ситуация в наши дни не редкость, однако я считаю её порочной и нездоровой практикой, заслуживающей всемерного порицания.
После уже получаса использования сервиса у меня сложилось впечатление, что перед релизом тестирование ни на людях, ни на юристах не проводилось.
У сервиса есть следующие функциональные элементы, которые может настраивать пользователь «Группа правил» и «Правило».
Правило представляет собой атомарное условие, на соответствие которому проверяет договор нейросеть. Для тех, кто в курсе работы нейронок — это финальная часть промпта, который будет вводиться сервисом в нейросеть. Разработчики говорят, что Правила — четвертый токен, три первых они настраивают самостоятельно.
Правило должно быть сформулировано максимально просто и однозначно, например: - В договоре должно быть условие о взыскании неустойки - Размер неустойки не более 0,1% в день А раз они должны быть очень конкретными и однозначными — значит, для реальной автоматизации договорной работы правил нужно нарезать много.
Каждому правилу можно присвоить: - тип договора (из куцего перечня — 6 типов и «другое») - группу правил И всё. Никакой иерархии групп правил нет.
При проверке выдаются три вкладки с замечаниями к договору: - Зак-во РФ (проверка на общие правила ГК РФ и только ГК) - Ваши правила - отраслевые рекомендации (сборник от юридической фирмы-партнера сервиса)
Так вот, проблемы UI/UX: 1. Я не могу настроить правила гибко и выстроить иерархию правил. 2. Визуально в интерфейсе все правила идут сплошняком, сгруппировать правила даже по группам правил нельзя. 3. При проверке по «Вашим правилам» все замечания идут сплошняком, даже если я настрою несколько групп правил (по клиентам, например). 4. Внешний вид и организация лучше выглядят с мобильного устройства. Хотя на мой взгляд очевидно, что основной кейс использования сервиса — с компьютера. 5. Нельзя организовать загруженные мной документы: - Договоры нельзя ни группировать, ни сортировать, ни фильтровать. Вообще. Ни по дате, ни по дате загрузки, ни по типу, ни по чему бы то ни было ещё. - Эмпирически у меня сложилось впечатление, что сервисом список документов выводится по алфавиту (Карл!). - После загрузки 4 договоров новые вы будете терять и буквально искать их, чтобы стартовать проверку. Хотя дата загрузки та же в списке указывается, т.е. сервис априори такой реквизит присваивает файлу. - Загруженному документу нельзя присвоить тип документа. Вот загрузил я договор лизинга — нейронка его поставила как «Договор аренды» и иди радуйся. - Единственный способ быстро использовать сервис — удалять все договоры после загрузки и проверки.
Нельзя выгрузить договор с замечаниями или хотя бы отдельно с замечания. Хочешь список переслать, например — ходи по вкладкам, копируй по одному замечанию (они разворачиваются по одному, одновременно развернуто может быть только одно).
Главное — используемая нейронка бесконечно тупая, она просто недееспособна.
Разработчики говорят, что используют три нейролингвистические модели — поставщики, характеристики моделей не раскрываются, как и первые 3 токена промпта. А в правилах, напомню, формулирую только 4ый токен промпта.
Примеры/приколы: 1. Уже на созвоне с менеджером нейронка в их же тестовом договоре аренды выдала — в каждый пункт договора, с пункта 1.1 до 9.3, «у вас договор на неопределенный срок указать срок договора аренды» (а там просто прочерк для срока аренды). Менджер с досадой сказал, что такой глюк редко у него бывает, удалил договор и загрузил повторно. Сервис снова выдал то же самое. 2. Уже лично позже в отраслевых рекомендациях в качестве несоответствия выдала 130 (буквально) раз одно и то же замечание к одному и тому же пункту 1.4. А всего замечаний 139 — иди ищи спрятанные. 3. Нейронка не различает договор аренды недвиги с договором аренды транспортного средства 4. Нейронка пишет про выкупную аренду, что «нельзя добавлять условие о выкупе, если не заключается договор аренды с правом выкупа». 5. Нейронка про лизинг вообще ни черта не знает, пишет его договором аренды и выдает рекомендации к аренде помещения. Ну что, ну добавь в лизинг авто площадь помещения, тебе ж договор не зарегистрируют. И про коммуналку не забудь, разоришься же. 6. Разделы рекомендаций «ГК» и «Отраслевые рекомендации» бесполезны, больше половины «замечаний» — предложения добавить пустопорожние канцеляризмы вроде «настоящего договора», «договор может меняться по соглашению сторон», «Приложение 1 является неотъемлемой частью настоящего договора» и прочей идиотии. 7. Нельзя настроить сторону, с точки зрения которой проверять договор. Рандомно выдаются то рекомендации в пользу Арендатора, то в пользу Арендодателя, то не в пользу здравого смысла.
И как вишенка на торте, пикантность этой вакханалии вкуса добавляет ахиллесова пята всех лингвистических нейронок — эта ерунда ненадежна.
Система неспособна выдавать стабильный предсказуемый результат, и не в силу багов, а в силу фундаментальных свойств текущих нейросетевых лингвистических моделей.
Если даже я задам строгое правило и модель не выдаст мне его нарушение, мне всё равно надо проверить самому договор, не нарушено ли оно в действительности.
На созвоне с менеджером в тестовой ситуации нейронка не подсветила нарушение правила о размере неустойки. Хотя, казалось бы, ну куда проще.
Разработчики это прекрасно понимают и прямо об этом говорят. Прям как ЧатГПТ дисклеймер делают — это только рекомендация, проверяйте сами.
Конкуренты — не лучше, но лучше. (с) strigov
Потому что используют лингвистические нейронки.
Докзилла честно говорит, что юзает ЧатГПТ, Noroots кокетничает, но все текстовые нейронки — одного поля ягоды.
Они ненадёжны — и ключевая ненадёжность у них вытекает из фундаментальных свойств текущих моделей. Они не могут выдавать постоянный предсказуемый и повторяемый результат на одних и тех же вводных данных, всегда есть элемент рандома. Они могут галлюцинировать к тому же.
И они не обучены специально под юридические задачи. А даже грамотным промптом этот недостаток не устранить.
ЧатГПТ платный план даже через перекупов обойдётся в 2-2.5 тыс. руб. в месяц. Докзилла в 4 тыс. Платный план Claude тоже в этих пределах.
А базовая версия ЧатГПТ, базовая версия Claude, Гугл Gemini какой-нибудь или Копилот — вообще бесплатны. Да, нужно использовать ВПН, но хороший ВПН обойдётся куда дешевле.
Для юридической работы они все не особо подходят в равной степени (Докзиллу я тут тоже легко могу попинать, дропнул после месяца-двух).
Ну в других сервисах я хоть могу попросить нейронку текст перефразировать, промпт свой насобачить, написать чего-нибудь по заказу, попросить проанализировать договор минимально, изменить тональность и стилистику текста, стенограмму аудиозаписи сделать (не везде), саммари по стенограмме. В Докзилле еще могу попробовать автозаполнение договоров настроить.
А тут очень специализированный сервис, который стоит в 3-4 раза дороже, но со своей узкой спецификой он как раз не справляется. И я даже матерные частушки не могу его попросить написать, ну это куда годится)
Данные не обезличиваются сервисом при направлении используемым нейронкам.
Разработчиками было принято решение не обезличивать, поскольку они полагают, что используемое шифрование обеспечивает конфиденциальность.
Но на сайте и в рекламе упоминание про обезличивание ещё висит, видимо, не успели поменять.
Какие сервера используются для хранения до отправки в нейронки — я не совсем понял, но я и не допрос устраивал.
Что там как в итоге с трансграничной передачей данных при такой схеме, в т.ч. персональных — даже не знаю, «всё сложно». Это не моя специализация, оценить не могу.
Но я вас предупредил.
Нет
Мне с точки зрения трудозатрат выгоднее, если у меня шаблон договора есть, банальное сравнение документов в текстовом редакторе запустить. Так я по крайней мере точный и предсказуемый результат получу.
Если шаблона даже нет — ну потрачу я кучу времени на выдумывание и настройку правил, загружу, запущу проверку… И потом мне всё равно нужно проверить договор полностью.
Рассказ разработчиков про «Ну Вы сможете теперь по диагонали смотреть договор» — полная ерунда, проверять придётся так же, как если бы ты не применял сервис вовсе.
Это нейронка, она может просто пропустить даже настроенное однозначное правило. И она пропускает.
Ну и риторический вопрос — зачем мне такой «помощничек»?
Я тут свои деньги должен платить, а не «бюджет осваивать», мне неинтересно бегать перед большим начальством с табличкой «Мы идём в ногу со времени к светлому будущему» и заниматься очковтирательством.
Даже падким на моду и технологичность — проходить мимо.
Вот могу очень похвалить менеджеров по продажам и их подход.
Менеджеры не «втюхивают», не врут в глаза, стремятся любым способом «выиграть сделку», не спамят, очень конструктивно реагируют на вопросы и замечания.
Им бы ещё продукт работоспособный — и они бы своим подходом сглаживали негативное впечатление даже от довольно серьёзных недоработок.
Даже вот несмотря на все мои замечания, из-за очень хорошего менеджера я не закрываю для себя вероятность в будущем посмотреть на развитие сервиса (правда, отдалённом будущем). Господину Пестрикову — моё почтение.