ИИ создает дилемму для компаний: не внедряйте его пока, и вы можете упустить рост производительности и другие потенциальные выгоды; но сделайте это неправильно, и вы можете подвергнуть свой бизнес и клиентов неослабевающим рискам. Именно здесь появляется новая волна стартапов «безопасности для ИИ», исходящих из того, что такие угрозы, как джейлбрейк и быстрое внедрение, нельзя игнорировать.
Подобно израильскому стартапу Noma и американским конкурентам Hidden Layer и Protect AI, британский университет Mindgard является одним из них. «ИИ по-прежнему остается программным обеспечением, поэтому все киберриски, о которых вы, вероятно, слышали, также применимы и к ИИ», — сказал его генеральный директор и технический директор профессор Питер Гарраган (справа на изображении выше). Но «если вы посмотрите на непрозрачную природу и по своей сути случайное поведение нейронных сетей и систем», добавил он, это также оправдывает новый подход.
В случае Mindgard указанный подход представляет собой динамическое тестирование безопасности приложений для ИИ (DAST-AI), нацеленное на уязвимости, которые могут быть обнаружены только во время выполнения. Это предполагает постоянное и автоматизированное создание красных команд — способ моделирования атак на основе библиотеки угроз Mindgard. Например, он может проверить устойчивость классификаторов изображений к состязательным входным данным.
На этом фронте и за его пределами технология Mindgard обязана опыту Гаррагана как профессора и исследователя, занимающегося безопасностью ИИ. Эта область быстро развивается — ChatGPT еще не существовало, когда он пришел в нее, но он чувствовал, что НЛП и модели изображений могут столкнуться с новыми угрозами, рассказал он TechCrunch.
С тех пор то, что казалось перспективным, стало реальностью в быстрорастущем секторе, но LLM продолжает меняться, как и угрозы. Гарраган считает, что его постоянные связи с Ланкастерским университетом могут помочь компании идти в ногу со временем: Mindgard автоматически станет владельцем интеллектуальной собственности на работы еще 18 докторантов-исследователей в течение следующих нескольких лет. «Нет ни одной компании в мире, которая заключила бы такую сделку».
Несмотря на то, что Mindgard связан с исследованиями, он уже во многом является коммерческим продуктом, а точнее, SaaS-платформой, а соучредитель Стив Стрит возглавляет ее в качестве главного операционного директора и директора по маркетингу. (Один из первых соучредителей Нирадж Сури, который занимался исследованиями, больше не работает в компании.)
Предприятия являются естественными клиентами Mindgard, как и традиционные красные команды и пен-тестеры, но компания также работает со стартапами в области ИИ, которым необходимо показать своим клиентам, что они занимаются предотвращением рисков ИИ, сказал Гарраган.
Поскольку многие из этих потенциальных клиентов находятся в США, компания добавила в свою таблицу капитализации немного американского колорита. Собрав в 2023 году начальный раунд в размере 3 миллионов фунтов стерлингов, Mindgard теперь объявляет о новом раунде в размере 8 миллионов долларов под руководством бостонской .406 Ventures с участием Atlantic Bridge, WillowTree Investments и существующих инвесторов IQ Capital и Lakestar.
Финансирование поможет «создать команду, разработать продукт, провести исследования и разработки и все, что вы можете ожидать от стартапа», а также распространиться на США. Недавно назначенный вице-президент по маркетингу, бывший директор по маркетингу Next DLP Фергал Глинн, базируется в США. Бостон. Однако компания также планирует оставить исследования, разработки и проектирование в Лондоне.
Команда Mindgard, насчитывающая 15 человек, относительно небольшая и останется таковой, а к концу следующего года планируется увеличить ее численность до 20–25 человек. Это потому, что безопасность ИИ «еще даже не в период своего расцвета». Но когда ИИ начнет внедряться повсюду, и угрозы безопасности последуют этому примеру, Mindgard будет готов. Гарраган говорит: «Мы создали эту компанию, чтобы приносить пользу миру, и положительным моментом здесь является то, что люди могут доверять искусственному интеллекту и использовать его безопасно и надежно».
