Uptime Industries делает ставку на локальную инфраструктуру ИИ с портативным устройством «Ai-in-box» под названием Lemony AI.
Размер сэндвича, Lemony AI может предположительно запускать большую языковую модель (LLM), агенты ИИ и рабочие процессы ИИ на одном узле. Каждый лимон требует всего 65 Вт мощности для запуска, эквивалент зарядки ноутбука, и может быть сложен и подключен для формирования больших кластеров ИИ.
Саша Бюрле, соучредитель и генеральный директор Uptime, сказал TechCrunch, что каждый узел может поддерживать LLM до 75 миллиардов параметров по размеру и может размещать модели с открытым исходным кодом или модернизированные версии закрытых моделей. В кластере лимонных узлов каждое устройство может запускать различную модель.
Время Uptime запускается с партнерскими отношениями с IBM и JetBrains, чтобы предоставить своим клиентам более легкий доступ к моделям искусственного интеллекта, включая закрытые модели IBM.
Как и большинство технических стартапов, идея для Lemony AI проистекала из побочного проекта: соучредители Uptime, Buehrle и Ivan Kuleshov, пытались выяснить, могут ли они распространять языковые модели на микро компьютерах Raspberry Pi, и хотя это изначально не было связано с генеративным ИИ, когда он сработал, они начали попытаться понять, что еще эти Raspberry Pis могли обработать.
Когда они осознали, что работающие модели на местных устройствах могут доказать ключ к тому, чтобы открыть больше внедрения ИИ организациями-скажем, предприятия, которые не хотят использовать облачные модели-они начали создавать собственное устройство. Они полагали, что с акцентом на конфиденциальность данных может привести к тому, что компании могут принять ИИ быстрее.
«Нам нужно построить что-то маленькое, что может легко войти в команды, и которые (не требуют) никаких решений в масштабах организации-в основном внедряя в бизнес-команды в бизнес-командах,-сказал Бюрле. Он добавил, что кластеры небольших и мощных устройств могут помочь системе расти в соответствии с потребностями клиента.
Компания заявляет, что уже наблюдает высокий спрос со стороны бизнеса в сильно регулируемых отраслях, таких как финансы, здравоохранение и право.
«Все остается в твоей коробке», — сказал Берл. «Таким образом, ваши документы, ваши файлы, ваши электронные письма — модели размещены в поле, агенты работают локально в поле, и ничто не покидает коробку».
До сих пор Uptime привлек 2 миллиона долларов в раунде семенного финансирования во главе с True Ventures, при этом участие выпускников Ventures, Jetbrains и некоторых инвесторов -ангелов. Компания будет использовать средства для дальнейшей разработки своих устройств.
Стартап говорит, что сейчас план состоит в том, чтобы получить разработанное программное обеспечение для своих компьютеров Micro AI, Lemony OS, для работы на оборудовании других компаний, таких как Nvidia DGX Spark. Он также хочет расширить программное обеспечение из своего текущего, однопользового фокуса на тот, который может использоваться командами.
Lemony AI стоит 499 долларов в месяц для использования, и его можно получить до пяти пользователей.
