Пересилайте оригінальний заголовок: Mira: безпечна перевірена штучний інтелект
Галюцинації: досвід, який включає в себе здавалося б, сприйняття чогось, чого немає.
Андрей Карпати називає штучний інтелект "мрійними машинами." Він вважає, що галюцинації - ті моменти, коли ШІ впевнено генерує речі, які не є реальними - це функція, а не помилка. Намагатися повністю їх усунути байдуже. І чесно кажучи, в цьому є щось поетичне.
Великі моделі мови (LLM) - це митець, творець. Вона мріє кодом, генерує ідеї з повітря і витягає значення з даних. Але для того, щоб штучний інтелект перейшов від красивих мрій до практичних, повсякденних застосувань, нам потрібно здолати ці галюцинації.
Помилкові рівні для LLM все ще залишаються високими на багатьох завданнях - часто коливаються навколо 30%. На такому рівні LLM все ще вимагають людини у процесі, щоб досягти прийнятного стандарту точності.
Проте коли ми досягаємо цієї недосяжної точності 99.x% - де виходи надійні без людського контролю - трапляється чудо. Це поріг, на якому штучний інтелект досягає надійності на рівні людини, відкриваючи нескінченний всесвіт використання, які раніше були недосяжні.
Досягнення такого рівня точності - це велика заслуга. Це вимагає нескінченних інженерних зусиль та інновацій.
Історія@Mira_Network починається тут. Але перед тим, як ми кинемося усередину, давайте на хвилинку поговоримо про розробку LLM — і про те, чому верифікації стають наступним великим реченням в галузі штучного інтелекту.
Розробка LLM - це останній етап у подорожі глибокого навчання, відмінний від традиційних практик розробки програмного забезпечення, які ми вдосконалювали протягом понад 50 років. LLM, які існують лише приблизно три роки, повністю змінюють сценарій, переходячи від детермінованого мислення (якщо X, тоді Y) до ймовірного міркування (якщо X, то ... можливо Y?).
Це означає, що інфраструктура для світу, що працює на основі штучного інтелекту, вимагає зовсім нового набору інструментів та робочих процесів. Однак багато з цих інструментів все ще заблоковані в лабораторіях, що створили LLMs.
Добра новина полягає в тому, що ці інструменти починають просочуватися в загальнодоступну сферу, відкриваючи безліч можливостей для розробників усюди.
На хвості цього нового робочого процесу лежить критичний елемент головоломки: оцінки та перевірки. Сьогодні наш прожектор спрямований на них. Вони відповідають на фундаментальне питання: Чи працює штучний інтелект добре?
Довіра є основою будь-якого великого продукту ШІ.
По мірі того як штучний інтелект стає все більш невід'ємною частиною нашого життя, сама технологія залишається вразливою. Помилки трапляються, і коли це відбувається, довіра швидко підточується. Користувачі очікують, що штучний інтелект буде точним, безпереднім та дійсно корисним, але без надійних систем, щоб забезпечити це, розчарування накопичується, і розчарування призводить до втрати клієнтів.
Ось де вступає в силу перевірка.
Перевірки виступають як засіб захисту. Розробники покладаються на них як на шар забезпечення якості для вдосконалення результатів та створення систем, на які користувачі можуть покластися.
Mira вирішує основну проблему Web2 за допомогою безпечної прозорості крипто. Використовуючи децентралізовану мережу вузлів-верифікаторів, Mira забезпечує точну та незалежну перевірку виходів штучного інтелекту.
Давайте скажемо, у вас є абзац виводу з LLM про місто Париж. Як ви перевіряєте, що він точний? Важко зробити це через стільки нюансів, пов'язаних з усім, від тверджень до структури вмісту до стилю писання.
Це те, де вступає Міра.
Візія Міри смілива: створити мережу рівня-1, яка забезпечує довіру, масштабовану та точну верифікацію виводів штучного інтелекту. Використовуючи колективну мудрість, Mira зменшує упередження та галюцинації, вирішуючи основні проблеми, такі як справедливість та вартість, доводячи, як блокчейн дійсно може покращити штучний інтелект.
Джерело: Mira
Ранні результати обіцяють. В останнійдослідження опубліковане на Arxiv, Міра продемонструвала, що використання кількох моделей для генерації виходів та вимагання консенсусу значно підвищує точність. Точність досягла 95,6% з трьома моделями, порівняно з 73,1% для виходу однієї моделі.
Два ключові елементи дизайну визначають підхід Mira:
Штучно створені висновки варіюються від простих тверджень до розгорнутих есе, завдяки майже нульовим витратам на генерацію контенту. Але ця розмаїтість створює виклик: як забезпечити точність такого різноманітного висновку?
Рішення Mira просте: розбийте його на частини.
@Mira_Networkтрансформує складний контент, створений штучним інтелектом, на менші, зрозумілі штучним інтелектом моделям частини, які можна об'єктивно переглянути в процесі, що називається шардування.
Шляхом стандартизації виходів та розбиття їх на окремі перевірені твердження, Mira забезпечує, що кожен елемент можна оцінити однаково, що усуває неоднозначність, яка часто потерпає від оцінок.
Наприклад, розгляньте таке складне твердження:
Фотосинтез відбувається у рослин для перетворення сонячної енергії на енергію, а бджоли відіграють важливу роль у запиленні, переносячи пилюку між квітами.
На перший погляд, це здається простим для перевірки. Але при передачі декільком моделям примхи інтерпретації можуть призвести до різних відповідей. Трансформація вмісту Міри за допомогою шардингу вирішує цю проблему, розбиваючи твердження на два незалежних твердження:
Після розщеплення кожен претензію піддається бінаризації, де вона перетворюється на багатовибірне питання. Ці питання розподіляються на мережу вузлів, що працюють з моделями штучного інтелекту. З використанням методу ансамблю верифікації Mira моделі співпрацюють, щоб оцінити та підтвердити достовірність кожної претензії.
Наразі можливості розсіювання та бінаризації контенту Mira спрямовані на текстові дані. До початку 2025 року ці процеси розширяться для підтримки мультимодальних введень, таких як зображення та відео.
Міра розробила високорівневу систему верифікації, яка поєднує переваги кількох моделей штучного інтелекту для оцінки якості виведення штучного інтелекту.
Давайте розпакуємо це.
Традиційні автоматизовані оцінки часто покладаються на єдину велику мовну модель (LLM), як-от GPT-4, як остаточний арбітр якості. Незважаючи на те, що цей підхід функціональний, він має значні недоліки: він дорогий, схильний до упередженості та обмежений примхами та «індивідуальністю», притаманними моделям.
Переломом в діяльності Міри є перехід від залежності від однієї великої моделі до використанняансамбль різноманітних LLMs. Цей ансамбль відрізняється в завданнях, де фактична точність важливіша, ніж творча майстерність, що знижує помилковість і забезпечує більш надійні, постійні підтвердження.
Ансамблеві техніки добре вивчені в машинному навчанні, такому як класифікація, і Mira тепер привносить це у верифікацію.
У серці системи Mira знаходиться Панель перевіряючих LLM (PoLL) - колаборативна мережа моделей, які працюють разом для перевірки результатів. Подумайте про це як про різноманітну панель експертів, що висловлюють свою думку з приводу рішення, а не залишають його на усмотріння одного, можливо, упередженого судді.
І це не просто мрія—це ґрунтується на дослідженнях. Подивіться на наведену нижче діаграму:
Дослідження Cohere опубліковано у квітні 2024 року продемонструвала, що група з трьох менших моделей — GPT-3.5, Claude-3 Haiku та Command R — більше узгоджується з людськими судженнями, ніж лише GPT-4. Примітно, що цей ансамблевий метод також був у 7 разів дешевшим.
Зараз Mira застосовує це дослідження в дії, застосовуючи свій метод перевірки ансамблів у великих масштабах. Внутрішні результати, якими вони поділилися на даний момент, є переконливими:
• Помилковість знижено з 80% до 5% для складних завдань мислення.
• Покращення швидкості та вартості в 5 разів порівняно з людською верифікацією.
Це не є легко досяжним досягненням. Застосовуючи механізми консенсусу, різноманітний ансамбль моделей Mira ефективно фільтрує галюцинації та балансує індивідуальні упередження моделей. Разом вони надають щось більше, ніж сума їх складових: перевірки, які є швидшими, дешевшими та більш зорієнтованими на наші потреби.
Підсумовуючи, система верифікації Mira побудована на двох основних принципах дизайну:
Підтримка різноманітних моделей є важливою для високоякісних результатів, що робить дизайн Mira ідеальним для децентралізованої архітектури. Усунення одиночних точок відмови є критичним для будь-якого продукту верифікації.
Mira використовує підхід на основі блокчейну, щоб забезпечити, що жоден окремий суб'єкт не може маніпулювати результатами. Преміс проста: вихідні дані, згенеровані штучним інтелектом, повинні бути перевірені так само, як зміни стану в блокчейні.
Перевірка відбувається за допомогою мережі незалежних вузлів, оператори яких економічно стимулюються для здійснення точних перевірок. За допомогою винагороди, зорієнтованої на чесність, система Mira засуджує недобропорядних акторів та гарантує надійні результати.
Ось як це працює:
Mira забезпечує конфіденційність даних, розбиваючи вхідні дані на менші частини, забезпечуючи відсутність доступу жодного окремого вузла до повного набору даних.
Для додаткової безпеки Mira підтримує динамічні рівні конфіденційності, що дозволяють користувачам налаштовувати кількість шарів в залежності від чутливості даних. Хоча вищі рівні конфіденційності вимагають більшої шарування (і, отже, вищих витрат), вони забезпечують додаткову конфіденційність для користувачів, які працюють з чутливою інформацією.
Кожне підтвердження, яке вузол виконує, реєструється в блокчейні, створюючи прозорий та перевірений запис про процес підтвердження. Цей незмінний реєстр забезпечує довіру та обліковість, яку традиційні підходи, що не базуються на блокчейні, не можуть досягти.
Це встановлює новий стандарт для безпечної та безперебійної перевірки штучного інтелекту.
У децентралізованій мережі Mira чесна праця винагороджується.
Експерти можуть розгортати спеціалізовані моделі штучного інтелекту за допомогою програмного забезпечення вузла та заробляти токени за точні підтвердження. Розробники штучного інтелекту, з свого боку, платять комісії за кожне підтвердження, створюючи самоекономічний цикл між попитом та пропозицією.
Цей підхід забезпечує зв'язок реальної вартості з робочими процесами Web2 в екосистему Web3, безпосередньо винагороджуючи учасників, таких як постачальники висновків та творці моделей.
Але стимули пов'язані з труднощами. У будь-якій децентралізованій системі зловмисники намагатимуться використовувати мережу, надсилаючи фальшиві результати, щоб отримати винагороду, не виконуючи роботи.
Так як ми забезпечуємо, щоб вузли дійсно виконували свої завдання точно і чесно?
Для збереження цілісності Mira використовує Proof-of-Verification—механізм, натхненний proof-of-work Bitcoin, але розроблений для штучного інтелекту. Замість видобутку блоків вузли повинні довести, що вони виконали завдання верифікації, щоб брати участь у процесі консенсусу.
Ось як це працює:
Proof-of-Verification створює збалансовану систему, в якій вузли мають економічну мотивацію виконувати якісні перевірки. Цей механізм гарантує, що мережа залишається безпечною та надійною з плином часу.
Ось питання: Якщо підхід Міри настільки ефективний, чому всі не роблять це?
Відповідь полягає в компромісах та складностях впровадження такої системи в реальному світі. Досягнення ідеального балансу між швидкими, точними оцінками та управління нюансами кількох моделей - це справжнє витвір мистецтва.
Одним з найбільших перешкод для Mira є затримка. Хоча використання ансамблів моделей дозволяє виконувати перевірки паралельно, синхронізація результатів та досягнення консенсусу вносять затримки. Процес відбувається лише на швидкості найповільнішого вузла.
Наразі це робить Mira ідеальною для пакетної обробки результатів штучного інтелекту — випадків використання, коли результати в реальному часі не потрібні. У міру того, як мережа зростає з більшою кількістю вузлів і доступністю обчислень, довгострокова мета полягає в тому, щоб досягти перевірок у реальному часі, розширюючи застосовність Mira до ширшого спектру сценаріїв.
Поза затримкою, інші виклики включають:
Складність інженерії: Організація оцінок через кілька моделей та забезпечення плавної роботи механізму консенсусу потребує значних інженерних зусиль.
Вищі вимоги до обчислень: Навіть при використанні менших моделей, їх запуск разом у сукупності збільшує обчислювальні вимоги.
Добрий дизайн механізму консенсусу: спосіб досягнення консенсусу - за допомогою голосування більшістю, зваженого підрахунку або інших методів - відіграє критичну роль у надійності системи. У неоднозначних випадках ансамблі можуть мати проблеми з узгодженням, що призводить до непослідовних результатів.
Джерело: Mira
API Mira легко інтегрується з будь-яким додатком, схожим на GPT-4o від OpenAI. Він є агностичним до споживачів та B2B-додатків, що робить його універсальним рішенням для різних випадків використання. На сьогоднішній день понад десяток додатків використовує інфраструктуру Mira.
Інтеграції споживачів
З боку споживача, Mira вже працює на підтримці перевірки штучного інтелекту для кількох додатків штучного інтелекту на ранніх етапах:
Дельфійський Оракул є останнім і, можливо, найбільш розширеним інтеграцією. Цей дослідницький помічник, який працює на основі штучного інтелекту, дозволяє @Delphi_Digitalчлени можуть безпосередньо спілкуватися з вмістом дослідження, задавати питання, уточнювати пункти, інтегрувати цінові канали та адаптувати вміст до різних рівнів складності.
Delphi Oracle використовує технологію перевірки Mira Network, щоб забезпечити надійні та точні відповіді. Шляхом перевірки відповідей за допомогою кількох моделей, Mira знижує рівень галюцинацій з приблизно 30% до менш ніж 5%, забезпечуючи міцний фундамент довіри.
У основі Delphi Oracle знаходиться високопродуктивний маршрутизатор запитів
Ця розумна система маршрутизації, спільно з інтелектуальним кешуванням, забезпечує оптимальну продуктивність, балансуючи затримку, вартість та якість.
Тестування Міри показало, що менші економічні моделі можуть впоратися з більшістю запитів майже так само добре, як і більші моделі. Це призвело до зниження оперативних витрат на 90%, при цьому зберігаючи високоякісні відповіді, які очікують користувачі.
Хоча багато з цих споживчих додатків все ще знаходяться на ранніх стадіях, вони підкреслюють здатність Mira безшовно інтегруватися та підтримувати великі активні користувацькі бази. Не складно уявити тисячі додатків, які підключаються до екосистеми Mira, за умови, що досвід розробника залишається простим, а пропозиція цінності залишається зрозумілою.
B2B Додатки
На фронті B2B Mira зосереджується на спеціалізованих інтеграціях у галузях, де довіра та точність є найважливішими, з першочерговим акцентом на охорону здоров'я та освіту.
Основні застосування включають:
Остаточна мета Mira - це надання нативно перевірених поколінь, де користувачі просто підключаються через API, так само як OpenAI чи Anthropic, і отримують попередньо перевірені виходи, перед тим як вони повертаються.
Вони мають на меті замінити існуючі API моделей, надаючи високонадійні версії існуючих моделей (наприклад, Mira-Claude-3.5-Sonnet або Mira-OpenAI-GPT-4o), покращені вбудованою надійністю, заснованою на консенсусі.
Generative AI летить на ракеті. Згідно зBloomberg, ринок прогнозується зростати з захоплюючим темпом 42% CAGR, з доходом, що перевищує 1 трильйон доларів до 2030 року. У цьому масштабному хвилі, інструменти, які покращують швидкість, точність та надійність робочих процесів ШІ, захоплять значну частку.
З поширенням LLMs у робочі процеси підприємств - від чат-ботів для підтримки клієнтів до складних дослідницьких асистентів - стає все більш актуальними вимоги до надійної перевірки моделей.
Організації будуть шукати інструменти, які можуть (1) вимірювати точність і надійність моделі, (2) діагностувати неефективність запиту та параметрів, (3) постійно моніторити продуктивність та зміни, і (4) забезпечувати відповідність до нових регуляторних рамок щодо безпеки штучного інтелекту.
Це звучить знайомо? Це стратегія, яку ми вже бачили раніше в MLOps (скорочено від "Machine Learning Operations"). При масштабуванні машинного навчання в 2010-х роках стали невід'ємними інструменти для впровадження, відстеження та підтримки моделей, що створило ринок на декілька мільярдів доларів. З появою генеративного штучного інтелекту, LLMOps йде по тій же траєкторії.
Захоплення навіть невеликої частки трильйонного ринку може зробити цей підсектор понад 100 млрд доларів до 2030 року.
Декілька стартапів Web2 вже позиціонуються, пропонуючи інструменти для анотування даних, налаштування моделей та оцінки продуктивності:
• Braintrust (зібрано 36 мільйонів доларів)
• Vellum AI (зібрано $5M)
• Humanloop (зібрано $2.8M)
Ці ранні учасники закладають основи, але простір є рухомим. У 2025 році ми, ймовірно, побачимо розповсюдження стартапів у цьому секторі. Деякі можуть спеціалізуватися на нішевих метриках оцінки (наприклад, виявлення упередженості та тестування надійності), тоді як інші розширюють свої пропозиції, щоб охопити весь цикл розвитку штучного інтелекту.
Більші технологічні компанії, такі як великі хмарні провайдери та платформи штучного інтелекту, швидше за все, об'єднають функції оцінки у свої пропозиції. Минулого місяцяOpenAIВпроваджено оцінки безпосередньо на платформі. Щоб залишатися конкурентоспроможними, стартапи повинні відрізнятися спеціалізацією, зручністю використання та передовою аналітикою.
Mira не є прямим конкурентом для цих стартапів або інкумбентів. Замість цього, це постачальник інфраструктури, який безперешкодно інтегрується з обома через API. Головне? Воно просто повинно працювати.
Початковий розмір ринку Mira пов'язаний з LLMOps, але його загальний ринок буде розширюватися на всю галузь штучного інтелекту, оскільки кожне застосування штучного інтелекту потребуватиме надійніших виходів.
З погляду теорії ігор, Міра перебуває в унікальній ситуації. На відміну від інших провайдерів моделей, таких як OpenAI, які обмежені в підтримці власних систем, Міра може інтегруватися з різними моделями. Це розміщує Міру як покривало надійності для штучного інтелекту, що пропонує надійність, яку жоден окремий провайдер не може забезпечити.
Дорожня карта Mira на 2025 рік спрямована на забезпечення балансу між цілісністю, масштабованістю та участю спільноти на шляху до повної децентралізації:
Фаза 1: Запуск довіри (Де ми зараз знаходимося)
На ранніх стадіях перевірені оператори вузлів забезпечують надійність мережі. Відомі постачальники обчислень на GPU служать першою хвилею операторів, керуючи початковими операціями та закладаючи міцну основу для зростання.
Фаза 2: Прогресивна децентралізація
Mira вводить розроблену дублікацію, де кілька екземплярів того самого моделі верифікатора обробляють кожен запит. Хоча це збільшує витрати на верифікацію, це важливо для виявлення та видалення зловживань операторами. Порівнюючи виходи між вузлами, зловживаючі суб'єкти виявляються рано.
У зрілому вигляді Mira реалізує випадковий шардинг для розподілу завдань верифікації. Це робить змову економічно нежиттєздатною та зміцнює стійкість і безпеку мережі в міру її масштабування.
Етап 3: Синтетична модель фундаменту
Тут Mira надасть відповідно перевірені покоління. Користувачі підключаться через API, подібно до OpenAI або Anthropic, та отримають попередньо перевірені виходи—надійні, готові до використання результати без додаткової перевірки.
У найближчі місяці Mira готується до кількох важливих етапів:
Mira розширює можливості для участі спільноти через своюПрограма делегування вузлів. Ця ініціатива робить підтримку мережі доступною для всіх - не потрібні технічні навички.
Процес простий: Ви можете орендувати обчислювальні ресурси та делегувати їх до відібраної групи операторів вузлів. Внески можуть становити від 35 до 750 доларів, а за підтримку мережі надаються винагороди. Mira керує всією складною інфраструктурою, тому делегатори вузлів можуть розслабитися, спостерігати за зростанням мережі та отримувати прибуток.
Сьогодні у Міри є невелика, але добре затягнута команда, насамперед фокусована на інженерії.
Є 3 співзасновники:
Разом вони поєднують інвестиційну гостроту, технічну інновацію та лідерство продукту в баченні Mira щодо децентралізованої перевірки ШІ. Mira зібрала $9Mseed roundу липні 2024 року, за участю BITKRAFT та Framework Ventures.
Приємно бачити, як команда Crypto AI вирішує фундаментальну проблему штучного інтелекту Web2 — робить штучний інтелект кращим — замість того, щоб грати в спекулятивні ігри в бульбашці криптовалют.
Галузь починає розуміти важливість верифікації. Покладатися на "вібрації" вже недостатньо. Кожна програма штучного інтелекту та робочий процес незабаром будуть потребувати належного процесу верифікації, і не варто уявляти майбутні регулятивні вимоги, які зобов'яжуть ці процеси для забезпечення безпеки.
Підхід Mira використовує кілька моделей для незалежної перевірки результатів, уникаючи залежності від однієї централізованої моделі. Ця децентралізована структура підвищує довіру та зменшує ризики упередженості та маніпуляцій.
І давайте подумаємо, що станеться, якщо ми досягнемо загального штучного інтелекту (АШІ) у наступні кілька років (реальна можливість).
ЯкАнанд Айер (@AI Як зазначає Canonical, якщо штучний інтелект може тонко маніпулювати рішеннями та кодом, як ми можемо довіряти системам, які тестують таку поведінку? Розумні люди думають наперед.Дослідження компанії Anthropicпідкреслює терміновість, висвітлюючи оцінки як критичний інструмент для виявлення потенційно небезпечних можливостей штучного інтелекту, перш ніж вони переростуть у проблеми.
Шляхом включення радикальної прозорості блокчейни додають потужний рівень захисту від розбіжних систем штучного інтелекту. Механізми консенсусу безпеки гарантують, що оцінки безпеки перевіряються тисячами незалежних вузлів (як на Mira), що значно знижує ризик атак типу Сібіл.
Mira переслідує великий ринок з чітким попитом на рішення, яке працює. Але виклики реальні. Покращення латентності, точності та ефективності вартості буде потребувати безперервних інженерних зусиль і часу. Команді потрібно буде постійно демонструвати, що їх підхід вимірювано кращий, ніж існуючі альтернативи.
Основна інновація полягає в бінаризації та процесі шардування Mira. Цей "секретний соус" обіцяє вирішити проблеми масштабованості та довіри. Щоб Mira принесла успіх, ця технологія повинна виконати свою обіцянку.
У будь-якій децентралізованій мережі дизайн токенів та інцентиви - це вирішальні фактори. Успіх Mira буде залежати від того, наскільки добре ці механізми вирівнюють інтереси учасників, забезпечуючи при цьому цілісність мережі.
Хоча деталі токеноміки Mira залишаються під секретом, я очікую, що команда розкриє більше інформації по мірі наближення запуску токена в початковому 2025 році.
«Ми виявили, що інженерні команди, які реалізовують великі оцінки, рухаються значно швидше - до 10 разів швидше - ніж ті, хто просто спостерігає, що відбувається у виробництві і намагається виправити їх ад-хок », - Анкур Гойял, Braintrust
У світі, де все приводиться AI, довіра - це все.
З поступовим ускладненням моделей, надійні перевірки стануть основою кожного великого продукту штучного інтелекту. Вони допомагають нам боротися з галюцинаціями, усувають упередженості та забезпечують відповідність виведені штучного інтелекту реальним потребам користувачів.
Mira автоматизує верифікацію, зменшуючи витрати та залежність від людського втручання. Це дозволяє швидші ітерації, коригування в реальному часі та масштабовані рішення без заторів.
В кінцевому підсумку, Mira має на меті бути API для довіри - децентралізований фреймворк верифікації, на якому може покладатися кожен розробник штучного інтелекту та додаток для отримання перевірених відповідей.
Це сміливо, амбіційно і точно те, що потребує світ штучного інтелекту.
Дякую за читання, Тенг Ян
Пересилайте оригінальний заголовок: Mira: безпечна перевірена штучний інтелект
Галюцинації: досвід, який включає в себе здавалося б, сприйняття чогось, чого немає.
Андрей Карпати називає штучний інтелект "мрійними машинами." Він вважає, що галюцинації - ті моменти, коли ШІ впевнено генерує речі, які не є реальними - це функція, а не помилка. Намагатися повністю їх усунути байдуже. І чесно кажучи, в цьому є щось поетичне.
Великі моделі мови (LLM) - це митець, творець. Вона мріє кодом, генерує ідеї з повітря і витягає значення з даних. Але для того, щоб штучний інтелект перейшов від красивих мрій до практичних, повсякденних застосувань, нам потрібно здолати ці галюцинації.
Помилкові рівні для LLM все ще залишаються високими на багатьох завданнях - часто коливаються навколо 30%. На такому рівні LLM все ще вимагають людини у процесі, щоб досягти прийнятного стандарту точності.
Проте коли ми досягаємо цієї недосяжної точності 99.x% - де виходи надійні без людського контролю - трапляється чудо. Це поріг, на якому штучний інтелект досягає надійності на рівні людини, відкриваючи нескінченний всесвіт використання, які раніше були недосяжні.
Досягнення такого рівня точності - це велика заслуга. Це вимагає нескінченних інженерних зусиль та інновацій.
Історія@Mira_Network починається тут. Але перед тим, як ми кинемося усередину, давайте на хвилинку поговоримо про розробку LLM — і про те, чому верифікації стають наступним великим реченням в галузі штучного інтелекту.
Розробка LLM - це останній етап у подорожі глибокого навчання, відмінний від традиційних практик розробки програмного забезпечення, які ми вдосконалювали протягом понад 50 років. LLM, які існують лише приблизно три роки, повністю змінюють сценарій, переходячи від детермінованого мислення (якщо X, тоді Y) до ймовірного міркування (якщо X, то ... можливо Y?).
Це означає, що інфраструктура для світу, що працює на основі штучного інтелекту, вимагає зовсім нового набору інструментів та робочих процесів. Однак багато з цих інструментів все ще заблоковані в лабораторіях, що створили LLMs.
Добра новина полягає в тому, що ці інструменти починають просочуватися в загальнодоступну сферу, відкриваючи безліч можливостей для розробників усюди.
На хвості цього нового робочого процесу лежить критичний елемент головоломки: оцінки та перевірки. Сьогодні наш прожектор спрямований на них. Вони відповідають на фундаментальне питання: Чи працює штучний інтелект добре?
Довіра є основою будь-якого великого продукту ШІ.
По мірі того як штучний інтелект стає все більш невід'ємною частиною нашого життя, сама технологія залишається вразливою. Помилки трапляються, і коли це відбувається, довіра швидко підточується. Користувачі очікують, що штучний інтелект буде точним, безпереднім та дійсно корисним, але без надійних систем, щоб забезпечити це, розчарування накопичується, і розчарування призводить до втрати клієнтів.
Ось де вступає в силу перевірка.
Перевірки виступають як засіб захисту. Розробники покладаються на них як на шар забезпечення якості для вдосконалення результатів та створення систем, на які користувачі можуть покластися.
Mira вирішує основну проблему Web2 за допомогою безпечної прозорості крипто. Використовуючи децентралізовану мережу вузлів-верифікаторів, Mira забезпечує точну та незалежну перевірку виходів штучного інтелекту.
Давайте скажемо, у вас є абзац виводу з LLM про місто Париж. Як ви перевіряєте, що він точний? Важко зробити це через стільки нюансів, пов'язаних з усім, від тверджень до структури вмісту до стилю писання.
Це те, де вступає Міра.
Візія Міри смілива: створити мережу рівня-1, яка забезпечує довіру, масштабовану та точну верифікацію виводів штучного інтелекту. Використовуючи колективну мудрість, Mira зменшує упередження та галюцинації, вирішуючи основні проблеми, такі як справедливість та вартість, доводячи, як блокчейн дійсно може покращити штучний інтелект.
Джерело: Mira
Ранні результати обіцяють. В останнійдослідження опубліковане на Arxiv, Міра продемонструвала, що використання кількох моделей для генерації виходів та вимагання консенсусу значно підвищує точність. Точність досягла 95,6% з трьома моделями, порівняно з 73,1% для виходу однієї моделі.
Два ключові елементи дизайну визначають підхід Mira:
Штучно створені висновки варіюються від простих тверджень до розгорнутих есе, завдяки майже нульовим витратам на генерацію контенту. Але ця розмаїтість створює виклик: як забезпечити точність такого різноманітного висновку?
Рішення Mira просте: розбийте його на частини.
@Mira_Networkтрансформує складний контент, створений штучним інтелектом, на менші, зрозумілі штучним інтелектом моделям частини, які можна об'єктивно переглянути в процесі, що називається шардування.
Шляхом стандартизації виходів та розбиття їх на окремі перевірені твердження, Mira забезпечує, що кожен елемент можна оцінити однаково, що усуває неоднозначність, яка часто потерпає від оцінок.
Наприклад, розгляньте таке складне твердження:
Фотосинтез відбувається у рослин для перетворення сонячної енергії на енергію, а бджоли відіграють важливу роль у запиленні, переносячи пилюку між квітами.
На перший погляд, це здається простим для перевірки. Але при передачі декільком моделям примхи інтерпретації можуть призвести до різних відповідей. Трансформація вмісту Міри за допомогою шардингу вирішує цю проблему, розбиваючи твердження на два незалежних твердження:
Після розщеплення кожен претензію піддається бінаризації, де вона перетворюється на багатовибірне питання. Ці питання розподіляються на мережу вузлів, що працюють з моделями штучного інтелекту. З використанням методу ансамблю верифікації Mira моделі співпрацюють, щоб оцінити та підтвердити достовірність кожної претензії.
Наразі можливості розсіювання та бінаризації контенту Mira спрямовані на текстові дані. До початку 2025 року ці процеси розширяться для підтримки мультимодальних введень, таких як зображення та відео.
Міра розробила високорівневу систему верифікації, яка поєднує переваги кількох моделей штучного інтелекту для оцінки якості виведення штучного інтелекту.
Давайте розпакуємо це.
Традиційні автоматизовані оцінки часто покладаються на єдину велику мовну модель (LLM), як-от GPT-4, як остаточний арбітр якості. Незважаючи на те, що цей підхід функціональний, він має значні недоліки: він дорогий, схильний до упередженості та обмежений примхами та «індивідуальністю», притаманними моделям.
Переломом в діяльності Міри є перехід від залежності від однієї великої моделі до використанняансамбль різноманітних LLMs. Цей ансамбль відрізняється в завданнях, де фактична точність важливіша, ніж творча майстерність, що знижує помилковість і забезпечує більш надійні, постійні підтвердження.
Ансамблеві техніки добре вивчені в машинному навчанні, такому як класифікація, і Mira тепер привносить це у верифікацію.
У серці системи Mira знаходиться Панель перевіряючих LLM (PoLL) - колаборативна мережа моделей, які працюють разом для перевірки результатів. Подумайте про це як про різноманітну панель експертів, що висловлюють свою думку з приводу рішення, а не залишають його на усмотріння одного, можливо, упередженого судді.
І це не просто мрія—це ґрунтується на дослідженнях. Подивіться на наведену нижче діаграму:
Дослідження Cohere опубліковано у квітні 2024 року продемонструвала, що група з трьох менших моделей — GPT-3.5, Claude-3 Haiku та Command R — більше узгоджується з людськими судженнями, ніж лише GPT-4. Примітно, що цей ансамблевий метод також був у 7 разів дешевшим.
Зараз Mira застосовує це дослідження в дії, застосовуючи свій метод перевірки ансамблів у великих масштабах. Внутрішні результати, якими вони поділилися на даний момент, є переконливими:
• Помилковість знижено з 80% до 5% для складних завдань мислення.
• Покращення швидкості та вартості в 5 разів порівняно з людською верифікацією.
Це не є легко досяжним досягненням. Застосовуючи механізми консенсусу, різноманітний ансамбль моделей Mira ефективно фільтрує галюцинації та балансує індивідуальні упередження моделей. Разом вони надають щось більше, ніж сума їх складових: перевірки, які є швидшими, дешевшими та більш зорієнтованими на наші потреби.
Підсумовуючи, система верифікації Mira побудована на двох основних принципах дизайну:
Підтримка різноманітних моделей є важливою для високоякісних результатів, що робить дизайн Mira ідеальним для децентралізованої архітектури. Усунення одиночних точок відмови є критичним для будь-якого продукту верифікації.
Mira використовує підхід на основі блокчейну, щоб забезпечити, що жоден окремий суб'єкт не може маніпулювати результатами. Преміс проста: вихідні дані, згенеровані штучним інтелектом, повинні бути перевірені так само, як зміни стану в блокчейні.
Перевірка відбувається за допомогою мережі незалежних вузлів, оператори яких економічно стимулюються для здійснення точних перевірок. За допомогою винагороди, зорієнтованої на чесність, система Mira засуджує недобропорядних акторів та гарантує надійні результати.
Ось як це працює:
Mira забезпечує конфіденційність даних, розбиваючи вхідні дані на менші частини, забезпечуючи відсутність доступу жодного окремого вузла до повного набору даних.
Для додаткової безпеки Mira підтримує динамічні рівні конфіденційності, що дозволяють користувачам налаштовувати кількість шарів в залежності від чутливості даних. Хоча вищі рівні конфіденційності вимагають більшої шарування (і, отже, вищих витрат), вони забезпечують додаткову конфіденційність для користувачів, які працюють з чутливою інформацією.
Кожне підтвердження, яке вузол виконує, реєструється в блокчейні, створюючи прозорий та перевірений запис про процес підтвердження. Цей незмінний реєстр забезпечує довіру та обліковість, яку традиційні підходи, що не базуються на блокчейні, не можуть досягти.
Це встановлює новий стандарт для безпечної та безперебійної перевірки штучного інтелекту.
У децентралізованій мережі Mira чесна праця винагороджується.
Експерти можуть розгортати спеціалізовані моделі штучного інтелекту за допомогою програмного забезпечення вузла та заробляти токени за точні підтвердження. Розробники штучного інтелекту, з свого боку, платять комісії за кожне підтвердження, створюючи самоекономічний цикл між попитом та пропозицією.
Цей підхід забезпечує зв'язок реальної вартості з робочими процесами Web2 в екосистему Web3, безпосередньо винагороджуючи учасників, таких як постачальники висновків та творці моделей.
Але стимули пов'язані з труднощами. У будь-якій децентралізованій системі зловмисники намагатимуться використовувати мережу, надсилаючи фальшиві результати, щоб отримати винагороду, не виконуючи роботи.
Так як ми забезпечуємо, щоб вузли дійсно виконували свої завдання точно і чесно?
Для збереження цілісності Mira використовує Proof-of-Verification—механізм, натхненний proof-of-work Bitcoin, але розроблений для штучного інтелекту. Замість видобутку блоків вузли повинні довести, що вони виконали завдання верифікації, щоб брати участь у процесі консенсусу.
Ось як це працює:
Proof-of-Verification створює збалансовану систему, в якій вузли мають економічну мотивацію виконувати якісні перевірки. Цей механізм гарантує, що мережа залишається безпечною та надійною з плином часу.
Ось питання: Якщо підхід Міри настільки ефективний, чому всі не роблять це?
Відповідь полягає в компромісах та складностях впровадження такої системи в реальному світі. Досягнення ідеального балансу між швидкими, точними оцінками та управління нюансами кількох моделей - це справжнє витвір мистецтва.
Одним з найбільших перешкод для Mira є затримка. Хоча використання ансамблів моделей дозволяє виконувати перевірки паралельно, синхронізація результатів та досягнення консенсусу вносять затримки. Процес відбувається лише на швидкості найповільнішого вузла.
Наразі це робить Mira ідеальною для пакетної обробки результатів штучного інтелекту — випадків використання, коли результати в реальному часі не потрібні. У міру того, як мережа зростає з більшою кількістю вузлів і доступністю обчислень, довгострокова мета полягає в тому, щоб досягти перевірок у реальному часі, розширюючи застосовність Mira до ширшого спектру сценаріїв.
Поза затримкою, інші виклики включають:
Складність інженерії: Організація оцінок через кілька моделей та забезпечення плавної роботи механізму консенсусу потребує значних інженерних зусиль.
Вищі вимоги до обчислень: Навіть при використанні менших моделей, їх запуск разом у сукупності збільшує обчислювальні вимоги.
Добрий дизайн механізму консенсусу: спосіб досягнення консенсусу - за допомогою голосування більшістю, зваженого підрахунку або інших методів - відіграє критичну роль у надійності системи. У неоднозначних випадках ансамблі можуть мати проблеми з узгодженням, що призводить до непослідовних результатів.
Джерело: Mira
API Mira легко інтегрується з будь-яким додатком, схожим на GPT-4o від OpenAI. Він є агностичним до споживачів та B2B-додатків, що робить його універсальним рішенням для різних випадків використання. На сьогоднішній день понад десяток додатків використовує інфраструктуру Mira.
Інтеграції споживачів
З боку споживача, Mira вже працює на підтримці перевірки штучного інтелекту для кількох додатків штучного інтелекту на ранніх етапах:
Дельфійський Оракул є останнім і, можливо, найбільш розширеним інтеграцією. Цей дослідницький помічник, який працює на основі штучного інтелекту, дозволяє @Delphi_Digitalчлени можуть безпосередньо спілкуватися з вмістом дослідження, задавати питання, уточнювати пункти, інтегрувати цінові канали та адаптувати вміст до різних рівнів складності.
Delphi Oracle використовує технологію перевірки Mira Network, щоб забезпечити надійні та точні відповіді. Шляхом перевірки відповідей за допомогою кількох моделей, Mira знижує рівень галюцинацій з приблизно 30% до менш ніж 5%, забезпечуючи міцний фундамент довіри.
У основі Delphi Oracle знаходиться високопродуктивний маршрутизатор запитів
Ця розумна система маршрутизації, спільно з інтелектуальним кешуванням, забезпечує оптимальну продуктивність, балансуючи затримку, вартість та якість.
Тестування Міри показало, що менші економічні моделі можуть впоратися з більшістю запитів майже так само добре, як і більші моделі. Це призвело до зниження оперативних витрат на 90%, при цьому зберігаючи високоякісні відповіді, які очікують користувачі.
Хоча багато з цих споживчих додатків все ще знаходяться на ранніх стадіях, вони підкреслюють здатність Mira безшовно інтегруватися та підтримувати великі активні користувацькі бази. Не складно уявити тисячі додатків, які підключаються до екосистеми Mira, за умови, що досвід розробника залишається простим, а пропозиція цінності залишається зрозумілою.
B2B Додатки
На фронті B2B Mira зосереджується на спеціалізованих інтеграціях у галузях, де довіра та точність є найважливішими, з першочерговим акцентом на охорону здоров'я та освіту.
Основні застосування включають:
Остаточна мета Mira - це надання нативно перевірених поколінь, де користувачі просто підключаються через API, так само як OpenAI чи Anthropic, і отримують попередньо перевірені виходи, перед тим як вони повертаються.
Вони мають на меті замінити існуючі API моделей, надаючи високонадійні версії існуючих моделей (наприклад, Mira-Claude-3.5-Sonnet або Mira-OpenAI-GPT-4o), покращені вбудованою надійністю, заснованою на консенсусі.
Generative AI летить на ракеті. Згідно зBloomberg, ринок прогнозується зростати з захоплюючим темпом 42% CAGR, з доходом, що перевищує 1 трильйон доларів до 2030 року. У цьому масштабному хвилі, інструменти, які покращують швидкість, точність та надійність робочих процесів ШІ, захоплять значну частку.
З поширенням LLMs у робочі процеси підприємств - від чат-ботів для підтримки клієнтів до складних дослідницьких асистентів - стає все більш актуальними вимоги до надійної перевірки моделей.
Організації будуть шукати інструменти, які можуть (1) вимірювати точність і надійність моделі, (2) діагностувати неефективність запиту та параметрів, (3) постійно моніторити продуктивність та зміни, і (4) забезпечувати відповідність до нових регуляторних рамок щодо безпеки штучного інтелекту.
Це звучить знайомо? Це стратегія, яку ми вже бачили раніше в MLOps (скорочено від "Machine Learning Operations"). При масштабуванні машинного навчання в 2010-х роках стали невід'ємними інструменти для впровадження, відстеження та підтримки моделей, що створило ринок на декілька мільярдів доларів. З появою генеративного штучного інтелекту, LLMOps йде по тій же траєкторії.
Захоплення навіть невеликої частки трильйонного ринку може зробити цей підсектор понад 100 млрд доларів до 2030 року.
Декілька стартапів Web2 вже позиціонуються, пропонуючи інструменти для анотування даних, налаштування моделей та оцінки продуктивності:
• Braintrust (зібрано 36 мільйонів доларів)
• Vellum AI (зібрано $5M)
• Humanloop (зібрано $2.8M)
Ці ранні учасники закладають основи, але простір є рухомим. У 2025 році ми, ймовірно, побачимо розповсюдження стартапів у цьому секторі. Деякі можуть спеціалізуватися на нішевих метриках оцінки (наприклад, виявлення упередженості та тестування надійності), тоді як інші розширюють свої пропозиції, щоб охопити весь цикл розвитку штучного інтелекту.
Більші технологічні компанії, такі як великі хмарні провайдери та платформи штучного інтелекту, швидше за все, об'єднають функції оцінки у свої пропозиції. Минулого місяцяOpenAIВпроваджено оцінки безпосередньо на платформі. Щоб залишатися конкурентоспроможними, стартапи повинні відрізнятися спеціалізацією, зручністю використання та передовою аналітикою.
Mira не є прямим конкурентом для цих стартапів або інкумбентів. Замість цього, це постачальник інфраструктури, який безперешкодно інтегрується з обома через API. Головне? Воно просто повинно працювати.
Початковий розмір ринку Mira пов'язаний з LLMOps, але його загальний ринок буде розширюватися на всю галузь штучного інтелекту, оскільки кожне застосування штучного інтелекту потребуватиме надійніших виходів.
З погляду теорії ігор, Міра перебуває в унікальній ситуації. На відміну від інших провайдерів моделей, таких як OpenAI, які обмежені в підтримці власних систем, Міра може інтегруватися з різними моделями. Це розміщує Міру як покривало надійності для штучного інтелекту, що пропонує надійність, яку жоден окремий провайдер не може забезпечити.
Дорожня карта Mira на 2025 рік спрямована на забезпечення балансу між цілісністю, масштабованістю та участю спільноти на шляху до повної децентралізації:
Фаза 1: Запуск довіри (Де ми зараз знаходимося)
На ранніх стадіях перевірені оператори вузлів забезпечують надійність мережі. Відомі постачальники обчислень на GPU служать першою хвилею операторів, керуючи початковими операціями та закладаючи міцну основу для зростання.
Фаза 2: Прогресивна децентралізація
Mira вводить розроблену дублікацію, де кілька екземплярів того самого моделі верифікатора обробляють кожен запит. Хоча це збільшує витрати на верифікацію, це важливо для виявлення та видалення зловживань операторами. Порівнюючи виходи між вузлами, зловживаючі суб'єкти виявляються рано.
У зрілому вигляді Mira реалізує випадковий шардинг для розподілу завдань верифікації. Це робить змову економічно нежиттєздатною та зміцнює стійкість і безпеку мережі в міру її масштабування.
Етап 3: Синтетична модель фундаменту
Тут Mira надасть відповідно перевірені покоління. Користувачі підключаться через API, подібно до OpenAI або Anthropic, та отримають попередньо перевірені виходи—надійні, готові до використання результати без додаткової перевірки.
У найближчі місяці Mira готується до кількох важливих етапів:
Mira розширює можливості для участі спільноти через своюПрограма делегування вузлів. Ця ініціатива робить підтримку мережі доступною для всіх - не потрібні технічні навички.
Процес простий: Ви можете орендувати обчислювальні ресурси та делегувати їх до відібраної групи операторів вузлів. Внески можуть становити від 35 до 750 доларів, а за підтримку мережі надаються винагороди. Mira керує всією складною інфраструктурою, тому делегатори вузлів можуть розслабитися, спостерігати за зростанням мережі та отримувати прибуток.
Сьогодні у Міри є невелика, але добре затягнута команда, насамперед фокусована на інженерії.
Є 3 співзасновники:
Разом вони поєднують інвестиційну гостроту, технічну інновацію та лідерство продукту в баченні Mira щодо децентралізованої перевірки ШІ. Mira зібрала $9Mseed roundу липні 2024 року, за участю BITKRAFT та Framework Ventures.
Приємно бачити, як команда Crypto AI вирішує фундаментальну проблему штучного інтелекту Web2 — робить штучний інтелект кращим — замість того, щоб грати в спекулятивні ігри в бульбашці криптовалют.
Галузь починає розуміти важливість верифікації. Покладатися на "вібрації" вже недостатньо. Кожна програма штучного інтелекту та робочий процес незабаром будуть потребувати належного процесу верифікації, і не варто уявляти майбутні регулятивні вимоги, які зобов'яжуть ці процеси для забезпечення безпеки.
Підхід Mira використовує кілька моделей для незалежної перевірки результатів, уникаючи залежності від однієї централізованої моделі. Ця децентралізована структура підвищує довіру та зменшує ризики упередженості та маніпуляцій.
І давайте подумаємо, що станеться, якщо ми досягнемо загального штучного інтелекту (АШІ) у наступні кілька років (реальна можливість).
ЯкАнанд Айер (@AI Як зазначає Canonical, якщо штучний інтелект може тонко маніпулювати рішеннями та кодом, як ми можемо довіряти системам, які тестують таку поведінку? Розумні люди думають наперед.Дослідження компанії Anthropicпідкреслює терміновість, висвітлюючи оцінки як критичний інструмент для виявлення потенційно небезпечних можливостей штучного інтелекту, перш ніж вони переростуть у проблеми.
Шляхом включення радикальної прозорості блокчейни додають потужний рівень захисту від розбіжних систем штучного інтелекту. Механізми консенсусу безпеки гарантують, що оцінки безпеки перевіряються тисячами незалежних вузлів (як на Mira), що значно знижує ризик атак типу Сібіл.
Mira переслідує великий ринок з чітким попитом на рішення, яке працює. Але виклики реальні. Покращення латентності, точності та ефективності вартості буде потребувати безперервних інженерних зусиль і часу. Команді потрібно буде постійно демонструвати, що їх підхід вимірювано кращий, ніж існуючі альтернативи.
Основна інновація полягає в бінаризації та процесі шардування Mira. Цей "секретний соус" обіцяє вирішити проблеми масштабованості та довіри. Щоб Mira принесла успіх, ця технологія повинна виконати свою обіцянку.
У будь-якій децентралізованій мережі дизайн токенів та інцентиви - це вирішальні фактори. Успіх Mira буде залежати від того, наскільки добре ці механізми вирівнюють інтереси учасників, забезпечуючи при цьому цілісність мережі.
Хоча деталі токеноміки Mira залишаються під секретом, я очікую, що команда розкриє більше інформації по мірі наближення запуску токена в початковому 2025 році.
«Ми виявили, що інженерні команди, які реалізовують великі оцінки, рухаються значно швидше - до 10 разів швидше - ніж ті, хто просто спостерігає, що відбувається у виробництві і намагається виправити їх ад-хок », - Анкур Гойял, Braintrust
У світі, де все приводиться AI, довіра - це все.
З поступовим ускладненням моделей, надійні перевірки стануть основою кожного великого продукту штучного інтелекту. Вони допомагають нам боротися з галюцинаціями, усувають упередженості та забезпечують відповідність виведені штучного інтелекту реальним потребам користувачів.
Mira автоматизує верифікацію, зменшуючи витрати та залежність від людського втручання. Це дозволяє швидші ітерації, коригування в реальному часі та масштабовані рішення без заторів.
В кінцевому підсумку, Mira має на меті бути API для довіри - децентралізований фреймворк верифікації, на якому може покладатися кожен розробник штучного інтелекту та додаток для отримання перевірених відповідей.
Це сміливо, амбіційно і точно те, що потребує світ штучного інтелекту.
Дякую за читання, Тенг Ян