У квітні Ван Сяочуань оголосив про свій кінець і заснував масштабну модельну компанію «Baichuan Smart».
У червні компанія Baichuan Intelligent випустила велику модель з відкритим кодом на 7 мільярдів параметрів Baichuan-7B.
У липні компанія Baichuan Intelligent випустила велику модель з відкритим кодом на 13 мільярдів параметрів Baichuan-13B.
Обидві моделі показали хороші результати в різних оцінках, а також були визнані великою кількістю користувачів у країні та за кордоном.
«Відкритий код дуже простий, кожен може використовувати його для власних потреб, цим не можна хвалитися».
Він рухається швидко, швидше, ніж більшість людей думають. Навіть він сам був здивований: прогрес буде набагато швидшим, ніж очікувалося після початку цього робити.
На конференції AGI Playground Ван Сяочуань заявив, що можливості моделі з відкритим кодом BCI точно перевершать Llama 2. Згідно з планом, у майбутньому Baichuan Intelligent випустить десятки мільярдів і сотні мільярдів великих моделей із закритим кодом.
Кілька місяців тому Ван Сяочуань хотів «бути китайським OpenAI» у заголовках різних ЗМІ.
Це гасло, яке публіка любить чути, але воно може бути неточним описом.
Що саме хоче зробити Ван Сяочуань? Що він збирається робити? Після трьох місяців практики та досягнення перших результатів, яке його розуміння підприємництва в епоху масштабних моделей з перших рук?
Наступний вміст узятий з інтерв’ю між Чжан Пенгом, засновником і президентом Geek Park, і Ван Сяочуанем, засновником і генеральним директором Baichuan Smart, на конференції AGI Playground, редагованою Засновником Парком.
Відкритий вихідний код, що тільки не робив OpenAI
Чжан Пен:
Те, що вас може найбільше зацікавити, це те, що ви дуже швидко змінили свій бізнес і випустили дві моделі: одну 7B і одну 13B, і відгуки були дуже хорошими.
Усім дуже цікаво, тому що на початку вони думали, що ви будете китайським OpenAI, але, побачивши, що ви створили речі з відкритим кодом, відкритий код є технологічним етапом, чи він сам по собі є новою моделлю для вашого мислення в майбутньому?
Ван Сяочуань:
Відкритий код, ми вважаємо, що це технічний етап, насправді бути китайським OpenAI не означає повністю копіювати його повний шлях. Під час спілкування з OpenAI у Кремнієвій долині вони зайшли дуже далеко. Наприклад, коли вони зараз роблять GPT-4, їм потрібно більше 20 000 карток для обчислень, і вони ніколи не бачили такого масштабу в Китаї.
Вони з гордістю кажуть, що розробляють обчислювальну модель, яка об’єднує 10 мільйонів графічних процесорів.
Що таке концепція 10 мільйонів карток? Річний випуск Nvidia становить 1 мільйон. 10 мільйонів копій - це план, який може відправитися на Місяць (moonshot).
Крім того, з точки зору того, як створювати програми, продукти чи навіть деякі ширші технології, це може бути недоліком OpenAI, або це може бути те, що їх зараз особливо не хвилює.
Таким чином, створення OpenAI в Китаї буде дуже відрізнятися від екологічного середовища в Сполучених Штатах.
Після нещодавнього випуску Llama 2 з відкритим вихідним кодом, вона викликала божевілля в Китаї.Всі відчували, що вона знову змінить ландшафт, чого не вдалося зробити OpenAI. Шкода, що цим займається не Google, а Facebook (Meta), а Google продовжує бути відсутнім. Але в Китаї ми бачили це питання заздалегідь, і ми віримо, що відкритий і закритий коди матимуть паралельний стан у майбутньому.
Чжан Пен:
Відкритий і закритий вихідний код будуть у паралельному стані.
Ван Сяочуань:
Паралелізм трохи схожий на поточну систему Apple і систему Android. Навіть якщо більше компаній хочуть брати участь, недостатньо використовувати виклики API із закритим кодом. Ця модель із відкритим кодом також має надавати 80% послуг і, нарешті, покладатися на сервіси із закритим кодом, щоб надавати послуги для всіх, а решта 20% матимуть великий попит на послуги з відкритим кодом. У США її раніше не було, а в Китаї не було подібної моделі. Тому, як тільки Llama буде оголошено, це стане великим шоком для Сполучених Штатів, але в Китаї також спостерігається бум. Насправді серйозні технічні оцінки включають кілька стандартних оцінок, таких як SuperClue, а також порівняння між деякими великими виробниками та компаніями.Якщо Llama порівняти з Baichuan, очевидно, що наша якість у китайській сфері набагато вища за якість Llama.
У сфері моделей з відкритим вихідним кодом у Китаї, як і в нашій індустрії мобільних телефонів, Сполучені Штати спочатку використовувалися, а пізніше їх наздогнали.
Чжан Пен:
Як ви думаєте, Llama 2 останнім часом такий крутий, що Baichuan впорається з ними краще?
Ван Сяочуань:
Лама - це Лама 1 і 2.
Перш за все, ми випустили першу модель параметрів 7B у червні цього року, а модель параметрів 13B – у липні. Серед індикаторів англійською мовою найважливішим є показник MMLU (Massive Multitask Language Understanding). Наші дві моделі цього ключового індикатора кращі, ніж Llama (1), і значно випереджають китайську.
Ми знаємо, що китайська обробка Llama насправді є недостатньою. Порівняно з Llama (1), англійська мова Baichuan може частково відповідати еталону, і ключові показники перевищені, а китайська, очевидно, краща. Багато людей перетворюють Llama на китайську, але вона все ще не така проста у використанні, як місцева мова Baichuan.
Після випуску Llama 2 ми також можемо побачити технічний звіт, який містить близько 9 технічних інновацій, 6 з яких досягнуто в моделі, яку ми розробляємо.
У порівнянні з іншими вітчизняними моделями, наше мислення тут найближче на даний момент. Ми вже зробили 6 балів, а потім ми не очікували 2 балів, і у нас є один недійсний. Тому, порівнюючи з Llama2, ми не просто плагіат в технічному мисленні, але у нас є своє мислення. Ми думаємо, що на цій дорозі будуть наші можливості в майбутньому.
Сьогодні я також закликаю всіх у Китаї не тільки думати, що іноземні країни добре використовують його. OpenAI справді зараз ще далі. Потрібен час, щоб досягти GPT-3.5 або близького рівня до кінця року, але ми вже дуже близько в моделі з відкритим кодом.
Чжан Пен:
Отже, ваша наступна модель з відкритим кодом, як ви думаєте, вона буде кращою за Llama 2?
Ван Сяочуань:
Принаймні китайською. У сфері китайської мови вона зараз перевершена. Наступний крок — зробити голос Китаю на світовому ринку відкритого коду.
Чжан Пен:
І англійська, і китайська повинні бути кращими, ніж Llama2, це видно і досяжно для вас.
Ван Сяочуань:
Я думаю, що є шанс, що це може статися в осяжному майбутньому.
Чжан Пен:
Отже, ваша точка зору така: сьогодні ми не можемо просто сказати, що наша майбутня велика модель полягає в переході до OpenAI — централізованої моделі із закритим кодом. Відкритий код насправді має великі можливості. Отже, це означає, що, з одного боку, це практикувати технології та демонструвати технічні можливості, але це дійсно може містити бізнес-моделі та цінності.
У той же час на основі відкритого вихідного коду люди все ще можуть з нетерпінням чекати в Китаї, створюючи найкращу китайську модель у світі.
Ван Сяочуань:
Це досить точно підсумовує.
Досвід пошуку – це погана інерція чи хороша перевага?
Чжан Пен:
У минулому багато інвесторів вважали, що використання досвіду пошуку для створення великомасштабної моделі точно не вдасться. Після цих місяців практики ви перевірили своє початкове судження, яке відрізнялося від їхнього? Як накопичення та можливості пошуку сприяють більшим моделям?
Ван Сяочуань:
Оскільки сьогоднішніх досягнень (AI) досягнув OpenAI, а Google – ні, перша думка інвесторів полягає в тому, що ця нова технологія є прямою протилежністю пошуку. Їм важко розрізнити, чи причина в технологіях, чи в організаційному менеджменті.
Причина такого голосу полягає в тому, що людина не розуміє зв’язку між технологією пошуку та штучним інтелектом, а друга – у тому, що пізнання фону пошуку призведе до негативних наслідків.
Оскільки пошуковими компаніями є переважно Baidu та Google, їм не потрібне зовнішнє фінансування, і вони не розповідають інвесторам, що таке пошук. Зокрема, остання хвиля буму штучного інтелекту була здебільшого викликана зображеннями, і всі не знайомі з такими технічними конотаціями, як NLP у пошуку.
З точки зору результатів, ми випустили першу модель у червні. Конкурент раніше повідомив інвесторам, що Baichuan займе півроку, щоб виготовити першу модель.Насправді ми витратили лише 1/3 часу, щоб завершити її, а потім випустили другу. А найближчим часом ми випустимо закриту модель.
Baichuan розроблявся самостійно з першого дня, і холодний старт відбувається дуже, дуже швидко. Яка причина цього?
Сьогодні ми знаємо, що високоякісні дані є основою великих моделей, тож яка компанія має широке розуміння мовних даних? Насправді пошукові компанії працюють 20 років, кожен день думаючи про те, як знайти такі якісні дані. Наприклад, спочатку знайдіть 100 високоякісних веб-сайтів із 1 трильйона веб-сторінок, а потім виконайте аналіз сторінки, включаючи вилучення інформації, дедуплікацію, захист від спаму та навіть витягніть вміст за рівнем абзацу.
Sogou, Baidu та Google займаються цією роботою протягом тривалого часу.
Другий момент: з точки зору кадрового резерву, необхідно мати як алгоритмічні можливості, так і інженерні можливості, орієнтовані на можливості пошуку, такі люди в принципі також шукають компанії. Зараз ByteDance використовує пошукову групу для створення моделей, і прогрес Baidu також дуже швидкий, зокрема модель, яку створює Шен Сян’янг, також створив в минулому віце-президент Bing.
Інша річ, щоб зробити велику модель, це оцінка. Оцінка того, хороша велика модель чи ні, насправді є болючою проблемою, включаючи проблему міркування, точного запитання та відповіді, створення... Хтось стає кращим, хтось гіршим, як оцінити? Таким чином, ця система оцінювання також є можливостями, які пошукові компанії накопичували протягом тривалого часу, використовуючи оцінювання для ітерації наступних алгоритмів.
Крім того, організаційна ефективність компаній-початківців набагато вища, ніж у великих фабрик. З дуже гнучкою системою прийняття рішень уся ефективність буде максимальною.
Чжан Пен:
Отже, ви спілкувалися з інвестором, який вважав, що пошук недостатній для великих моделей?
Ван Сяочуань:
Прізвище позначене хрестиком і видалено, а хто це я не знаю. Інвестори, які дивляться лише на бізнес, але не на технології, і ті, хто особливо любить дрібне свіже м’ясо, які повертаються зі Сполучених Штатів, щоб почати бізнес, ці інвестори просто малюють це і не говорять про це.
Старий Ван має рацію: «Малі інновації залежать від великих фабрик, а великі інновації залежать від маленьких фабрик»
Чжан Пен:
Як ви думаєте, чи буде у підприємців достатньо можливостей у цій хвилі технологічних змін у майбутньому? Або основний корпус все ще контролюють гіганти? Як підприємці можуть скористатися власними можливостями?
Ван Сяочуань:
Хоча Ван Хуйвень не дуже розбирається в технологіях, я думаю, що він сказав щось дуже правильне: маленькі інновації залежать від маленьких фабрик, а великі інновації залежать від великих фабрик.
Незважаючи на те, що велика фабрика має багато переваг у людях, грошах і ресурсах, після того, як організація розростеться, виникне багато внутрішніх проблем, а ефективність організації буде сильно обмежена.
Якщо ми твердо віримо, що прихід AGI, то буде величезний вибух нових видів. Ці речі мають величезні можливості для роботи стартапів. Це можна продемонструвати з історичної дедукції, тож поки існує AGI, у майбутньому будуть нові можливості.
Де труднощі посередині?
OpenAI — це науково-орієнтована компанія, яка впроваджує продукти в реальному світі. Ви дотримуєтеся цього, і сфера досліджень може мати дуже приголомшливі досягнення. Але як подати заявку сьогодні, ані OpenAI, ані технологічні компанії в Кремнієвій долині не дуже вміють у цьому. Я впевнений, що Китай набагато кращий за США з точки зору реалізації додатків.
Весь світ досяг переломного моменту, і тепер, коли технологія налагоджена, це перша складність. Заявка і вимоги - це друга складність, яка називається модельним сервісом (model service). Отже, завдання номер один: чи є у вас модель? По-друге, мати модель означає мати послугу?
Чжан Пен:
Чи є продаж API послугою?
Ван Сяочуань:
Я так не думаю.
Ніби у вас є безпілотна технологія, але чи справді ви можете побудувати автомобіль? Очевидно ні. Це також вимагає злиття багатьох технологій.
Зараз Сполучені Штати відносно плутаються щодо прикладного рівня, а нинішня проблема Китаю полягає у відсутності можливостей моделі. Сьогодні багато компаній-початківців, які створюють моделі, також обмежують свою точку зору великими моделями та мало знають про інші набори технологій.
Наведу найпростіший приклад: створюючи модель, ви обов'язково зіткнетеся з галюцинаціями і своєчасністю. І галюцинації, і своєчасність може розгадати сама велика модель. Деякі люди вирішують ілюзію, розширюючи параметри до трильйонів і десятків трильйонів; або використовують навчання з підкріпленням. Але насправді найпряміший шлях – це внести в нього пошук і пошук інформації. Поєднання великих моделей може сформувати більш повний набір технологій.
Після того, як ця технологія була запропонована, це вже стало певною ознакою. Наприклад, є щось, що називається векторною базою даних, яка насправді є гнучким пошуком і в основному використовується в toB.
Що стосується пошуку, то після представлення технології Transformer у 2018 році вона вже має можливість семантичного пошуку. Можливо, ви чули про інвертований індекс, який має індексувати цю символічну мережу.
Після 2018 року, незалежно від того, чи ми, Baidu чи байтові вектори звернулися до семантичного пошуку, за цією технологією стоять три величезні векторні бази даних. Поєднання цих стеків технологій і великої моделі може сприяти подальшому розвитку великої моделі. Як бачите, досвід пошукової групи має переваги для створення моделей.
Другий аспект полягає в тому, що технологія великомасштабних моделей поступово стає практичною. Потім у так званому обчисленні знань потрібно додати векторні бази даних і пошук, щоб сформувати більш повні технології та продукти. У цьому питанні всі поступово формують консенсус.
Говорячи про трафік ChatGPT сьогодні, усі почали хвилюватися, чи може він продовжувати вибухати.
Тож нам все ще потрібні додаткові дослідження.
Ми вважаємо, що в індустрії розваг рольові ігри мають широкі перспективи, але це питання вимагає входу китайських компаній, щоб зробити це краще.
Інша справа, як поєднати великі моделі та пошук. У Perplexity AI зараз дуже добре, але ми в пасивній позиції. Якщо у США будуть можливості, інвестори шукатимуть китайські компанії порівняння.
Якщо ця компанія не має великої моделі, вона викликає лише API; по-друге, вона не має пошукових технологій і може покладатися лише на технології таких компаній, як Google і Bing, що не ідеально.
Чжан Пен:
Щойно ви сказали, що кількість таких користувачів, як ChatGPT, зменшується, що змушує всіх відчувати, що нова парадигма не зможе прорватися всім одразу. Це великий виклик для підприємців – подавати заявки?
Оскільки згідно з тим, що ви щойно сказали, у середовищі з незрілими технологіями вартість підприємницького пошуку дуже висока. І якщо підприємець просто використовує чужий API як зміну парадигми програми, це не особливо кидається в очі.
Ван Сяочуань:
Два дні тому OpenAI щойно оновив інтерпретатор коду, а потім оновив спеціальну інструкцію. Для компаній-початківців був величезний тиск.
Американські інвестори також хвилюються, чи є ще шанси у стартапів перевершити гігантів на тлі тривоги, і чи не замінять їх великі компанії після половини роботи.
Я не думаю, що в Китаї є така топова компанія, як OpenAI, яка б пішла шляхом великомасштабних моделей. Він ще в стадії «Війни сотень моделей». Сьогодні, чи мають компанії, які виробляють великомасштабні моделі, можливість робити програми, це питання, за яким Китаю потрібно багато стежити за Сполученими Штатами.
Наздогнати GPT-4? Небезпечно сліпо йти за моделлю вдосконалення між поколіннями
Чжан Пен:
Це також викликає питання про те, хто в Китаї наздожене GPT-3.5 або навіть GPT-4
Існує також інший голос, який каже, що GPT-3 достатньо для підприємств, щоб вирішити деякі проблеми вертикальної сцени.
Я відчуваю, що Сяочуань і ви все ще прагнете до GPT-3.5 і GPT-4. Чи складний цей процес переслідування? Чому ви кажете, що вам потрібно наздогнати рівень GPT-4?
Ван Сяочуань:
Я думаю, це дві речі.
По-перше, це розвиток технологій між поколіннями, який може мати нищівний вплив на екологію наступних продуктів. Незалежно від ідеальної точки зору, уявіть собі майбутнє, яке є далеко недосяжним, як три, чотири, п’ять поколінь винищувачів, у якому кожне покоління може відігравати важливу роль. Тож у цей час кожен має прагнути шукати переваги у висококонкурентній сфері.
Однак у процесі змагання за переваги кожен може зіткнутися з новою плутаниною: на якому поколінні ми дійсно можемо реалізувати супердодатки? GPT-3.5 ще не сформував супердодаток у Сполучених Штатах, і для одноразового навчання потрібно близько 50 мільйонів юанів, що не включає витрати на попередню підготовку та експерименти. Одноразове навчання GPT-4 може коштувати 500 мільйонів юанів. До покоління GPT-4.5 вартість може досягти 500 мільйонів доларів.
Тому, якщо немає супердодатку, просто гнатися за технологічним вдосконаленням дуже небезпечно. Таким чином, нам потрібно одночасно вдосконалювати технічні можливості четвертого та п’ятого поколінь у цій галузі, і в той же час мати супердодатки. В іншому випадку ми можемо раптово зіткнутися з тиском щодо оновлення на двох фронтах, які потрібно оновлювати одночасно, щоб досягти успіху.
Чжан Пен:
Таким чином, кожна хвильова технологія повинна створювати цінні програми.
Ван Сяочуань:
Те, що ви щойно сказали, цілком правильно.
GPT-3 в основному доступний на стороні B, але я думаю, що причина, чому він недоступний на стороні C, полягає в тому, що час надто короткий.
Крім того, всі надто зосереджені на OpenAI.Це не компанія-продукт і не компанія, яка може створювати супердодатки.
Здатність створювати супердодатки вимагає не лише технічного надолуження, але й достатнього розуміння продукту. Я думаю, що правда стане ясною до кінця року.
"Сяочуань підходить для створення великих моделей" "Після 20 років пошуків ніхто не сказав, що я придатний для пошуку"
Чжан Пен:
Чи всі можуть переоцінити OpenAI? Іншими словами, ми вважаємо, що OpenAI важко перевершити, оскільки він має маховик даних. Як ви це розумієте? Чи справді маховик даних існує?
Ван Сяочуань:
На початку цього року я говорив про маховик даних, і тоді я був дуже запанікований. Йому надається запит користувача, він знає, чого хоче користувач, і потім може краще оновити модель.
Поки ця проблема не є серйозною.
Наприклад, після запуску Llama 2 усі побачили, що на етапі тонкого налаштування дані потрібно уточнювати й менше, а не уточнювати й більше.Тепер усі поступово дійшли згоди, що секрет технології не в маховику, а в накопиченні технологій з часом.
Технічна потужність Anthropic, такої компанії, як у Клода, також швидко зросла, і OpenAI має набагато більше користувачів, ніж вона, що також доводить, що концепція маховика даних була сфальсифікована.
Чжан Пен:
А може бути, справді цінні дані в ньому відображені в навичках розмови з людьми.Я пам'ятаю, що спочатку його манера розмовляти була досить «тупою», а тепер вона відчувається більш людською.
Ван Сяочуань:
Здається, це не так вже й багато, і більше полягає в його наборі даних.Як отримати високоякісні дані незалежно від того, на етапі попереднього навчання чи на етапі тонкого налаштування? Як збігатися і так далі, це його основна здатність. Зокрема, я чув, як вони говорили, що, з одного боку, GPT-4 навчає GPT-3.5, щоб зробити 3.5 більш ефективною, і в той же час GPT-4 використовується для отримання частини даних, необхідних для GPT-5, і оптимізує ітераційний процес. Його внутрішня ітерація полягає в тому, щоб покращити онлайн-сервіси та водночас генерувати деякі дані в майбутньому. Я думаю, що це внутрішній маховик.
Чжан Пен:
Отже, якщо ви подивитеся на це з точки зору Llama, також можливо створити модель, яка постійно вдосконалює технічний рівень за допомогою відкритого коду. Але з точки зору OpenAI, на певному етапі може бути достатньо користувачів і даних.
Ван Сяочуань:
З відкритим кодом, закритим кодом і додатками, фактично, усі все ще поширюють це сьогодні, і воно все ще знаходиться на стадії розширення, як і захід Сполучених Штатів.
Чжан Пен:
Тож сьогодні для такої компанії-початківця, як Baichuan, нелегко просто сказати, що я співпрацюю лише з певним напрямком, незалежно від того, чи хочу я зберегти стратегію нечіткою, чи назвати її багатою можливостями, я можу зробити ставку на ці виміри.
Ван Сяочуань:
правильно. Цього разу моє підприємництво досить цікаве. Багато людей кажуть, що Сяо Чуан особливо підходить для виготовлення великомасштабних моделей. Я займаюся пошуком 20 років, і ніхто ніколи не казав, що Сяо Чуан особливо підходить для пошуку.
Пошук у Китаї виконується на 3 роки пізніше, ніж у Baidu. Це дуже складно наздогнати. Дивляться на сьогоднішні накопичення і досвід, а попереду нікого. Було важко думати, і було пізно на кілька років, але сьогодні мені здається, що всюди є можливості. Тому, поки у нас є достатньо можливостей, ми можемо брати інтерв’ю тут усюди та перевіряти, чи зможемо ми змінити ваше початкове враження про Sogou сьогодні.
Не поклоняйтеся сліпо, Китай і Сполучені Штати матимуть різні історії ШІ
Чжан Пен:
Я дуже зворушений тим, що сказав Огава. Ви нарешті стоїте на нічийній землі.
Що стосується великої моделі, багато людей можуть відчути, що їм потрібно вивчити та наздогнати OpenAI. Але коли ви дійсно це зробите, ви дійсно знайдете відстань і шлях.
Ван Сяочуань:
Так, не будь таким шанобливим.
Я пам’ятаю, що після AlphaGo у 2016 році я згадав два моменти.По-перше, якщо (AI) може передбачити наступний кадр відео, це прихід AGI.
Але все закінчилося після того, як ви закінчили говорити, і у вас немає можливості це зробити, у вас немає мотивації, здібностей або умов. Пізніше говорили, що якщо машина опанує мову, то прийде і сильний штучний інтелект. Зараз фактично почалася перевірка.
Тож я думаю, що у нас багато ідей, і ми не відстаємо. Просто не назріли терміни та умови. Це як учитель сказав, що це питання можна вирішити, ви, учитель, ви ж не збираєтеся переписувати домашнє завдання, правда?
Інші кажуть вам, що це можна розв’язати, або навіть дають вам велику ідею. Я думаю, що ми можемо зробити це самі, і нам не потрібно дивитися на чужі домашні завдання та копіювати їх.
Чжан Пен:
Тож ваша справжня розвага тут полягає не в тому, щоб усвідомлювати та відтворювати інших, а в тому, щоб досліджувати деякі речі, які не всі вловили на цій нічийній землі.
Ван Сяочуань:
Так, я думаю, що цього разу у мене є можливість лідирувати в деяких сферах.
Чжан Пен:
Є така можливість, тому Китай і Сполучені Штати, Байчуань і OpenAI, можливо, це не та сама історія.
Ван Сяочуань:
Це справді буде інакше. Китай і Сполучені Штати не є системою, системою чи культурою, тому те, що виросте в кінцевому підсумку, будь то технічна проблема чи проблема застосування, буде різним.
Основна робота: спілкування з колегами, Baichuan Intelligent щойно пробив 100 людей
Чжан Пен:
Як ви влаштовуєте свою звичну роботу? Як ви розподіляєте свій час? Багато людей кажуть, що обчислювальна потужність важлива і таланти важливі, але я думаю, що тільки ті, хто справді починає бізнес, знають, що найважливіше. Тому я просто хочу запитати, де ви проводите найбільше часу?
Ван Сяочуань:
Зараз я витрачаю більшу частину свого часу на спілкування з нашими колегами.
Чжан Пен:
чат?
Ван Сяочуань:
Так, під час спілкування в чаті це фактично процес безперервного формування консенсусу, який полягає в зборі когнітивних здібностей, харчування та зовнішньої інформації, щоб кожен міг сформувати однаковий мозок.
Тому що ми знаємо, що «згори вниз» може збитися з шляху. Наприклад, чому Google не зробив цього? Коли була побудована перша штаб-квартира Google, вона мала свою інерцію. Дані не можуть бути отримані, вартість зросте після виходу в Інтернет, і не буде жодних конкретних переваг для користувачів, тому виникає дилема для відкриття бізнесу.
У випадку Google Brain це Button-Up. Його дослідники дуже вільні і можуть робити все, що завгодно, або об'єднувати зусилля, тому багато хто з них бачили велику модель, але не можуть зосередитися на цьому, оскільки сили розпорошені. Тоді Deepmind — це зверху вниз, те, що компанія просить зробити, і що роблять усі. Він створив AlphaGo, AlphaZero, AlphaFold, а зараз рухається до водневої енергетики, ядерного синтезу та квантових обчислень, але він далекий від більшості з них.
Насправді, «згори вниз» і «кнопки вгору» сьогодні називаються «вгору і вниз з тим же бажанням», щоб кожен міг повністю вирівняти цей ідеал із технологіями та пізнанням і стати єдиним цілим. Тож я думаю, що більше щоденного спілкування з тобою зробить тебе мозком, а це моя найважливіша робота.
Чжан Пен:
Хм, цікаво. Тому, якщо невеликий колектив докладає найбільшу енергію, усі можуть розділити однакові радощі та печалі, однакові бажання та бажання.
Ван Сяочуань:
Це дуже важливо, ми сьогодні не будемо говорити про організацію та управління, а станемо як одна людина. Зараз у Baichuan працює 100 осіб, і лише вчора вона досягла 100 осіб.
Зміни в впевненості, розвиток Baichuan відбувається швидше, ніж очікувалося
Чжан Пен:
Останні кілька місяців Ви присвятили себе великому модельному бізнесу, Ваш ентузіазм не змінився, але чи змінилася Ваша впевненість? Це складніше, ніж ви очікували на початку? Все ще відповідає вашим очікуванням?
Ван Сяочуань:
Якщо чесно, я думаю, що це легше, ніж я думав.
Очікується, що ви знаєте багато (труднощів) на початку, роки накопичення за кордоном, обчислювальну потужність, сервери... Але коли ви працюєте зі своїми колегами, коли всі спільно творять, наш реальний прогрес і темп є швидшими, ніж очікувалося.
Виявилося, що ми очікували випустити 50-мільярдну модель у третьому кварталі, а потім випустити 175-мільярдну модель у четвертому кварталі.
Але насправді ці речі не зміняться, але в процесі швидкість прогресу додатків і швидкість моделей з відкритим кодом набагато вищі, ніж очікувалося.
А також швидше, сьогодні ми можемо почати говорити, не лише бути найкращими вдома, але й відкритим кодом на міжнародній арені.
Відкритий код дуже простий, кожен може використовувати його для власного використання, цим не хвалишся. Після відкриття ми впевнені, що можемо отримати дуже хороші позиції на міжнародній арені.
Чжан Пен:
Тож перед тим, як стрибнути у воду, я хвилювався через те, що не знаю глибини, але коли я справді стрибнув, я виявив, що справді можу наступити на дно, тож почувався набагато спокійніше? Невже це так просто?
Ван Сяочуань:
Розділити людей.
Я відносно обережна людина, я ще дивився, а потім наш Ляньчуан підкинув мене ногою і сказав почати це робити. Тоді я сказав добре, оголосив про кінець і почав працювати. Інакше ви можете відчути себе готовими навіть пізніше. Але як тільки ви вийдете з поля, ви побачите, що будете бігати швидше, ніж ви думали.
Після божевілля останні технологічні розробки викликають занепокоєння
Чжан Пен:
Чи звертаєте ви увагу на технічний прогрес великих моделей останнім часом? Які документи вас хвилюють?
Ван Сяочуань:
По-перше, просто читати газети сьогодні насправді не важливо. Ви не можете закінчити.
Основи - це ті речі. А сьогодні OpenAI перестав розсилати хороші документи. Усі газети, які розсилаються, містять невелику кількість інформації, а врожай обмежений.
У той же час, оскільки всі раніше входили в божевілля (стан), ми називаємо це «прожити день як рік», і здається, що кожен день рік (технічного прогресу).
Чжан Пен:
Дні здаються роками, тому що вони швидко біжать.
Ван Сяочуань:
Так, не нудно. Щодня так багато нового. Нерви у всіх були збуджені до вищого рівня, і вони трохи слабкі.
Зважаючи на це, нещодавно відбулося кілька технологічних досягнень, які, на мою думку, є дуже потужними.
Одна з них полягає в тому, що близько тижня тому OpenAI запустив інтерпретатор коду, який є великим проривом, але, здається, нового витка медіа-божевілля в Китаї немає.
Раніше всі насолоджувалися шаленістю, але цього разу прогрес, інтерпретатор коду, я думаю, ЗМІ не звернули на це достатньо уваги та повідомили про це.
І невелике оновлення вчора, налаштуйте власну інструкцію.
Це означає, що він починається від моделі LLM до Агентів.
Він опише «Хто я і які мої характеристики?» Яку роль відіграватиме ваша велика модель і які її характеристики? Формування таких відносин залежить від того, чи є модель агентом (з точки зору).
Цих двох сфер сьогодні недостатньо, щоб на них звернули увагу та звітували.
Рішення розпочати бізнес нарешті зачекалося, поки нічийна земля не «придатна для Сяочуань»
Чжан Пен:
В останньому питанні ви щойно згадали, що вас «загнали» в цю підприємницьку ситуацію. Я також знаю, що ви були фанатиком ШІ ще з часів AlphaGo.
Зрештою ви вирішили стати підприємцем у сфері AGI та великомасштабних моделей. Чи то Lao Wang (Huiwen), чи хвиля в Китаї, як вони вплинули на ваше рішення? Після проходження такого процесу, які зміни відбулися у вашому серці?
Ван Сяочуань:
Розумова подорож насправді досить довга.
За часів Согу, до пізнього етапу. По-перше, ми пропустили механізм рекомендацій і уклали стратегічний альянс із Tencent.У цьому випадку без нових технологічних проривів розвиток дуже обмежений. Коли Sogou об’єднали з Tencent, я кидав виклик більш цікавій справі — перетворити життя на математичну модель. Як ми вже говорили, Ньютон перетворював фізику на математичну модель.
Раніше на платформі Geek Park я говорив про навчання в житті.
що таке життя Це те, про що я думав 20 років.
Як перетворити життя на математичну модель? Це те, що мене хвилює. Навіть під час вивчення китайської медицини, як перетворити життя на математичну модель, (пізніше) було виявлено, що ця дорога не може бути гладкою.
Особливо мене цікавить, як робити нові прориви в медицині в рамках наукової парадигми. Я читаю набагато більше медичних робіт, ніж комп’ютерних, я читаю тисячі медичних робіт.
Що сталося за 21 рік? У 21 рік у великої моделі почали відкриватися певні можливості. У той час ми створили модель десятків мільярдів, щоб вирішити проблему зміни пошуку на запитання та відповідь.
Насправді, перед тим, як робити метод введення, я вже займався "передбаченням, що хоче сказати наступне слово", а потім, як його переписати, пошук перетворився на запитання-відповідь. Насправді двері помацали, але прориву в техніці на той час не було.
Тож ви знаєте, що я дуже зацікавлений у перетворенні життя на математичну модель, тому після появи великої моделі моєю першою думкою було не створювати велику модель. Я хотів би запитати, чи можливо сьогодні створити Health ChatGPT у сфері життя? Здоровий GPT, цифровий лікар?
Чжан Пен:
Ви думаєте з прикладної точки зору вирішення проблем.
Ван Сяочуань:
Так, думаю про це. Тоді я подумав, що якщо ви сьогодні зробите вертикальну модель, її може вбити велика модель. Загальний інтелект вбиває спеціалізований інтелект, чи не так?
Але в цьому випадку ми виявили, що недостатньо виконувати лише один тип HealthGPT або лише цифрового лікаря.
Зрештою, необхідно ще зробити велику модель.
(Рішення зробити масштабний макет на наступному етапі) прийшло з такого кола не тому, що я думав, що накопичив раніше.
Але коли ми робимо велику модель, ми виявляємо, що (попереднє накопичення) є досить актуальним, наприклад, обробка, пов’язана з мовою.
Навіть до крайності, ChatGPT є третім, хто зробив мовну модель супердодатком. Перші два, один пошук і один метод введення.
Чжан Пен:
Я відчуваю, що ти теж цього не робив, вибач за те двоє, що ти зробив раніше.
Ван Сяочуань:
Так, я виявив, що попередні накопичення дійсно корисні сьогодні, чого я не очікував раніше.
Тому я дуже емоційний, Бог дуже добрий до вас і дав вам шанс. Наприкінці пошуку є ще один шанс використати попередній досвід, щоб зробити те, що не можна було зробити раніше.
Зараз ніхто не сказав, що "Xiaochuan підходить для пошуку", але всі сказали, що "Baichuan підходить для масштабних моделей". Для мене це дуже пощастило.
Чжан Пен:
Ось чому ви вирішили це зробити в першу чергу.
Через кілька місяців це може здатися кожному важко. OpenAI ще не стала надприбутковою компанією, і багато людей у Кремнієвій долині сумніваються в її бізнес-моделі. Тож велика модель тисне на підприємців у цьому аспекті, чи відчували ви цей тиск?
Ван Сяочуань:
Я весь гіпер.
Тому що раніше я працював у тіні Baidu, але зараз це нічийна земля. Для мене це саме те, що я хочу робити, а не казати, що переді мною лідер, а потім слідуєш ти. Для мене це те, що мені подобається, нове дослідження.
Чжан Пен:
Особлива подяка Сяочуаню за те, що він поділився з нами сьогоднішнім днем, і вітаю з початком нарешті вашої нічийної землі. Сподіваюся побачити тут більше красивих краєвидів. Оплески присвячені Сяочуаню, давай!
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Baichuan Intelligent Wang Xiaochuan: Після 100 днів відкриття бізнесу з великою моделлю я підтвердив, що знайшов свою «нічийну землю»
**Джерело: **FounderPark
У квітні Ван Сяочуань оголосив про свій кінець і заснував масштабну модельну компанію «Baichuan Smart».
У червні компанія Baichuan Intelligent випустила велику модель з відкритим кодом на 7 мільярдів параметрів Baichuan-7B.
У липні компанія Baichuan Intelligent випустила велику модель з відкритим кодом на 13 мільярдів параметрів Baichuan-13B.
Обидві моделі показали хороші результати в різних оцінках, а також були визнані великою кількістю користувачів у країні та за кордоном.
«Відкритий код дуже простий, кожен може використовувати його для власних потреб, цим не можна хвалитися».
Він рухається швидко, швидше, ніж більшість людей думають. Навіть він сам був здивований: прогрес буде набагато швидшим, ніж очікувалося після початку цього робити.
На конференції AGI Playground Ван Сяочуань заявив, що можливості моделі з відкритим кодом BCI точно перевершать Llama 2. Згідно з планом, у майбутньому Baichuan Intelligent випустить десятки мільярдів і сотні мільярдів великих моделей із закритим кодом.
Кілька місяців тому Ван Сяочуань хотів «бути китайським OpenAI» у заголовках різних ЗМІ.
Це гасло, яке публіка любить чути, але воно може бути неточним описом.
Що саме хоче зробити Ван Сяочуань? Що він збирається робити? Після трьох місяців практики та досягнення перших результатів, яке його розуміння підприємництва в епоху масштабних моделей з перших рук?
Відкритий вихідний код, що тільки не робив OpenAI
Чжан Пен:
Те, що вас може найбільше зацікавити, це те, що ви дуже швидко змінили свій бізнес і випустили дві моделі: одну 7B і одну 13B, і відгуки були дуже хорошими.
Усім дуже цікаво, тому що на початку вони думали, що ви будете китайським OpenAI, але, побачивши, що ви створили речі з відкритим кодом, відкритий код є технологічним етапом, чи він сам по собі є новою моделлю для вашого мислення в майбутньому?
Ван Сяочуань:
Відкритий код, ми вважаємо, що це технічний етап, насправді бути китайським OpenAI не означає повністю копіювати його повний шлях. Під час спілкування з OpenAI у Кремнієвій долині вони зайшли дуже далеко. Наприклад, коли вони зараз роблять GPT-4, їм потрібно більше 20 000 карток для обчислень, і вони ніколи не бачили такого масштабу в Китаї.
Вони з гордістю кажуть, що розробляють обчислювальну модель, яка об’єднує 10 мільйонів графічних процесорів.
Що таке концепція 10 мільйонів карток? Річний випуск Nvidia становить 1 мільйон. 10 мільйонів копій - це план, який може відправитися на Місяць (moonshot).
Крім того, з точки зору того, як створювати програми, продукти чи навіть деякі ширші технології, це може бути недоліком OpenAI, або це може бути те, що їх зараз особливо не хвилює.
Таким чином, створення OpenAI в Китаї буде дуже відрізнятися від екологічного середовища в Сполучених Штатах.
Після нещодавнього випуску Llama 2 з відкритим вихідним кодом, вона викликала божевілля в Китаї.Всі відчували, що вона знову змінить ландшафт, чого не вдалося зробити OpenAI. Шкода, що цим займається не Google, а Facebook (Meta), а Google продовжує бути відсутнім. Але в Китаї ми бачили це питання заздалегідь, і ми віримо, що відкритий і закритий коди матимуть паралельний стан у майбутньому.
Чжан Пен:
Відкритий і закритий вихідний код будуть у паралельному стані.
Ван Сяочуань:
Паралелізм трохи схожий на поточну систему Apple і систему Android. Навіть якщо більше компаній хочуть брати участь, недостатньо використовувати виклики API із закритим кодом. Ця модель із відкритим кодом також має надавати 80% послуг і, нарешті, покладатися на сервіси із закритим кодом, щоб надавати послуги для всіх, а решта 20% матимуть великий попит на послуги з відкритим кодом. У США її раніше не було, а в Китаї не було подібної моделі. Тому, як тільки Llama буде оголошено, це стане великим шоком для Сполучених Штатів, але в Китаї також спостерігається бум. Насправді серйозні технічні оцінки включають кілька стандартних оцінок, таких як SuperClue, а також порівняння між деякими великими виробниками та компаніями.Якщо Llama порівняти з Baichuan, очевидно, що наша якість у китайській сфері набагато вища за якість Llama.
У сфері моделей з відкритим вихідним кодом у Китаї, як і в нашій індустрії мобільних телефонів, Сполучені Штати спочатку використовувалися, а пізніше їх наздогнали.
Чжан Пен:
Як ви думаєте, Llama 2 останнім часом такий крутий, що Baichuan впорається з ними краще?
Ван Сяочуань:
Лама - це Лама 1 і 2.
Перш за все, ми випустили першу модель параметрів 7B у червні цього року, а модель параметрів 13B – у липні. Серед індикаторів англійською мовою найважливішим є показник MMLU (Massive Multitask Language Understanding). Наші дві моделі цього ключового індикатора кращі, ніж Llama (1), і значно випереджають китайську.
Ми знаємо, що китайська обробка Llama насправді є недостатньою. Порівняно з Llama (1), англійська мова Baichuan може частково відповідати еталону, і ключові показники перевищені, а китайська, очевидно, краща. Багато людей перетворюють Llama на китайську, але вона все ще не така проста у використанні, як місцева мова Baichuan.
Після випуску Llama 2 ми також можемо побачити технічний звіт, який містить близько 9 технічних інновацій, 6 з яких досягнуто в моделі, яку ми розробляємо.
У порівнянні з іншими вітчизняними моделями, наше мислення тут найближче на даний момент. Ми вже зробили 6 балів, а потім ми не очікували 2 балів, і у нас є один недійсний. Тому, порівнюючи з Llama2, ми не просто плагіат в технічному мисленні, але у нас є своє мислення. Ми думаємо, що на цій дорозі будуть наші можливості в майбутньому.
Сьогодні я також закликаю всіх у Китаї не тільки думати, що іноземні країни добре використовують його. OpenAI справді зараз ще далі. Потрібен час, щоб досягти GPT-3.5 або близького рівня до кінця року, але ми вже дуже близько в моделі з відкритим кодом.
Отже, ваша наступна модель з відкритим кодом, як ви думаєте, вона буде кращою за Llama 2?
Ван Сяочуань:
Принаймні китайською. У сфері китайської мови вона зараз перевершена. Наступний крок — зробити голос Китаю на світовому ринку відкритого коду.
Чжан Пен:
І англійська, і китайська повинні бути кращими, ніж Llama2, це видно і досяжно для вас.
Ван Сяочуань:
Я думаю, що є шанс, що це може статися в осяжному майбутньому.
Чжан Пен:
Отже, ваша точка зору така: сьогодні ми не можемо просто сказати, що наша майбутня велика модель полягає в переході до OpenAI — централізованої моделі із закритим кодом. Відкритий код насправді має великі можливості. Отже, це означає, що, з одного боку, це практикувати технології та демонструвати технічні можливості, але це дійсно може містити бізнес-моделі та цінності.
У той же час на основі відкритого вихідного коду люди все ще можуть з нетерпінням чекати в Китаї, створюючи найкращу китайську модель у світі.
Ван Сяочуань:
Це досить точно підсумовує.
Досвід пошуку – це погана інерція чи хороша перевага?
Чжан Пен:
У минулому багато інвесторів вважали, що використання досвіду пошуку для створення великомасштабної моделі точно не вдасться. Після цих місяців практики ви перевірили своє початкове судження, яке відрізнялося від їхнього? Як накопичення та можливості пошуку сприяють більшим моделям?
Ван Сяочуань:
Оскільки сьогоднішніх досягнень (AI) досягнув OpenAI, а Google – ні, перша думка інвесторів полягає в тому, що ця нова технологія є прямою протилежністю пошуку. Їм важко розрізнити, чи причина в технологіях, чи в організаційному менеджменті.
Причина такого голосу полягає в тому, що людина не розуміє зв’язку між технологією пошуку та штучним інтелектом, а друга – у тому, що пізнання фону пошуку призведе до негативних наслідків.
Оскільки пошуковими компаніями є переважно Baidu та Google, їм не потрібне зовнішнє фінансування, і вони не розповідають інвесторам, що таке пошук. Зокрема, остання хвиля буму штучного інтелекту була здебільшого викликана зображеннями, і всі не знайомі з такими технічними конотаціями, як NLP у пошуку.
З точки зору результатів, ми випустили першу модель у червні. Конкурент раніше повідомив інвесторам, що Baichuan займе півроку, щоб виготовити першу модель.Насправді ми витратили лише 1/3 часу, щоб завершити її, а потім випустили другу. А найближчим часом ми випустимо закриту модель.
Baichuan розроблявся самостійно з першого дня, і холодний старт відбувається дуже, дуже швидко. Яка причина цього?
Сьогодні ми знаємо, що високоякісні дані є основою великих моделей, тож яка компанія має широке розуміння мовних даних? Насправді пошукові компанії працюють 20 років, кожен день думаючи про те, як знайти такі якісні дані. Наприклад, спочатку знайдіть 100 високоякісних веб-сайтів із 1 трильйона веб-сторінок, а потім виконайте аналіз сторінки, включаючи вилучення інформації, дедуплікацію, захист від спаму та навіть витягніть вміст за рівнем абзацу.
Sogou, Baidu та Google займаються цією роботою протягом тривалого часу.
Другий момент: з точки зору кадрового резерву, необхідно мати як алгоритмічні можливості, так і інженерні можливості, орієнтовані на можливості пошуку, такі люди в принципі також шукають компанії. Зараз ByteDance використовує пошукову групу для створення моделей, і прогрес Baidu також дуже швидкий, зокрема модель, яку створює Шен Сян’янг, також створив в минулому віце-президент Bing.
Інша річ, щоб зробити велику модель, це оцінка. Оцінка того, хороша велика модель чи ні, насправді є болючою проблемою, включаючи проблему міркування, точного запитання та відповіді, створення... Хтось стає кращим, хтось гіршим, як оцінити? Таким чином, ця система оцінювання також є можливостями, які пошукові компанії накопичували протягом тривалого часу, використовуючи оцінювання для ітерації наступних алгоритмів.
Крім того, організаційна ефективність компаній-початківців набагато вища, ніж у великих фабрик. З дуже гнучкою системою прийняття рішень уся ефективність буде максимальною.
Чжан Пен:
Отже, ви спілкувалися з інвестором, який вважав, що пошук недостатній для великих моделей?
Ван Сяочуань:
Прізвище позначене хрестиком і видалено, а хто це я не знаю. Інвестори, які дивляться лише на бізнес, але не на технології, і ті, хто особливо любить дрібне свіже м’ясо, які повертаються зі Сполучених Штатів, щоб почати бізнес, ці інвестори просто малюють це і не говорять про це.
Старий Ван має рацію: «Малі інновації залежать від великих фабрик, а великі інновації залежать від маленьких фабрик»
Чжан Пен:
Як ви думаєте, чи буде у підприємців достатньо можливостей у цій хвилі технологічних змін у майбутньому? Або основний корпус все ще контролюють гіганти? Як підприємці можуть скористатися власними можливостями?
Ван Сяочуань:
Хоча Ван Хуйвень не дуже розбирається в технологіях, я думаю, що він сказав щось дуже правильне: маленькі інновації залежать від маленьких фабрик, а великі інновації залежать від великих фабрик.
Незважаючи на те, що велика фабрика має багато переваг у людях, грошах і ресурсах, після того, як організація розростеться, виникне багато внутрішніх проблем, а ефективність організації буде сильно обмежена.
Якщо ми твердо віримо, що прихід AGI, то буде величезний вибух нових видів. Ці речі мають величезні можливості для роботи стартапів. Це можна продемонструвати з історичної дедукції, тож поки існує AGI, у майбутньому будуть нові можливості.
Де труднощі посередині?
OpenAI — це науково-орієнтована компанія, яка впроваджує продукти в реальному світі. Ви дотримуєтеся цього, і сфера досліджень може мати дуже приголомшливі досягнення. Але як подати заявку сьогодні, ані OpenAI, ані технологічні компанії в Кремнієвій долині не дуже вміють у цьому. Я впевнений, що Китай набагато кращий за США з точки зору реалізації додатків.
Весь світ досяг переломного моменту, і тепер, коли технологія налагоджена, це перша складність. Заявка і вимоги - це друга складність, яка називається модельним сервісом (model service). Отже, завдання номер один: чи є у вас модель? По-друге, мати модель означає мати послугу?
Чжан Пен:
Чи є продаж API послугою?
Ван Сяочуань:
Я так не думаю.
Ніби у вас є безпілотна технологія, але чи справді ви можете побудувати автомобіль? Очевидно ні. Це також вимагає злиття багатьох технологій.
Зараз Сполучені Штати відносно плутаються щодо прикладного рівня, а нинішня проблема Китаю полягає у відсутності можливостей моделі. Сьогодні багато компаній-початківців, які створюють моделі, також обмежують свою точку зору великими моделями та мало знають про інші набори технологій.
Наведу найпростіший приклад: створюючи модель, ви обов'язково зіткнетеся з галюцинаціями і своєчасністю. І галюцинації, і своєчасність може розгадати сама велика модель. Деякі люди вирішують ілюзію, розширюючи параметри до трильйонів і десятків трильйонів; або використовують навчання з підкріпленням. Але насправді найпряміший шлях – це внести в нього пошук і пошук інформації. Поєднання великих моделей може сформувати більш повний набір технологій.
Після того, як ця технологія була запропонована, це вже стало певною ознакою. Наприклад, є щось, що називається векторною базою даних, яка насправді є гнучким пошуком і в основному використовується в toB.
Що стосується пошуку, то після представлення технології Transformer у 2018 році вона вже має можливість семантичного пошуку. Можливо, ви чули про інвертований індекс, який має індексувати цю символічну мережу.
Після 2018 року, незалежно від того, чи ми, Baidu чи байтові вектори звернулися до семантичного пошуку, за цією технологією стоять три величезні векторні бази даних. Поєднання цих стеків технологій і великої моделі може сприяти подальшому розвитку великої моделі. Як бачите, досвід пошукової групи має переваги для створення моделей.
Другий аспект полягає в тому, що технологія великомасштабних моделей поступово стає практичною. Потім у так званому обчисленні знань потрібно додати векторні бази даних і пошук, щоб сформувати більш повні технології та продукти. У цьому питанні всі поступово формують консенсус.
Говорячи про трафік ChatGPT сьогодні, усі почали хвилюватися, чи може він продовжувати вибухати.
Тож нам все ще потрібні додаткові дослідження.
Ми вважаємо, що в індустрії розваг рольові ігри мають широкі перспективи, але це питання вимагає входу китайських компаній, щоб зробити це краще.
Інша справа, як поєднати великі моделі та пошук. У Perplexity AI зараз дуже добре, але ми в пасивній позиції. Якщо у США будуть можливості, інвестори шукатимуть китайські компанії порівняння.
Якщо ця компанія не має великої моделі, вона викликає лише API; по-друге, вона не має пошукових технологій і може покладатися лише на технології таких компаній, як Google і Bing, що не ідеально.
Чжан Пен:
Щойно ви сказали, що кількість таких користувачів, як ChatGPT, зменшується, що змушує всіх відчувати, що нова парадигма не зможе прорватися всім одразу. Це великий виклик для підприємців – подавати заявки?
Оскільки згідно з тим, що ви щойно сказали, у середовищі з незрілими технологіями вартість підприємницького пошуку дуже висока. І якщо підприємець просто використовує чужий API як зміну парадигми програми, це не особливо кидається в очі.
Ван Сяочуань:
Два дні тому OpenAI щойно оновив інтерпретатор коду, а потім оновив спеціальну інструкцію. Для компаній-початківців був величезний тиск.
Американські інвестори також хвилюються, чи є ще шанси у стартапів перевершити гігантів на тлі тривоги, і чи не замінять їх великі компанії після половини роботи.
Я не думаю, що в Китаї є така топова компанія, як OpenAI, яка б пішла шляхом великомасштабних моделей. Він ще в стадії «Війни сотень моделей». Сьогодні, чи мають компанії, які виробляють великомасштабні моделі, можливість робити програми, це питання, за яким Китаю потрібно багато стежити за Сполученими Штатами.
Наздогнати GPT-4? Небезпечно сліпо йти за моделлю вдосконалення між поколіннями
Чжан Пен:
Це також викликає питання про те, хто в Китаї наздожене GPT-3.5 або навіть GPT-4
Існує також інший голос, який каже, що GPT-3 достатньо для підприємств, щоб вирішити деякі проблеми вертикальної сцени.
Я відчуваю, що Сяочуань і ви все ще прагнете до GPT-3.5 і GPT-4. Чи складний цей процес переслідування? Чому ви кажете, що вам потрібно наздогнати рівень GPT-4?
Ван Сяочуань:
Я думаю, це дві речі.
По-перше, це розвиток технологій між поколіннями, який може мати нищівний вплив на екологію наступних продуктів. Незалежно від ідеальної точки зору, уявіть собі майбутнє, яке є далеко недосяжним, як три, чотири, п’ять поколінь винищувачів, у якому кожне покоління може відігравати важливу роль. Тож у цей час кожен має прагнути шукати переваги у висококонкурентній сфері.
Однак у процесі змагання за переваги кожен може зіткнутися з новою плутаниною: на якому поколінні ми дійсно можемо реалізувати супердодатки? GPT-3.5 ще не сформував супердодаток у Сполучених Штатах, і для одноразового навчання потрібно близько 50 мільйонів юанів, що не включає витрати на попередню підготовку та експерименти. Одноразове навчання GPT-4 може коштувати 500 мільйонів юанів. До покоління GPT-4.5 вартість може досягти 500 мільйонів доларів.
Тому, якщо немає супердодатку, просто гнатися за технологічним вдосконаленням дуже небезпечно. Таким чином, нам потрібно одночасно вдосконалювати технічні можливості четвертого та п’ятого поколінь у цій галузі, і в той же час мати супердодатки. В іншому випадку ми можемо раптово зіткнутися з тиском щодо оновлення на двох фронтах, які потрібно оновлювати одночасно, щоб досягти успіху.
Чжан Пен:
Таким чином, кожна хвильова технологія повинна створювати цінні програми.
Ван Сяочуань:
Те, що ви щойно сказали, цілком правильно.
GPT-3 в основному доступний на стороні B, але я думаю, що причина, чому він недоступний на стороні C, полягає в тому, що час надто короткий.
Крім того, всі надто зосереджені на OpenAI.Це не компанія-продукт і не компанія, яка може створювати супердодатки.
Здатність створювати супердодатки вимагає не лише технічного надолуження, але й достатнього розуміння продукту. Я думаю, що правда стане ясною до кінця року.
"Сяочуань підходить для створення великих моделей" "Після 20 років пошуків ніхто не сказав, що я придатний для пошуку"
Чжан Пен:
Чи всі можуть переоцінити OpenAI? Іншими словами, ми вважаємо, що OpenAI важко перевершити, оскільки він має маховик даних. Як ви це розумієте? Чи справді маховик даних існує?
Ван Сяочуань:
На початку цього року я говорив про маховик даних, і тоді я був дуже запанікований. Йому надається запит користувача, він знає, чого хоче користувач, і потім може краще оновити модель.
Поки ця проблема не є серйозною.
Наприклад, після запуску Llama 2 усі побачили, що на етапі тонкого налаштування дані потрібно уточнювати й менше, а не уточнювати й більше.Тепер усі поступово дійшли згоди, що секрет технології не в маховику, а в накопиченні технологій з часом.
Технічна потужність Anthropic, такої компанії, як у Клода, також швидко зросла, і OpenAI має набагато більше користувачів, ніж вона, що також доводить, що концепція маховика даних була сфальсифікована.
Чжан Пен:
А може бути, справді цінні дані в ньому відображені в навичках розмови з людьми.Я пам'ятаю, що спочатку його манера розмовляти була досить «тупою», а тепер вона відчувається більш людською.
Ван Сяочуань:
Здається, це не так вже й багато, і більше полягає в його наборі даних.Як отримати високоякісні дані незалежно від того, на етапі попереднього навчання чи на етапі тонкого налаштування? Як збігатися і так далі, це його основна здатність. Зокрема, я чув, як вони говорили, що, з одного боку, GPT-4 навчає GPT-3.5, щоб зробити 3.5 більш ефективною, і в той же час GPT-4 використовується для отримання частини даних, необхідних для GPT-5, і оптимізує ітераційний процес. Його внутрішня ітерація полягає в тому, щоб покращити онлайн-сервіси та водночас генерувати деякі дані в майбутньому. Я думаю, що це внутрішній маховик.
Чжан Пен:
Отже, якщо ви подивитеся на це з точки зору Llama, також можливо створити модель, яка постійно вдосконалює технічний рівень за допомогою відкритого коду. Але з точки зору OpenAI, на певному етапі може бути достатньо користувачів і даних.
Ван Сяочуань:
З відкритим кодом, закритим кодом і додатками, фактично, усі все ще поширюють це сьогодні, і воно все ще знаходиться на стадії розширення, як і захід Сполучених Штатів.
Чжан Пен:
Тож сьогодні для такої компанії-початківця, як Baichuan, нелегко просто сказати, що я співпрацюю лише з певним напрямком, незалежно від того, чи хочу я зберегти стратегію нечіткою, чи назвати її багатою можливостями, я можу зробити ставку на ці виміри.
Ван Сяочуань:
правильно. Цього разу моє підприємництво досить цікаве. Багато людей кажуть, що Сяо Чуан особливо підходить для виготовлення великомасштабних моделей. Я займаюся пошуком 20 років, і ніхто ніколи не казав, що Сяо Чуан особливо підходить для пошуку.
Пошук у Китаї виконується на 3 роки пізніше, ніж у Baidu. Це дуже складно наздогнати. Дивляться на сьогоднішні накопичення і досвід, а попереду нікого. Було важко думати, і було пізно на кілька років, але сьогодні мені здається, що всюди є можливості. Тому, поки у нас є достатньо можливостей, ми можемо брати інтерв’ю тут усюди та перевіряти, чи зможемо ми змінити ваше початкове враження про Sogou сьогодні.
Не поклоняйтеся сліпо, Китай і Сполучені Штати матимуть різні історії ШІ
Чжан Пен:
Я дуже зворушений тим, що сказав Огава. Ви нарешті стоїте на нічийній землі.
Що стосується великої моделі, багато людей можуть відчути, що їм потрібно вивчити та наздогнати OpenAI. Але коли ви дійсно це зробите, ви дійсно знайдете відстань і шлях.
Ван Сяочуань:
Так, не будь таким шанобливим.
Я пам’ятаю, що після AlphaGo у 2016 році я згадав два моменти.По-перше, якщо (AI) може передбачити наступний кадр відео, це прихід AGI.
Але все закінчилося після того, як ви закінчили говорити, і у вас немає можливості це зробити, у вас немає мотивації, здібностей або умов. Пізніше говорили, що якщо машина опанує мову, то прийде і сильний штучний інтелект. Зараз фактично почалася перевірка.
Тож я думаю, що у нас багато ідей, і ми не відстаємо. Просто не назріли терміни та умови. Це як учитель сказав, що це питання можна вирішити, ви, учитель, ви ж не збираєтеся переписувати домашнє завдання, правда?
Інші кажуть вам, що це можна розв’язати, або навіть дають вам велику ідею. Я думаю, що ми можемо зробити це самі, і нам не потрібно дивитися на чужі домашні завдання та копіювати їх.
Чжан Пен:
Тож ваша справжня розвага тут полягає не в тому, щоб усвідомлювати та відтворювати інших, а в тому, щоб досліджувати деякі речі, які не всі вловили на цій нічийній землі.
Ван Сяочуань:
Так, я думаю, що цього разу у мене є можливість лідирувати в деяких сферах.
Чжан Пен:
Є така можливість, тому Китай і Сполучені Штати, Байчуань і OpenAI, можливо, це не та сама історія.
Ван Сяочуань:
Це справді буде інакше. Китай і Сполучені Штати не є системою, системою чи культурою, тому те, що виросте в кінцевому підсумку, будь то технічна проблема чи проблема застосування, буде різним.
Основна робота: спілкування з колегами, Baichuan Intelligent щойно пробив 100 людей
Чжан Пен:
Як ви влаштовуєте свою звичну роботу? Як ви розподіляєте свій час? Багато людей кажуть, що обчислювальна потужність важлива і таланти важливі, але я думаю, що тільки ті, хто справді починає бізнес, знають, що найважливіше. Тому я просто хочу запитати, де ви проводите найбільше часу?
Ван Сяочуань:
Зараз я витрачаю більшу частину свого часу на спілкування з нашими колегами.
Чжан Пен:
чат?
Ван Сяочуань:
Так, під час спілкування в чаті це фактично процес безперервного формування консенсусу, який полягає в зборі когнітивних здібностей, харчування та зовнішньої інформації, щоб кожен міг сформувати однаковий мозок.
Тому що ми знаємо, що «згори вниз» може збитися з шляху. Наприклад, чому Google не зробив цього? Коли була побудована перша штаб-квартира Google, вона мала свою інерцію. Дані не можуть бути отримані, вартість зросте після виходу в Інтернет, і не буде жодних конкретних переваг для користувачів, тому виникає дилема для відкриття бізнесу.
У випадку Google Brain це Button-Up. Його дослідники дуже вільні і можуть робити все, що завгодно, або об'єднувати зусилля, тому багато хто з них бачили велику модель, але не можуть зосередитися на цьому, оскільки сили розпорошені. Тоді Deepmind — це зверху вниз, те, що компанія просить зробити, і що роблять усі. Він створив AlphaGo, AlphaZero, AlphaFold, а зараз рухається до водневої енергетики, ядерного синтезу та квантових обчислень, але він далекий від більшості з них.
Насправді, «згори вниз» і «кнопки вгору» сьогодні називаються «вгору і вниз з тим же бажанням», щоб кожен міг повністю вирівняти цей ідеал із технологіями та пізнанням і стати єдиним цілим. Тож я думаю, що більше щоденного спілкування з тобою зробить тебе мозком, а це моя найважливіша робота.
Чжан Пен:
Хм, цікаво. Тому, якщо невеликий колектив докладає найбільшу енергію, усі можуть розділити однакові радощі та печалі, однакові бажання та бажання.
Ван Сяочуань:
Це дуже важливо, ми сьогодні не будемо говорити про організацію та управління, а станемо як одна людина. Зараз у Baichuan працює 100 осіб, і лише вчора вона досягла 100 осіб.
Зміни в впевненості, розвиток Baichuan відбувається швидше, ніж очікувалося
Чжан Пен:
Останні кілька місяців Ви присвятили себе великому модельному бізнесу, Ваш ентузіазм не змінився, але чи змінилася Ваша впевненість? Це складніше, ніж ви очікували на початку? Все ще відповідає вашим очікуванням?
Ван Сяочуань:
Якщо чесно, я думаю, що це легше, ніж я думав.
Очікується, що ви знаєте багато (труднощів) на початку, роки накопичення за кордоном, обчислювальну потужність, сервери... Але коли ви працюєте зі своїми колегами, коли всі спільно творять, наш реальний прогрес і темп є швидшими, ніж очікувалося.
Виявилося, що ми очікували випустити 50-мільярдну модель у третьому кварталі, а потім випустити 175-мільярдну модель у четвертому кварталі.
Але насправді ці речі не зміняться, але в процесі швидкість прогресу додатків і швидкість моделей з відкритим кодом набагато вищі, ніж очікувалося.
А також швидше, сьогодні ми можемо почати говорити, не лише бути найкращими вдома, але й відкритим кодом на міжнародній арені.
Відкритий код дуже простий, кожен може використовувати його для власного використання, цим не хвалишся. Після відкриття ми впевнені, що можемо отримати дуже хороші позиції на міжнародній арені.
Чжан Пен:
Тож перед тим, як стрибнути у воду, я хвилювався через те, що не знаю глибини, але коли я справді стрибнув, я виявив, що справді можу наступити на дно, тож почувався набагато спокійніше? Невже це так просто?
Ван Сяочуань:
Розділити людей.
Я відносно обережна людина, я ще дивився, а потім наш Ляньчуан підкинув мене ногою і сказав почати це робити. Тоді я сказав добре, оголосив про кінець і почав працювати. Інакше ви можете відчути себе готовими навіть пізніше. Але як тільки ви вийдете з поля, ви побачите, що будете бігати швидше, ніж ви думали.
Після божевілля останні технологічні розробки викликають занепокоєння
Чжан Пен:
Чи звертаєте ви увагу на технічний прогрес великих моделей останнім часом? Які документи вас хвилюють?
Ван Сяочуань:
По-перше, просто читати газети сьогодні насправді не важливо. Ви не можете закінчити.
Основи - це ті речі. А сьогодні OpenAI перестав розсилати хороші документи. Усі газети, які розсилаються, містять невелику кількість інформації, а врожай обмежений.
У той же час, оскільки всі раніше входили в божевілля (стан), ми називаємо це «прожити день як рік», і здається, що кожен день рік (технічного прогресу).
Чжан Пен:
Дні здаються роками, тому що вони швидко біжать.
Ван Сяочуань:
Так, не нудно. Щодня так багато нового. Нерви у всіх були збуджені до вищого рівня, і вони трохи слабкі.
Зважаючи на це, нещодавно відбулося кілька технологічних досягнень, які, на мою думку, є дуже потужними.
Одна з них полягає в тому, що близько тижня тому OpenAI запустив інтерпретатор коду, який є великим проривом, але, здається, нового витка медіа-божевілля в Китаї немає.
Раніше всі насолоджувалися шаленістю, але цього разу прогрес, інтерпретатор коду, я думаю, ЗМІ не звернули на це достатньо уваги та повідомили про це.
І невелике оновлення вчора, налаштуйте власну інструкцію.
Це означає, що він починається від моделі LLM до Агентів.
Він опише «Хто я і які мої характеристики?» Яку роль відіграватиме ваша велика модель і які її характеристики? Формування таких відносин залежить від того, чи є модель агентом (з точки зору).
Цих двох сфер сьогодні недостатньо, щоб на них звернули увагу та звітували.
Рішення розпочати бізнес нарешті зачекалося, поки нічийна земля не «придатна для Сяочуань»
Чжан Пен:
В останньому питанні ви щойно згадали, що вас «загнали» в цю підприємницьку ситуацію. Я також знаю, що ви були фанатиком ШІ ще з часів AlphaGo.
Зрештою ви вирішили стати підприємцем у сфері AGI та великомасштабних моделей. Чи то Lao Wang (Huiwen), чи хвиля в Китаї, як вони вплинули на ваше рішення? Після проходження такого процесу, які зміни відбулися у вашому серці?
Ван Сяочуань:
Розумова подорож насправді досить довга.
За часів Согу, до пізнього етапу. По-перше, ми пропустили механізм рекомендацій і уклали стратегічний альянс із Tencent.У цьому випадку без нових технологічних проривів розвиток дуже обмежений. Коли Sogou об’єднали з Tencent, я кидав виклик більш цікавій справі — перетворити життя на математичну модель. Як ми вже говорили, Ньютон перетворював фізику на математичну модель.
Раніше на платформі Geek Park я говорив про навчання в житті.
що таке життя Це те, про що я думав 20 років.
Як перетворити життя на математичну модель? Це те, що мене хвилює. Навіть під час вивчення китайської медицини, як перетворити життя на математичну модель, (пізніше) було виявлено, що ця дорога не може бути гладкою.
Особливо мене цікавить, як робити нові прориви в медицині в рамках наукової парадигми. Я читаю набагато більше медичних робіт, ніж комп’ютерних, я читаю тисячі медичних робіт.
Що сталося за 21 рік? У 21 рік у великої моделі почали відкриватися певні можливості. У той час ми створили модель десятків мільярдів, щоб вирішити проблему зміни пошуку на запитання та відповідь.
Насправді, перед тим, як робити метод введення, я вже займався "передбаченням, що хоче сказати наступне слово", а потім, як його переписати, пошук перетворився на запитання-відповідь. Насправді двері помацали, але прориву в техніці на той час не було.
Тож ви знаєте, що я дуже зацікавлений у перетворенні життя на математичну модель, тому після появи великої моделі моєю першою думкою було не створювати велику модель. Я хотів би запитати, чи можливо сьогодні створити Health ChatGPT у сфері життя? Здоровий GPT, цифровий лікар?
Чжан Пен:
Ви думаєте з прикладної точки зору вирішення проблем.
Ван Сяочуань:
Так, думаю про це. Тоді я подумав, що якщо ви сьогодні зробите вертикальну модель, її може вбити велика модель. Загальний інтелект вбиває спеціалізований інтелект, чи не так?
Але в цьому випадку ми виявили, що недостатньо виконувати лише один тип HealthGPT або лише цифрового лікаря.
Зрештою, необхідно ще зробити велику модель.
(Рішення зробити масштабний макет на наступному етапі) прийшло з такого кола не тому, що я думав, що накопичив раніше.
Але коли ми робимо велику модель, ми виявляємо, що (попереднє накопичення) є досить актуальним, наприклад, обробка, пов’язана з мовою.
Навіть до крайності, ChatGPT є третім, хто зробив мовну модель супердодатком. Перші два, один пошук і один метод введення.
Чжан Пен:
Я відчуваю, що ти теж цього не робив, вибач за те двоє, що ти зробив раніше.
Ван Сяочуань:
Так, я виявив, що попередні накопичення дійсно корисні сьогодні, чого я не очікував раніше.
Тому я дуже емоційний, Бог дуже добрий до вас і дав вам шанс. Наприкінці пошуку є ще один шанс використати попередній досвід, щоб зробити те, що не можна було зробити раніше.
Зараз ніхто не сказав, що "Xiaochuan підходить для пошуку", але всі сказали, що "Baichuan підходить для масштабних моделей". Для мене це дуже пощастило.
Чжан Пен:
Ось чому ви вирішили це зробити в першу чергу.
Через кілька місяців це може здатися кожному важко. OpenAI ще не стала надприбутковою компанією, і багато людей у Кремнієвій долині сумніваються в її бізнес-моделі. Тож велика модель тисне на підприємців у цьому аспекті, чи відчували ви цей тиск?
Ван Сяочуань:
Я весь гіпер.
Тому що раніше я працював у тіні Baidu, але зараз це нічийна земля. Для мене це саме те, що я хочу робити, а не казати, що переді мною лідер, а потім слідуєш ти. Для мене це те, що мені подобається, нове дослідження.
Чжан Пен:
Особлива подяка Сяочуаню за те, що він поділився з нами сьогоднішнім днем, і вітаю з початком нарешті вашої нічийної землі. Сподіваюся побачити тут більше красивих краєвидів. Оплески присвячені Сяочуаню, давай!