以下の内容は、AGI Playground カンファレンスでの、Geek Park の創設者兼社長である Zhang Peng と Baichuan Intelligence の創設者兼 CEO である Wang Xiaochuan とのインタビューからのもので、Founder Park が編集したものです。
トップダウンが道を誤る可能性があることを私たちは知っているからです。たとえば、なぜ Google はそれを実現しなかったのでしょうか?最初の Google 本社が完成したとき、それには惰性がありました。データが取得できない、オンライン化するとコストが嵩む、ユーザーメリットが特にないなど、起業にはジレンマがある。
Google Brainの場合はボタンアップです。研究者は非常に自由で、自分のやりたいことをしたり、力を合わせたりできるので、実際に大型模型を見たことがある人も多いのですが、力が分散していて集中して取り組むことができません。そして、Deepmindはトップダウンで、会社から求められていること、そして全員がやることを決めます。 AlphaGo、AlphaZero、AlphaFold を実行し、現在は水素エネルギー、核融合、量子コンピューティングに向かって進んでいますが、それらのほとんどからは程遠いです。
Baichuan Intelligence Wang Xiaochuan: 大型模型を使ってビジネスを始めて 100 日が経ち、私は自分の「無人地帯」を見つけたことを確認しました
**出典:**FounderPark
4月、王暁川氏は終焉を発表し、大規模模型会社「百川スマート」を設立した。
Baichuan Intelligent は 6 月に、70 億パラメータのオープンソース大規模モデル、Baichuan-7B をリリースしました。
Baichuan Intelligent は 7 月に、130 億パラメータのオープンソース大規模モデル、Baichuan-13B をリリースしました。
両モデルとも各種評価においても良好な成績を収めており、国内外の多くのユーザーからも認められております。
「オープンソースは非常にシンプルで、誰でも自分の用途に使用できます。これは自慢できるものではありません。」
彼は速く、ほとんどの人が思っているよりも速く動きます。やり始めてからの上達は想像以上に早く、本人も驚いています。
AGI Playground カンファレンスで、Wang Xiaochuan 氏は、BCI のオープンソース モデル機能は間違いなく Llama 2 を超えるだろうと明らかにしました。この計画によると、百川智能は将来的に数百億、数千億のクローズドソースの大規模モデルをリリースする予定だという。
数カ月前、王暁川氏はさまざまなメディアの見出しで「中国のOpenAIになりたい」と考えていた。
これは一般の人々が好んで聞くスローガンですが、正確な説明ではない可能性があります。
王暁春は一体何がしたいのでしょうか？彼は、何をしますか？ 3 か月の実践を経て初期の成果を上げた後、大規模モデルの時代の起業家精神について彼はどのようなことを直接理解しているのでしょうか?
オープンソース、OpenAI がしなかったこと
張鵬:
最も興味があるのは、起業後非常に早く動き、7B と 13B の 2 つのモデルをリリースし、反響が非常に良かったことです。
最初はあなたが中国の OpenAI になるだろうと思っていたので、誰もが非常に興味を持っていますが、あなたがオープンソースのものを作っているのを見ると、オープンソースは技術的な段階ですか、それともそれ自体が将来のあなたの考え方の新しいモデルですか?
王暁春:
オープンソースは技術的な段階であると考えていますが、実際、中国の OpenAI であることは、その完全なパスをコピーすることを意味するものではありません。シリコンバレーの OpenAI と通信するとき、彼らは理想的には非常に進んでおり、たとえば、現在 GPT-4 を実行している場合、計算には 20,000 枚以上のカードが必要ですが、中国ではこれほど大規模なものは見たことがありません。
彼らは、1,000 万個の GPU を接続するコンピューティング モデルを設計していることを誇りに思っています。
1000万枚のカードのコンセプトは何ですか？ Nvidiaの年間生産量は100万台です。 1000万部は月に行ける計画（ムーンショット）。
さらに、アプリケーションや製品、さらにはより広範なテクノロジーの作り方に関して、これは OpenAI の欠点である可能性があります。あるいは、現時点では特に気にしていないことかもしれません。
したがって、中国で OpenAI を行うことは、米国の生態環境とは大きく異なることになります。
オープンソースの Llama 2 が最近リリースされた後、中国で熱狂を引き起こし、再び状況を変えるだろうと誰もが感じましたが、OpenAI はそれを果たせませんでした。これが Google ではなく Facebook (メタ) によって行われ、Google が引き続き欠席しているのは残念です。しかし、中国ではこの問題を事前に見ており、将来的にはオープンソースとクローズドソースが並行する状態になると考えています。
張鵬:
オープンソースとクローズドソースは並行状態となります。
王暁春:
並列処理は、現在の Apple システムや Android システムに似ています。より多くの企業が参加したい場合でも、クローズドソースの API 呼び出しを使用するだけでは十分ではなく、このオープンソース モデルでもサービスの 80% を提供する必要があり、最終的にすべての人にサービスを提供するにはクローズドソース サービスに依存し、残りの 20% にはオープンソースの需要が多くなります。米国にはこれまでこのモデルはなかったし、中国にも同様のモデルはなかった。そのため、Llamaが発表されると、アメリカでは大きな衝撃を受けるでしょうが、中国でもブームが起きています。実際、本格的な技術評価には、SuperClue のようないくつかの主流の評価や、いくつかの大手メーカーや企業間の比較が含まれており、ラマと百川を比較すれば、中国分野における当社の品質がラマをはるかに上回っていることは明らかです。
中国のオープンソースモデルの分野では、我が国の携帯電話業界と同様に、最初は米国が利用され、その後独自に追いつきました。
張鵬:
最近、ラマ 2 がとても人気ですが、バイチュアンは彼らよりも優れていると思いますか?
王暁春:
ラマはラマ1と2です。
まず、今年6月に初の7Bパラメーターモデルをリリースし、7月には13Bパラメーターモデルをリリースしました。英語の指標の中で最も重要な指標は MMLU (Massive Multitask Language Understanding) であり、この重要な指標である当社の 2 つのモデルは Llama (1) よりも優れており、中国語では大幅にリードしています。
ラマの中国語処理が実際には不十分であることはわかっています。ラマ (1) と比較すると、バイチュアンの英語は部分的にベンチマークに一致し、主要な指標を上回っており、明らかに中国語の方が優れています。多くの人がラマを中国語に変換していますが、それでもローカルのバイチュアンほど使いやすいわけではありません。
Llama 2のリリース後には技術レポートも見ることができますが、そこには約9つの技術革新ポイントが含まれており、そのうち6つは開発中のモデルで実現されています。
他の国内モデルと比べますと、ここでの考え方が現時点で一番近いものでございまして、6点は既にやっておりますが、あと2点は予想外で無効なものが1点ございますので、Llama2との比較につきましては、単に技術的な考え方を盗用しているということではなくて、我々なりの考え方を持っております。私たちはこの道に将来チャンスがあると考えています。
「今日私は中国の皆さんにも、外国が使っているからといって外国が良いと考えるだけでなく、OpenAI は確かに今は遠いところにあります。年末までに GPT-3.5 またはそのレベルに近づくまでには時間がかかりますが、私たちはすでにオープンソース モデルにかなり近づいています。」
では、次のオープンソース モデルは Llama 2 よりも優れていると思いますか?
王暁春:
少なくとも中国語では。中国語の分野ではそれを超えています。次のステップは、世界市場のオープンソース分野で中国の発言力を高めることだ。
張鵬:
英語と中国語はどちらも Llama2 よりも優れているはずです。これは目に見えて達成可能です。
王暁春:
近い将来にそうなる可能性はあると思います。
張鵬:
つまり、あなたの視点は次のとおりです。今日、将来の大きなモデルが OpenAI (クローズドソースの集中モデル) に移行することだと単純に言うことはできません。オープンソースには実は大きな可能性が秘められています。つまり、一方では技術を実践し、技術力を実証するということですが、そこには確かにビジネスモデルや価値観が含まれているかもしれません。
同時に、オープンソースに基づいて、世界最高の中国モデルを作ることが中国の人々に期待できるものでもあります。
王暁春:
それはかなり正確に要約されています。
検索エクスペリエンスは悪い惰性ですか、それとも良い資産ですか?
張鵬:
以前は、多くの投資家は、検索の経験を利用して大規模なモデルを構築しても絶対に成功しないと信じていました。この数カ月間の練習を経て、彼らの判断とは異なる自分の当初の判断を確認できましたか?検索の蓄積と機能は、より大きなモデルにどのように貢献しますか?
王暁春:
今日の（AI）成果は OpenAI によって達成されましたが、Google によって達成されなかったため、投資家が最初に考えるのは、この新しいテクノロジーは検索の正反対であるということです。その理由がテクノロジーにあるのか、組織運営にあるのかを区別することは困難です。
このような声が出る理由としては、検索技術とAIの関係が理解できていないことが挙げられ、もう1つは検索背景の認知が悪影響をもたらすのではないかということである。
検索会社は主にBaiduとGoogleであるため、外部からの資金調達を必要とせず、検索とは何かを投資家に伝えていない。特に、AI ブームの最後の波は主に画像によってもたらされたものであり、検索における NLP などの技術的な意味合いには誰もが馴染みがありません。
実績的には6月に初代モデルをリリースしました。競合他社は投資家に対し、百川が最初のモデルを生産するのに早くても半年かかるだろうと告げていましたが、実際には 3 分の 1 の期間しかかけて完成させず、その後 2 番目のモデルをリリースしました。そして近い将来、クローズドソースモデルをリリースする予定です。
Baichuan は初日から自己開発されており、コールド スタートは非常に高速です。その理由は何でしょうか?
今日では、高品質のデータが大規模なモデルの基礎であることがわかっていますが、言語データについて広範な理解を持っている企業はどこでしょうか?実際、検索会社は 20 年にわたり、このような高品質のデータを見つける方法を毎日考えてきました。たとえば、まず 1 兆の Web ページから 100 の高品質な Web サイトを見つけてから、情報抽出、重複排除、スパム対策などのページ分析を実行し、段落レベルでコンテンツを抽出することもできます。
Sogou、Baidu、Google はこの種の取り組みを長い間行ってきました。
2点目は、人材プールという点では、アルゴリズム力と検索力を中心としたエンジニアリング力の両方が必要で、そういう人たちが基本的に企業も探しています。現在、ByteDance は検索チームを利用してモデルを作成していますが、Shen Xiangyang が作成しているモデルも過去に Bing の副社長が作成したものであるなど、Baidu の進歩も非常に速いです。
大きなモデルを作るもう一つのことは評価です。大規模なモデルが良いかどうかの評価は、推論、正確な質疑応答、作成など、実際には難しい問題です...良くなるものもあれば、悪くなるものもあります。したがって、この評価システムは、検索会社が長い間蓄積してきた機能でもあり、評価を使用して後続のアルゴリズムの反復を推進します。
また、スタートアップ企業の組織効率は大規模工場に比べてはるかに高く、非常に柔軟な意思決定システムによりあらゆる効率が最大化されます。
張鵬:
それで、検索は大きなモデルには十分ではないと考えていた投資家と話をしましたか?
王暁春:
名前にはバツ印が付けられて消えており、誰なのか分かりません。ビジネスだけを見てテクノロジーには目を向けない投資家や、ビジネスを始めるために米国から戻ってきた小さな新鮮な肉が特に好きな投資家は、それを引き出すだけで、それについては話しません。
王老は正しい、「小さなイノベーションは大きな工場に依存し、大きなイノベーションは小さな工場に依存する」
張鵬:
将来、起業家にはこのテクノロジー変化の波の中で十分なチャンスがあると思いますか?それとも本体はまだ巨人に支配されているのでしょうか？起業家はどうすれば自らのチャンスを掴むことができるのでしょうか？
王暁春:
王恵文氏はテクノロジーについてはあまり詳しくありませんが、非常に正しいことを言ったと思います。小さなイノベーションは小さな工場に依存し、大きなイノベーションは大きな工場に依存します。
大規模工場は、人、金、資源の点で多くの利点がありますが、組織が成長すると内部問題が多くなり、組織の効率が大幅に制限されます。
もし私たちがAGIの到来を固く信じているなら、新種の大爆発が起こるだろう。これらはスタートアップにとって大きなチャンスとなります。これは歴史的な演繹から証明できるため、AGI がある限り、将来的に新たな機会が生まれるでしょう。
真ん中の難しいところはどこですか？
OpenAI は、現実世界に製品を実装する研究指向の会社です。それに従うと、研究分野で非常に輝かしい成果が得られる可能性があります。しかし、今日どのように適用するかというと、OpenAI もシリコンバレーのテクノロジー主導企業も、これがあまり得意ではありません。アプリケーションの実装に関しては、中国が米国よりもはるかに優れていると私は確信しています。
世界全体が転換点を迎えており、テクノロジーが整った今、これが最初の困難です。申請と要件は2番目の難関で、これはモデルサービス（モデルサービス）と呼ばれます。したがって、現在の課題は、第一に、モデルを持っているかということです。第二に、モデルを持つことはサービスを持つことを意味するのでしょうか?
張鵬:
API の販売はサービスですか?
王暁春:
私はそうは思わない。
無人運転技術を持っているようですが、本当に車を作ることができるのでしょうか？明らかに違います。また、多くのテクノロジーの融合も必要です。
現在、米国はアプリケーション層について比較的混乱しており、中国の現在の問題はモデル機能の欠如です。現在、モデルを作成する多くの新興企業も、視野を大規模モデルに限定しており、他のテクノロジー スタックについてはあまり知りません。
一番単純な例で言うと、模型を作っていると必ず幻覚やタイムリーに遭遇します。幻覚と適時性の両方は、大型モデル自体によって解決できます。パラメーターを数兆、数十兆に拡張することで錯覚を解決したり、強化学習を使用したりする人もいます。しかし実際には、最も直接的な方法は、そこに検索と情報検索を組み込むことです。大規模なモデルとこれらを組み合わせることで、より完全なテクノロジー スタックを形成できます。
このテクノロジーが提案されてから、すでに少しずつその兆しが見えてきました。例えば、ベクトルデータベースというものがありますが、これは実際には柔軟な検索が可能で、主にtoBで使われています。
検索に関しては、2018 年に Transformer テクノロジーが導入されて以来、すでにセマンティック検索の機能を備えています。このシンボリック ネットワークにインデックスを付ける逆インデックスについて聞いたことがあるかもしれません。
2018 年以降、私たち、Baidu、またはバイト ベクターはセマンティック検索に移行しましたが、このテクノロジーの背後には 3 つの巨大なベクター データベースがあります。これらの技術スタックと大型モデルを組み合わせることで、大型モデルをさらに発展させることができます。ご覧のとおり、検索チームの経験はモデルの作成に有利です。
2つ目は、大型模型技術が徐々に実用化されつつあることです。次に、いわゆるナレッジ コンピューティングでは、より完全なテクノロジと製品を形成するために、ベクトル データベースと検索を追加する必要があります。この問題については、全員が徐々にコンセンサスを形成しつつあります。
今日、ChatGPT のトラフィックについて話していると、誰もがトラフィックが爆発的に増加し続ける可能性があるのではないかと心配し始めました。
したがって、まださらなる探索が必要です。
私たちは、エンターテインメント業界において、ロールプレイングには幅広い可能性があると信じていますが、この件に関しては、中国企業の参入がさらに改善される必要があります。
「もう一つは、大規模なモデルと検索をどのように組み合わせるかです。Perplexity AI は今非常に好調ですが、私たちは消極的な立場にあります。米国にチャンスがあれば、投資家は中国の比較企業を探すでしょう。」
この企業が大規模なモデルを持っていない場合、API を呼び出すだけであり、第 2 に、検索技術を持たず、Google や Bing などの企業の技術に依存するしかなく、これは理想的ではありません。
張鵬:
先ほどChatGPTなどのユーザー数が減少しているとおっしゃいましたが、新しいパラダイムは一気に突破できないのではないかと誰もが感じています。これは起業家にとってアプリケーションを作成する上で大きな課題でしょうか?
なぜなら、今おっしゃったことによると、テクノロジーが未熟な環境では、起業家による探求のコストが非常に高くなるからです。また、起業家がアプリケーション パラダイムの変化として他人の API を使用するだけであれば、特に目を引くものではありません。
王暁春:
2 日前、OpenAI はコード インタプリタをアップグレードし、次にカスタム命令をアップグレードしたばかりです。新興企業にとっては、多大なプレッシャーがかかっています。
米国の投資家らはまた、不安の中で新興企業が巨人を超えるチャンスはまだあるのか、半分の仕事を終えた新興企業は大手企業に取って代わられるのではないかと懸念している。
中国にはOpenAIのような大型モデル路線を採るトップ企業はないと思います。まだ「百模型戦争」の段階です。現在、大型モデルを製造する企業がアプリケーションを作成する能力を持っているかどうかは、中国が米国を大いに監視している問題である。
GPT-4 に追いつきますか?世代間の改善モデルを盲目的に追求するのは危険です
張鵬:
これは、中国の誰が GPT-3.5、さらには GPT-4 に追いつくのかという疑問も生じます。
企業が垂直シーンの問題を解決するには GPT-3 で十分だという声もあります。
Xiaochuan さんとあなたは今でも GPT-3.5 と GPT-4 を追いかけることに専念していると感じます。この追跡プロセスは難しいですか？ GPT-4 のレベルに追いつく必要があるのはなぜですか?
王暁春:
それは2つあると思います。
1 つ目は世代間のテクノロジーの進歩で、その後の製品の生態系に壊滅的な影響を与える可能性があります。理想的な観点から見ても、戦闘機の 3 世代、4 世代、5 世代のように、各世代が重要な役割を果たす可能性がある、手の届かない未来を想像してみてください。したがって、現時点では、誰もが競争の激しい分野で優位性を追求するよう努めるべきです。
しかし、優位性を競い合う過程で、誰もが新たな混乱に直面するかもしれません。「スーパーアプリケーションは何世代で本当に実現できるのか？」 GPT-3.5は米国ではまだスーパーアプリケーションとして形成されておらず、1回のトレーニングに約5000万元かかるが、これには事前の準備や実験の費用は含まれない。 GPT-4 トレーニングには 1 回あたり 5 億人民元かかる場合があります。 GPT-4.5 世代までに、コストは 5 億ドルに達する可能性があります。
したがって、スーパーアプリケーションがない場合に、単純に技術向上を追求することは非常に危険です。したがって、この分野における第4世代、第5世代の技術力の向上を同時に追求し、同時にスーパーアプリケーションを持たなければなりません。そうしないと、突然 2 つの面でアップグレードするというプレッシャーに直面する可能性があり、成功するには両方を同時にアップグレードする必要があります。
張鵬:
したがって、あらゆる種類のテクノロジーが価値のあるアプリケーションを生み出すことができるはずです。
王暁春:
あなたが今言ったことは全く正しいです。
GPT-3は基本的にB面で利用可能ですが、C面で利用できないのは時間が短すぎるためだと思います。
また、OpenAI に注目しすぎていて、プロダクト会社でもスーパー アプリケーションを作れる会社でもありません。
スーパーアプリケーションを実行するには、技術的なキャッチアップだけでなく、製品に対する十分な理解も必要です。年末には真実が明らかになるのではないかと思います。
「Xiaochuan は大型モデルの作成に適しています」 「20 年間探し続けましたが、私が検索に適しているとは誰も言いませんでした」
張鵬:
誰もが OpenAI を過大評価する可能性がありますか?つまり、OpenAIにはデータフライホイールがあるため、それを超えるのは難しいのではないかと考えていますが、この点はどのように理解されていますか?データフライホイールは本当に存在するのでしょうか?
王暁春:
今年の初めにデータフライホイールの話をしていたのですが、その時はすごくパニックになっていました。ユーザーのリクエストが与えられ、ユーザーが何を望んでいるのかを理解し、モデルをより適切にアップグレードできます。
今のところ、この問題は深刻ではありません。
たとえば、Llama 2 の発売後、微調整の段階では、データは洗練されて多くなるのではなく、より洗練されて少なくなるべきであることが全員にわかりましたが、今では、テクノロジーの秘密はフライホイールにあるのではなく、時間の経過によるテクノロジーの蓄積であるというコンセンサスが徐々に形成されてきました。
クロードと同じ企業である Anthropic の技術力も急速に向上しており、OpenAI のユーザー数はそれをはるかに上回っており、これもデータ フライホイールの概念が偽装されていることを証明しています。
張鵬:
あるいは、本当に貴重なデータが人との会話のスキルに反映されているのか、最初の頃はかなり「間抜け」な話し方だったと記憶していますが、今ではより人間味を感じます。
王暁春:
トレーニング前の段階でも微調整の段階でも、高品質のデータを取得するにはどうすればよいでしょうか?合わせ方など、これが核となる能力です。特に、GPT-4 が GPT-3.5 をより効率的に動作させるために GPT-3.5 をトレーニングしている一方で、GPT-4 は GPT-5 に必要なデータの一部を生成するために使用され、反復プロセスを最適化している、という話を聞いていました。内部での反復は、オンライン サービスを改善すると同時に、将来のデータを生成することを目的としています。これは内部フライホイールだと思います。
張鵬:
つまり、Llama の観点から見ると、オープンソースを通じて常に技術レベルを向上させたモデルを提供することも可能です。しかし、OpenAI の観点から見ると、特定の段階では十分なユーザーとデータが存在する可能性があります。
王暁春:
オープンソース、クローズドソース、アプリケーション、実は今でもみんながやっていて、米国西部と同じようにまだ拡大段階にあります。
張鵬:
したがって、今日、百川のような新興企業にとって、特定の方向にのみ協力しますと言うのは簡単ではありません。戦略を曖昧にしておくか、可能性が豊富であると言うか、これらの側面に賭けるかもしれません。
王暁春:
右。今回の私の起業は非常に興味深いものです。シャオチュアンは特に大規模モデルの製作に適していると多くの人が言います。私は 20 年間検索をしていますが、シャオチュアンが検索に特に適しているとは誰も言いませんでした。
中国での検索は百度よりも 3 年遅れており、これに追いつくのは非常に困難です。今日の蓄積と経験を見ても、その先には誰もいない。考えるのは難しく、数年遅れましたが、今日ではどこにでもチャンスがあるように思えます。したがって、私たちに十分な能力がある限り、ここでどこでもインタビューして、今日の Sogou に対する最初の印象を変えることができるかどうかを確認することができます。
盲目的に崇拝しないでください。中国と米国では異なる AI ストーリーが展開されるでしょう
張鵬:
小川さんの言葉にとても感動しました。あなたはついに無人地帯に立っているのです。
大規模モデルに関しては、OpenAI を学習して追いつく必要があると感じている人も多いかもしれません。しかし、これを実際にやってみると、距離と道が本当にわかります。
王暁春:
はい、あまり崇拝しないでください。
2016 年の AlphaGo の後、そのとき私は 2 つの点について言及したと記憶しています。まず、(AI) がビデオの次のフレームを予測できるとしたら、それは AGI の登場です。
でも、話し終わったら終わりだし、能力がない、やる気も能力も条件もない。その後、機械が言語を習得すれば強力な人工知能も生まれると言われました。さて、実際に検証が始まりました。
ですから、私たち自身にもたくさんのアイデアがあると思いますし、遅れているわけではありません。ただ、タイミングと条件が機が熟していないだけだ。校長先生がこの問題は解決できると言ったのに、校長先生、宿題を写すつもりじゃないんですよね？
他の人は、それは解決できる、または大きなアイデアを与えると言ってくれますが、私は自分たちでそれができると思いますし、他の人の宿題を見つめてそれを真似する必要はありません。
張鵬:
したがって、ここでの本当の楽しみは、他の人を認識したり再現したりすることではなく、この無人地帯で誰もが捕らえていないいくつかのことを探索することです。
王暁春:
はい、今回はいくつかの分野で私がリードする機会があると思います。
張鵬:
そういう可能性もあるので、中国とアメリカ、BaichuanとOpenAI、もしかしたら同じ話ではないかもしれません。
王暁春:
確かに違うでしょう。中国とアメリカは制度や制度や文化ではないので、技術的な問題でも応用の問題でも、最終的に芽生えるものは異なります。
主な仕事: 同僚とのチャット、Baichuan Intelligent はちょうど 100 人を突破しました
張鵬:
普段の仕事はどうやって調整していますか？どのように時間を配分していますか？コンピューティング能力が重要だ、才能が重要だ、とよく言う人がいますが、何が最も重要なのかは本当に起業した人にしか分からないと思います。そこで聞きたいのですが、どこに最も多くの時間を費やしていますか?
王暁春:
私が今、ほとんどの時間を費やしているのは、同僚とチャットすることです。
張鵬:
チャット？
王暁春:
そう、チャットというのは実は常に全員の認知や栄養、外部情報を集めて同じ脳を形成するために常に合意形成をしていく作業なのです。
トップダウンが道を誤る可能性があることを私たちは知っているからです。たとえば、なぜ Google はそれを実現しなかったのでしょうか?最初の Google 本社が完成したとき、それには惰性がありました。データが取得できない、オンライン化するとコストが嵩む、ユーザーメリットが特にないなど、起業にはジレンマがある。
Google Brainの場合はボタンアップです。研究者は非常に自由で、自分のやりたいことをしたり、力を合わせたりできるので、実際に大型模型を見たことがある人も多いのですが、力が分散していて集中して取り組むことができません。そして、Deepmindはトップダウンで、会社から求められていること、そして全員がやることを決めます。 AlphaGo、AlphaZero、AlphaFold を実行し、現在は水素エネルギー、核融合、量子コンピューティングに向かって進んでいますが、それらのほとんどからは程遠いです。
実際、今日のトップダウンとボタンアップは「同じ志を持ったアップとダウン」と呼ばれており、誰もがこの理想からテクノロジーと認知まで完全に一致し、1つのものになることができます。ですので、日々のコミュニケーションを増やすことで頭脳が鍛えられ、それが私の一番大切な仕事だと思っています。
張鵬:
うーん、興味深いですね。だからこそ、小さなチームが最大限のエネルギーを発揮すれば、全員が同じ喜びや悲しみ、同じ思いや願いを共有することができるのです。
王暁春:
これはとても重要で、今日は組織やマネジメントの話はしませんが、私たちは一人の人間のようになります。 Baichuan の従業員は現在 100 名で、昨日 100 名に達したばかりです。
自信の変化、Baichuan の進歩は予想よりも速い
張鵬:
ここ数カ月間、大規模モデリングに専念してきましたが、熱意は変わりませんが、自信は変わりましたか？最初に予想していたよりも難しいですか？まだご期待どおりですか?
王暁春:
正直に言うと、思ったより簡単だと心の底から思います。
最初は多くのこと（困難さ）、海外での長年の蓄積、コンピューティング能力、サーバーなどを知っていることが期待されます...しかし、同僚と作業し、全員が共同で創造しているとき、私たちの実際の進歩とペースは予想よりも速いです。
第 3 四半期に 500 億モデルをリリースし、第 4 四半期には 1,750 億モデルをリリースする予定であることが判明しました。
しかし、実際には、これらのことは変わらないのですが、その過程で、アプリケーションの進歩の速度とオープンソース モデルの速度は予想よりもはるかに速くなります。
そして今日では、国内で最高であるだけでなく、国際舞台でもオープンソースであることをより早く宣言できるようになりました。
オープンソースは非常にシンプルで、誰でも自分の目的で使用できます。これは自慢するものではありません。開幕後は国際舞台で非常に良いポジションを獲得できると確信している。
張鵬:
なので、水に飛び込む前は深さが分からず不安でしたが、実際に飛び込んでみると底までしっかり踏めることが分かり、安心感が増したのではないでしょうか？本当にそんな簡単なことなのでしょうか？
王暁春:
人々を分断する。
私は比較的慎重な人間なので、まだ様子を見ていたのですが、うちの連荘が私を蹴って、やり始めるように言いました。それで私は「わかりました」と言って、終了を告げて仕事を始めました。そうしないと、準備ができたと感じるまでにさらに遅くなる可能性があります。しかし、フィールドを出ると、思ったよりも速く走れることがわかります。
熱狂の後に懸念される最近の技術開発
張鵬:
最近の大型モデルの技術進歩に注目していますか？どの新聞があなたを興奮させますか？
王暁春:
まず、論文を読むことだけが今日では実は重要ではありません。終わらせることはできません。
基本はそういうことです。そして今日、OpenAI は良い論文の発送を停止しました。送られてくる紙は情報量の少ない紙ばかりで収穫は限られている。
同時に、誰もが一度は熱狂（状態）に入ったことがあるので、それを「1日を1年のように生きる」と呼び、毎日が1年（技術の進歩）のように感じられます。
張鵬:
時間が経つのが早いので、一日が数年のように感じられます。
王暁春:
はい、退屈ではありません。毎日新しいことがたくさんあります。皆、神経が過剰に刺激されていて、少し弱くなっています。
そうは言っても、最近いくつかのテクノロジーの進歩があり、それは非常に強力だと思います。
1 つは、約 1 週間前に OpenAI がコード インタプリタを発表したことです。これは大きな進歩ですが、中国では新たなメディアの熱狂が起こっていないようです。
以前は誰もがこの熱狂を楽しんだことがありますが、今回はその進行状況、コードインタープリタ、メディアは十分な注意を払って報道しなかったと思います。
そして昨日小さなアップグレードがあり、独自の命令をカスタマイズしました。
これは、モデル LLM からエージェントまでが開始されることを表します。
「私は何者で、私の特徴は何ですか？」を説明します。あなたの大きなモデルはどのような役割を果たし、その特徴は何ですか？このような関係の形成は、モデルが (観点から見て) エージェントであるかどうかによって異なります。
これら 2 つの分野だけでは、誰もが注目して今日報告するのに十分ではありません。
起業の決断は、「シャオチュアンに適した」無人地帯が完成するまで待った
張鵬:
最後の質問で、あなたはこの起業家的な状況に「追い込まれた」とおっしゃいました。また、あなたが AlphaGo の時代から AI マニアであることも知っています。
最終的にはAGIや大型モデルの分野で起業家になることを決意しましたが、老王（恵文）や中国の波はあなたの意思決定にどのような影響を与えましたか？そうしたプロセスを経て、あなたの心にはどのような変化が起きましたか？
王暁春:
精神的な旅は実際には非常に長いです。
壮河の時から後期へ。まず、レコメンデーション エンジンを逃し、テンセントと戦略的提携を結びましたが、この場合、新たな技術的ブレークスルーがなければ、開発は非常に限られています。 Sogou が Tencent と合併したとき、私はもっと興味深いことに挑戦していました。それは、人生を数学的モデルに変えることでした。先ほども述べたように、ニュートンは物理学を数学モデルに変えていました。
以前、ギークパークのプラットフォームで、私は人生から学ぶことについて話していました。
人生ってなにこれは私が20年間考え続けてきたことです。
人生を数学モデルに変えるにはどうすればよいでしょうか?これが私が気にかけていることです。中国医学の研究においても、生命を数理モデルに変換する方法は、（後に）この道が平坦ではない可能性があることがわかりました。
私は科学パラダイムの中で医学に新たなブレークスルーを起こす方法に特に興味があります。私はコンピューターの論文を読むよりもはるかに多くの医学論文を読み、何千もの医学論文を読みました。
21年間に何が起こったのか？ 21年経って、ビッグモデルにもチャンスが生まれ始めた。当時、検索を質問と回答に変えるという問題を解決するために、数百億のモデルを作りました。
実は、インプットメソッドをやる前から、「次の単語が何を言いたいのかを予測する」という作業をしていて、それをどう書き換えるかという、検索が質疑応答になってしまいました。実際、ドアは触られましたが、当時は技術の進歩はありませんでした。
ご存知のとおり、私は生命を数理モデルに変えることに非常に興味があるので、大きなモデルが登場した後、最初に考えたのは大きなモデルを作ろうとは思わなかったのですが、今日の生命の分野で Health ChatGPT を構築することは可能でしょうか?健康な GPT、デジタルドクター?
張鵬:
あなたは応用的な問題解決の観点から考えています。
王暁春:
はい、考えてみます。それで、今日縦型モデルをやると、大きなモデルにやられてしまうかもしれないと思いました。一般的な知性は専門的な知性を殺しますよね？
しかし今回の場合、1 種類の HealthGPT やデジタル医師だけを行うだけでは十分ではないことがわかりました。
結局のところ、やはり大きなモデルを作る必要がある。
（次のステージで大型模型を作るという決断は）そういう循環から戻ってきたので、これまで積み上げてきたと思ったわけではありません。
しかし、大きなモデルを作ってみると、言語関連の処理など、（これまでの蓄積が）かなり関連していることがわかります。
極端に言えば、ChatGPT は言語モデルをスーパー アプリケーションにした 3 番目のアプリケーションです。最初の 2 つは、1 つは検索方法、もう 1 つは入力方法です。
張鵬:
これもやってなかったような気がします、前にやった二人はごめんなさい。
王暁春:
はい、ということで、以前は予想していなかった、これまでの積み重ねが今日とても役立っていることが分かりました。
だから私はとても感情的になっています、神はあなたにとても親切で、あなたにチャンスを与えてくれました。探求の終わりには、以前の経験を利用して、以前にはできなかったことを行う別のチャンスがあります。
今では、「Xiaochuan は検索に適している」という人は誰もいませんでしたが、誰もが「Baichuan は大型模型に適している」と言ってくれました。これは私にとって非常に幸運なことです。
張鵬:
これが、最初にそれを行うことにした理由です。
OpenAI はまだ超収益性の高い企業にはなっていないため、シリコンバレーの多くの人々がそのビジネス モデルに疑問を抱いています。ビッグモデルはこの面で起業家にプレッシャーを与えることになるのですが、このプレッシャーを感じたことはありますか？
王暁春:
すっかりハイパーになってしまった。
なぜなら、私は以前は百度の影で働いていましたが、今は百度は無人の領域です。私にとって、目の前にリーダーがいて後は従うということではなく、これこそが私がやりたいことなのです。私にとって、これは好きなことであり、新しい探求です。
張鵬:
今日はシャオチュアンに感謝します。ついに無人地帯への案内をおめでとうございます。ここでもっと美しい景色が見られることを願っています。拍手はシャオチュアンに捧げます、さあ!