Baichuan Intelligent Wang Xiaochuan: Setelah 100 hari memulai bisnis dengan model besar, saya telah memastikan bahwa saya telah menemukan "tanah tak bertuan" saya
Pada bulan April, Wang Xiaochuan mengumumkan kematiannya dan mendirikan perusahaan model berskala besar "Baichuan Smart".
Pada bulan Juni, Baichuan Intelligent merilis model besar open source 7 miliar parameter, Baichuan-7B.
Pada bulan Juli, Baichuan Intelligent merilis model besar sumber terbuka 13 miliar parameter, Baichuan-13B.
Kedua model telah berkinerja baik dalam berbagai evaluasi, dan juga telah diakui oleh banyak pengguna di dalam dan luar negeri.
"Sumber terbuka sangat sederhana, semua orang dapat menggunakannya untuk kepentingan mereka sendiri, ini bukan sesuatu yang Anda banggakan."
Dia bergerak cepat, lebih cepat dari yang dipikirkan kebanyakan orang. Bahkan dia sendiri terkejut: kemajuannya akan jauh lebih cepat dari yang diharapkan setelah mulai melakukannya.
Pada konferensi AGI Playground, Wang Xiaochuan mengungkapkan bahwa kemampuan model open source BCI pasti akan melampaui Llama 2. Menurut rencana, Baichuan Intelligent akan merilis puluhan miliar dan ratusan miliar model besar sumber tertutup di masa mendatang.
Beberapa bulan yang lalu, Wang Xiaochuan ingin "menjadi OpenAI China" di berita utama berbagai media.
Ini adalah slogan yang senang didengar publik, tetapi mungkin bukan deskripsi yang akurat.
Apa sebenarnya yang ingin dilakukan Wang Xiaochuan? Apa yang akan dia lakukan? Setelah tiga bulan berlatih dan mencapai hasil awal, apa pemahaman langsungnya tentang kewirausahaan di era model berskala besar?
Konten berikut diambil dari wawancara antara Zhang Peng, pendiri & presiden Geek Park, dan Wang Xiaochuan, pendiri & CEO Baichuan Smart, di konferensi AGI Playground, diedit oleh Founder Park.
Sumber terbuka, apa yang tidak dilakukan OpenAI
Zhang Peng:
Yang paling menarik bagi Anda adalah Anda bergerak sangat cepat setelah memulai bisnis, dan merilis dua model: satu 7B dan satu 13B, dan umpan baliknya sangat bagus.
Semua orang sangat penasaran, karena pada awalnya mereka mengira Anda akan menjadi OpenAI China, tetapi melihat bahwa Anda telah membuat hal-hal open source, apakah open source merupakan tahap teknologi, atau apakah itu sendiri merupakan model baru untuk pemikiran Anda di masa depan?
Wang Xiaochuan:
Open source, menurut kami ini adalah tahap teknis, pada kenyataannya, menjadi OpenAI China tidak berarti menyalin jalur lengkapnya. Saat berkomunikasi dengan OpenAI di Silicon Valley, idealnya mereka telah melangkah sangat jauh, misalnya saat mereka melakukan GPT-4 sekarang, mereka membutuhkan lebih dari 20.000 kartu untuk melakukan perhitungan, dan mereka belum pernah melihat skala sebesar ini di China.
Mereka dengan bangga mengatakan bahwa mereka sedang merancang model komputasi yang menghubungkan 10 juta GPU secara bersamaan.
Apa konsep 10 juta kartu? Output tahunan Nvidia adalah 1 juta. 10 juta eksemplar adalah rencana yang bisa pergi ke bulan (moonshot).
Selain itu, dalam hal cara membuat aplikasi, produk, dan bahkan beberapa teknologi yang lebih luas, ini mungkin kekurangan OpenAI, atau mungkin sesuatu yang tidak terlalu mereka pedulikan sekarang.
Jadi melakukan OpenAI di China akan sangat berbeda dengan lingkungan ekologis di Amerika Serikat.
Setelah rilis open source Llama 2 baru-baru ini, hal itu menyebabkan kegilaan di China, semua orang merasa bahwa itu akan mengubah lanskap lagi, yang gagal dilakukan oleh OpenAI. Sayang sekali hal ini tidak dilakukan oleh Google, melainkan oleh Facebook (Meta), dan Google terus absen. Tetapi di China, kami telah melihat masalah ini sebelumnya, dan kami yakin bahwa open source dan closed source akan memiliki keadaan paralel di masa mendatang.
** Zhang Peng: **
Sumber terbuka dan sumber tertutup akan berada dalam keadaan paralel.
Wang Xiaochuan:
Paralelisme sedikit mirip dengan sistem Apple dan sistem Android saat ini. Bahkan ketika lebih banyak perusahaan ingin berpartisipasi, tidak cukup hanya menggunakan panggilan API sumber tertutup Model sumber terbuka ini juga perlu menyediakan 80% layanan, dan akhirnya mengandalkan layanan sumber tertutup untuk menyediakan layanan bagi semua orang, dan 20% sisanya akan memiliki banyak permintaan sumber terbuka. Amerika Serikat tidak memilikinya sebelumnya, dan China tidak memiliki model serupa. Oleh karena itu, begitu Llama diumumkan, itu akan menjadi kejutan besar bagi Amerika Serikat, tetapi ada juga ledakan di China. Faktanya, evaluasi teknis yang serius mencakup beberapa evaluasi arus utama seperti SuperClue, serta perbandingan antara beberapa pabrikan dan perusahaan besar.Jika Llama dibandingkan dengan Baichuan, jelas bahwa kualitas kami di bidang China jauh lebih unggul daripada Llama.
Di bidang model open source di China, seperti industri ponsel kita, Amerika Serikat digunakan pada awalnya, dan kemudian menyusul dengan sendirinya.
** Zhang Peng: **
Apakah menurut Anda Llama 2 sangat panas akhir-akhir ini, Baichuan akan lebih baik dari mereka?
Wang Xiaochuan:
Llama adalah Llama 1 dan 2.
Pertama-tama, kami merilis model parameter 7B pertama pada bulan Juni tahun ini, dan merilis model parameter 13B pada bulan Juli. Di antara indikator dalam bahasa Inggris, indikator yang paling penting adalah MMLU (Massive Multitask Language Understanding) Indikator kunci ini, dua model kami lebih baik daripada Llama (1), dan jauh lebih unggul dalam bahasa Cina.
Kami tahu bahwa pemrosesan bahasa Mandarin Llama sebenarnya tidak memadai. Dibandingkan dengan Llama (1), bahasa Inggris Baichuan sebagian dapat menyamai tolok ukur, dan indikator utama terlampaui, dan bahasa Mandarin jelas lebih baik. Banyak orang mengubah Llama menjadi bahasa Mandarin, tetapi masih tidak semudah menggunakan Baichuan lokal.
Setelah rilis Llama 2, kita juga bisa melihat laporan teknisnya, yang memuat sekitar 9 poin inovasi teknis, 6 di antaranya telah dicapai dalam model yang sedang kita kembangkan.
Dibandingkan dengan model domestik lainnya, pemikiran kami di sini adalah yang paling dekat saat ini. Kami telah melakukan 6 poin, dan kemudian kami tidak mengharapkan 2 poin, dan kami memiliki satu yang tidak valid. Oleh karena itu, jika dibandingkan dengan Llama2, pemikiran teknis kami bukan hanya plagiarisme, tetapi kami memiliki pemikiran kami sendiri. Kami pikir akan ada peluang kami di masa depan di jalan ini.
Hari ini saya juga mengimbau semua orang di China untuk tidak hanya berpikir bahwa negara asing itu bagus ketika mereka menggunakannya. OpenAI memang semakin jauh sekarang. Butuh waktu untuk mencapai GPT-3.5 atau mendekati level tersebut pada akhir tahun, tetapi kami sudah sangat dekat dalam model open source.
** Zhang Peng: **
Jadi model open source Anda berikutnya, apakah menurut Anda akan lebih baik daripada Llama 2?
Wang Xiaochuan:
Setidaknya dalam bahasa Cina. Di bidang bahasa Cina, sekarang sudah terlampaui. Langkah selanjutnya adalah membuat suara China di bidang open source pasar global.
** Zhang Peng: **
Bahasa Inggris dan Cina harus lebih baik daripada Llama2, ini terlihat dan dapat dicapai untuk Anda.
Wang Xiaochuan:
Saya pikir ada kemungkinan hal itu bisa terjadi di masa mendatang.
Zhang Peng:
Jadi sudut pandang Anda adalah: hari ini kami tidak bisa begitu saja mengatakan bahwa model besar masa depan kami adalah bergerak menuju OpenAI—model terpusat sumber tertutup. Open source sebenarnya memiliki kemungkinan besar. Jadi itu berarti bahwa di satu sisi itu adalah untuk mempraktikkan teknologi dan menunjukkan kemampuan teknis, tetapi itu mungkin mengandung model dan nilai bisnis.
Pada saat yang sama, atas dasar open source, masih merupakan sesuatu yang dapat dinantikan oleh orang-orang China dalam membuat model China terbaik di dunia.
Wang Xiaochuan:
Itu meringkasnya dengan cukup akurat.
Apakah pengalaman penelusuran merupakan inersia yang buruk, atau aset yang bagus?
Zhang Peng:
Di masa lalu, banyak investor percaya bahwa menggunakan pengalaman penelusuran untuk membuat model skala besar pasti tidak akan berhasil. Setelah latihan berbulan-bulan ini, apakah Anda memverifikasi penilaian awal Anda yang berbeda dari mereka? Bagaimana akumulasi dan kemampuan penelusuran berkontribusi pada model yang lebih besar?
Wang Xiaochuan:
Karena pencapaian (AI) hari ini dicapai oleh OpenAI, tetapi Google tidak, pemikiran pertama investor adalah bahwa teknologi baru ini adalah kebalikan dari pencarian. Sulit bagi mereka untuk membedakan apakah alasannya adalah teknologi atau manajemen organisasi.
Alasan untuk jenis suara ini adalah karena seseorang tidak memahami hubungan antara teknologi pencarian dan AI, dan yang kedua adalah kognisi latar belakang pencarian akan membawa efek negatif.
Karena perusahaan pencarian sebagian besar adalah Baidu dan Google, mereka tidak memerlukan pembiayaan eksternal, dan mereka tidak memberi tahu investor apa itu pencarian. Secara khusus, gelombang terakhir ledakan AI sebagian besar disebabkan oleh gambar, dan semua orang tidak terbiasa dengan konotasi teknis seperti NLP dalam penelusuran.
Dari segi hasil, kami merilis model pertama pada bulan Juni. Seorang pesaing memberi tahu investor paling awal bahwa Baichuan akan membutuhkan waktu setengah tahun untuk memproduksi model pertama.Padahal, kami hanya membutuhkan 1/3 dari waktu untuk menyelesaikannya, dan kemudian merilis model kedua. Dan dalam waktu dekat, kami akan merilis model sumber tertutup.
Baichuan telah dikembangkan sendiri sejak hari pertama, dan awal yang dingin sangat, sangat cepat. apa alasan dibalik ini?
Hari ini kita tahu bahwa data berkualitas tinggi adalah dasar dari model besar, jadi perusahaan mana yang memiliki pemahaman luas tentang data bahasa? Faktanya, perusahaan pencari telah bekerja selama 20 tahun, memikirkan cara menemukan data berkualitas tinggi setiap hari. Misalnya, pertama-tama temukan 100 situs web berkualitas tinggi dari 1 triliun halaman web, lalu lakukan analisis halaman, termasuk ekstraksi informasi, deduplikasi, antispam, dan bahkan ekstrak konten berdasarkan tingkat paragraf.
Sogou, Baidu, dan Google telah melakukan pekerjaan semacam ini sejak lama.
Poin kedua adalah bahwa dalam hal kumpulan bakat, kemampuan algoritmik dan kemampuan teknik harus difokuskan pada kemampuan pencarian.Orang-orang seperti itu pada dasarnya juga mencari perusahaan. Sekarang ByteDance menggunakan tim pencarian untuk membuat model, dan kemajuan Baidu juga sangat cepat, termasuk model yang dibuat oleh Shen Xiangyang juga dibuat oleh VP Bing di masa lalu.
Hal lain untuk membuat model besar adalah evaluasi. Mengevaluasi apakah model besar itu baik atau tidak sebenarnya merupakan masalah yang menyakitkan, termasuk pertanyaan tentang penalaran, pertanyaan-dan-jawaban yang akurat, dan kreasi... Beberapa menjadi lebih baik, dan beberapa menjadi lebih buruk Bagaimana cara mengevaluasi? Oleh karena itu, sistem evaluasi ini juga merupakan kemampuan yang telah lama dikumpulkan oleh perusahaan pencarian, menggunakan evaluasi untuk mendorong iterasi algoritme berikutnya.
Selain itu, efisiensi organisasi perusahaan rintisan jauh lebih tinggi daripada pabrik besar, dengan sistem pengambilan keputusan yang sangat fleksibel, semua efisiensi akan dimaksimalkan.
Zhang Peng:
Jadi, apakah Anda berbicara dengan investor yang berpendapat bahwa penelusuran tidak cukup baik untuk model besar?
Wang Xiaochuan:
Namanya ditandai dengan salib dan dihapus, dan saya tidak tahu siapa itu. Investor yang hanya melihat bisnis tetapi bukan teknologi, dan mereka yang terutama menyukai daging segar kecil yang kembali dari Amerika Serikat untuk memulai bisnis, investor ini hanya menariknya dan tidak membicarakannya.
Wang Tua benar, "Inovasi kecil bergantung pada pabrik besar, dan inovasi besar bergantung pada pabrik kecil"
Zhang Peng:
Apakah menurut Anda pengusaha akan memiliki peluang yang cukup dalam gelombang perubahan teknologi ini di masa depan? Atau apakah tubuh utama masih dikendalikan oleh raksasa? Bagaimana pengusaha dapat memanfaatkan peluang mereka sendiri?
Wang Xiaochuan:
Meskipun Wang Huiwen tidak tahu banyak tentang teknologi, menurut saya dia mengatakan sesuatu yang sangat benar: inovasi kecil bergantung pada pabrik kecil, dan inovasi besar bergantung pada pabrik besar.
Meskipun pabrik besar memiliki banyak keunggulan dalam hal orang, uang, dan sumber daya, akan ada banyak masalah internal setelah organisasi tumbuh, dan efisiensi organisasi sangat terbatas.
Jika kita sangat yakin bahwa kedatangan AGI, maka akan terjadi ledakan besar spesies baru. Hal-hal ini memiliki peluang besar bagi startup untuk bekerja. Ini bisa dibuktikan dari deduksi sejarah, jadi selama ada AGI, akan ada peluang baru di masa depan.
Di mana kesulitan di tengah?
OpenAI adalah perusahaan berorientasi penelitian yang mengimplementasikan produk di dunia nyata. Anda mengikutinya, dan bidang penelitian bisa memiliki prestasi yang sangat mempesona. Tetapi bagaimana menerapkannya hari ini, baik OpenAI maupun perusahaan berbasis teknologi di Silicon Valley sangat ahli dalam hal ini. Saya yakin China jauh lebih baik daripada Amerika Serikat dalam hal implementasi aplikasi.
Seluruh dunia telah mencapai titik balik, dan sekarang teknologinya ada, ini adalah kesulitan pertama. Aplikasi dan persyaratan adalah kesulitan kedua, yang disebut layanan model (model service). Jadi tantangannya sekarang adalah, nomor satu, apakah Anda punya modelnya? Kedua, apakah memiliki model berarti memiliki layanan?
Zhang Peng:
Apakah menjual API adalah layanan?
Wang Xiaochuan:
Saya kira tidak demikian.
Sepertinya Anda memiliki teknologi tanpa pengemudi, tetapi bisakah Anda benar-benar membuat mobil? Tentu saja tidak. Itu juga membutuhkan perpaduan banyak teknologi.
Sekarang Amerika Serikat relatif bingung tentang lapisan aplikasi, dan masalah China saat ini adalah kurangnya kemampuan model. Saat ini, banyak perusahaan pemula yang membuat model juga membatasi perspektif mereka pada model besar, dan tidak tahu banyak tentang kumpulan teknologi lainnya.
Izinkan saya memberi Anda contoh paling sederhana, saat membuat model, Anda pasti akan menemui halusinasi dan ketepatan waktu. Baik halusinasi maupun ketepatan waktu dapat diselesaikan dengan model besar itu sendiri. Beberapa orang memecahkan ilusi dengan memperluas parameter menjadi triliunan dan puluhan triliun; atau menggunakan pembelajaran penguatan. Namun nyatanya, cara paling langsung adalah dengan membawa pencarian dan pencarian informasi ke dalamnya. Kombinasi model besar dan ini dapat membentuk tumpukan teknologi yang lebih lengkap.
Setelah teknologi ini diusulkan, itu sudah menjadi pertanda kecil. Misalnya, ada sesuatu yang disebut database vektor, yang sebenarnya merupakan pencarian fleksibel dan terutama digunakan di toB.
Dari segi pencarian, setelah teknologi Transformer diperkenalkan pada tahun 2018, sudah memiliki kemampuan pencarian semantik. Anda mungkin pernah mendengar tentang indeks terbalik, yaitu mengindeks jaringan simbolik ini.
Setelah 2018, baik kita, Baidu atau vektor byte telah beralih ke pencarian semantik, di balik teknologi ini terdapat tiga database vektor besar. Kombinasi tumpukan teknologi ini dan model besar dapat membuat model besar berkembang lebih jauh. Seperti yang Anda lihat, pengalaman tim pencari memiliki kelebihan untuk membuat model.
Aspek kedua adalah teknologi model skala besar secara bertahap menjadi praktis. Kemudian dalam apa yang disebut komputasi pengetahuan, database vektor dan pencarian perlu ditambahkan untuk membentuk teknologi dan produk yang lebih lengkap. Mengenai masalah ini, setiap orang secara bertahap membentuk konsensus.
Berbicara tentang trafik ChatGPT saat ini, semua orang mulai khawatir apakah bisa terus meledak.
Jadi masih perlu eksplorasi lebih lanjut.
Kami percaya bahwa dalam industri hiburan, role-playing memiliki prospek yang luas, namun hal ini membutuhkan masuknya perusahaan China untuk berbuat lebih baik.
Hal lain adalah bagaimana menggabungkan model besar dan pencarian. Perplexity AI bekerja dengan sangat baik sekarang, tetapi kami berada dalam posisi pasif. Jika Amerika Serikat memiliki peluang, investor akan mencari perusahaan pembanding China.
Jika perusahaan ini tidak memiliki model besar, itu hanya memanggil API; kedua, tidak memiliki teknologi pencarian dan hanya dapat mengandalkan teknologi perusahaan seperti Google dan Bing, yang tidak ideal.
Zhang Peng:
Tadi Anda mengatakan bahwa jumlah pengguna seperti ChatGPT menurun, yang membuat semua orang merasa bahwa paradigma baru mungkin tidak dapat menembus sekaligus. Apakah ini tantangan besar bagi pengusaha untuk membuat aplikasi?
Karena menurut apa yang baru saja Anda katakan, di lingkungan dengan teknologi yang belum matang, biaya eksplorasi kewirausahaan sangat tinggi. Dan jika pengusaha hanya menggunakan API orang lain sebagai perubahan paradigma aplikasi, itu tidak terlalu menarik.
Wang Xiaochuan:
Dua hari yang lalu, OpenAI baru saja memutakhirkan juru kode, lalu memutakhirkan instruksi khusus. Bagi perusahaan pemula, ada tekanan yang luar biasa.
Investor Amerika juga khawatir apakah masih ada peluang bagi perusahaan baru untuk melampaui raksasa di tengah kecemasan, dan apakah mereka akan digantikan oleh perusahaan besar setelah setengah dari pekerjaan mereka.
Di China, menurut saya tidak ada perusahaan top seperti OpenAI yang mengambil rute model skala besar. Itu masih dalam tahap "Perang Seratus Model". Saat ini, apakah perusahaan yang membuat model berskala besar memiliki kemampuan untuk membuat aplikasi adalah masalah yang harus banyak diawasi China di Amerika Serikat.
Mengejar GPT-4? Berbahaya untuk membabi buta mengejar model perbaikan antargenerasi
Zhang Peng:
Ini juga menimbulkan pertanyaan tentang siapa di China yang akan mengejar GPT-3.5, atau bahkan GPT-4
Ada juga suara lain yang mengatakan bahwa GPT-3 cukup bagi perusahaan untuk menyelesaikan beberapa masalah pemandangan vertikal.
Saya merasa Xiaochuan dan Anda masih berkomitmen untuk mengejar GPT-3.5 dan GPT-4. Apakah proses pengejaran ini sulit? Mengapa Anda mengatakan bahwa Anda harus mengejar level GPT-4?
Wang Xiaochuan:
Saya pikir itu dua hal.
Yang pertama adalah kemajuan teknologi antar generasi, yang mungkin berdampak buruk pada ekologi produk selanjutnya. Tidak masalah dari sudut pandang ideal, bayangkan masa depan yang jauh dari jangkauan, seperti tiga, empat, lima generasi jet tempur, di mana setiap generasi dapat memainkan peran penting. Jadi saat ini, setiap orang harus berusaha mencari keuntungan di bidang yang sangat kompetitif.
Namun, dalam proses persaingan untuk mendapatkan keuntungan, setiap orang mungkin menghadapi kebingungan baru: Pada generasi berapa kita dapat benar-benar mewujudkan aplikasi super? GPT-3.5 belum membentuk aplikasi super di Amerika Serikat, dan dibutuhkan sekitar 50 juta yuan untuk sekali pelatihan, yang tidak termasuk biaya persiapan awal dan eksperimen. Pelatihan GPT-4 mungkin menelan biaya 500 juta RMB sekali. Dengan generasi GPT-4.5, biayanya bisa mencapai $500 juta.
Oleh karena itu, jika tidak ada aplikasi super, sangat berbahaya jika hanya mengejar peningkatan teknologi. Oleh karena itu, kita perlu mengejar peningkatan kemampuan teknis generasi keempat dan generasi kelima di bidang ini secara bersamaan, dan pada saat yang sama memiliki aplikasi super. Jika tidak, kami tiba-tiba dapat menghadapi tekanan untuk memutakhirkan di dua front, yang keduanya perlu ditingkatkan pada saat yang sama agar berhasil.
Zhang Peng:
Oleh karena itu, setiap jenis teknologi gelombang harus mampu menghasilkan aplikasi yang bernilai.
Wang Xiaochuan:
Apa yang baru saja Anda katakan cukup benar.
GPT-3 pada dasarnya tersedia di sisi B, tapi menurut saya alasan mengapa tidak tersedia di sisi C adalah karena waktunya terlalu singkat.
Selain itu, semua orang terlalu fokus pada OpenAI, bukan perusahaan produk, atau perusahaan yang bisa membuat aplikasi super.
Mampu melakukan aplikasi super tidak hanya membutuhkan pengejaran teknis, tetapi juga pemahaman yang cukup tentang produk. Saya pikir akhir tahun adalah saat kebenaran akan terungkap.
"Xiaochuan cocok untuk membuat model besar" "Setelah 20 tahun mencari, tidak ada yang mengatakan bahwa saya cocok untuk melakukan pencarian"
** Zhang Peng: **
Apakah mungkin bagi semua orang untuk melebih-lebihkan OpenAI? Dengan kata lain, menurut kami OpenAI sulit dilampaui karena memiliki roda gila data. Bagaimana Anda memahami ini? Apakah roda gila data benar-benar ada?
Wang Xiaochuan:
Di awal tahun ini, saya berbicara tentang roda gila data, dan saya sangat panik saat itu. Permintaan pengguna diberikan kepadanya, ia tahu apa yang diinginkan pengguna, dan kemudian dapat meningkatkan model dengan lebih baik.
Sejauh ini, masalah ini tidak serius.
Misalnya, setelah peluncuran Llama 2, semua orang melihat bahwa pada tahap penyempurnaan, data harus disempurnakan dan lebih sedikit, daripada disempurnakan dan lebih banyak lagi.Sekarang setiap orang secara bertahap membentuk konsensus bahwa rahasia teknologi bukanlah pada roda gila, tetapi akumulasi teknologi dari waktu ke waktu.
Kekuatan teknis Anthropic, perusahaan seperti Claude's, juga meningkat pesat, dan OpenAI memiliki pengguna yang jauh lebih banyak daripadanya, yang juga membuktikan bahwa konsep roda gila data telah dipalsukan.
** Zhang Peng: **
Atau mungkin data yang sangat berharga di dalamnya tercermin dalam keterampilan berbicara dengan orang, saya ingat bahwa pada awalnya cara berbicaranya cukup "bodoh", tetapi sekarang terasa lebih manusiawi.
Wang Xiaochuan:
Hal ini tidak terasa banyak, dan lebih terletak pada kumpulan datanya.Tidak peduli di tahap pra-pelatihan atau di tahap penyempurnaan, bagaimana cara mendapatkan data berkualitas tinggi? Cara menjodohkan dan sebagainya, ini adalah kemampuan intinya. Secara khusus, saya mendengar mereka mengobrol bahwa di satu sisi, GPT-4 sedang melatih GPT-3.5 untuk membuat 3.5 bekerja lebih efisien, dan pada saat yang sama, GPT-4 digunakan untuk menghasilkan sebagian data yang diperlukan oleh GPT-5, dan mengoptimalkan proses iteratif. Iterasinya secara internal adalah untuk membuat layanan online menjadi lebih baik, dan pada saat yang sama menghasilkan beberapa data di masa mendatang, menurut saya ini adalah roda gila internal.
Zhang Peng:
Jadi jika Anda melihatnya dari perspektif Llama, dimungkinkan juga untuk menghadirkan model yang terus meningkatkan level teknis melalui open source. Namun dari perspektif OpenAI, mungkin ada cukup banyak pengguna dan data pada tahap tertentu.
Wang Xiaochuan:
Open source, closed source, dan aplikasi, nyatanya semua orang masih melakukannya hingga saat ini, dan masih dalam tahap ekspansi seperti halnya Amerika Serikat bagian barat.
Zhang Peng:
Jadi hari ini, untuk perusahaan pemula seperti Baichuan, tidak mudah untuk mengatakan bahwa saya hanya bekerja sama dengan arah tertentu, apakah saya ingin membuat strateginya tidak jelas, atau menyebutnya kaya kemungkinan, saya mungkin bertaruh pada dimensi ini.
Wang Xiaochuan:
Kanan. Kewirausahaan saya kali ini cukup menarik, banyak orang mengatakan bahwa Xiao Chuan sangat cocok untuk membuat model berskala besar, saya telah melakukan pencarian selama 20 tahun, dan tidak ada yang pernah mengatakan bahwa Xiao Chuan sangat cocok untuk melakukan pencarian.
Melakukan pencarian di China 3 tahun lebih lambat dari Baidu, mengejar ketinggalan seperti ini sangat sulit. Akumulasi dan pengalaman hari ini dilihat, dan tidak ada seorang pun di depannya. Sulit untuk berpikir, dan sudah terlambat beberapa tahun, tetapi hari ini bagi saya tampaknya ada peluang di mana-mana. Oleh karena itu, selama kami memiliki kemampuan yang cukup, kami dapat mewawancarai di sini di mana saja, dan lihat apakah kami dapat mengubah kesan asli Anda tentang Sogou hari ini.
Jangan menyembah secara membabi buta, China dan Amerika Serikat akan memiliki cerita AI yang berbeda
** Zhang Peng: **
Saya cukup tersentuh dengan apa yang Ogawa katakan. Anda akhirnya berdiri di tanah tak bertuan.
Mengenai model besar, banyak orang mungkin merasa perlu belajar dan mengejar OpenAI. Tetapi ketika Anda benar-benar melakukan ini, Anda akan benar-benar menemukan jarak dan jalurnya.
Wang Xiaochuan:
Ya, jangan terlalu pemujaan.
Saya ingat setelah AlphaGo pada tahun 2016, saya menyebutkan dua poin saat itu: Pertama, jika (AI) dapat memprediksi frame video berikutnya, itu adalah kedatangan AGI.
Tetapi itu berakhir setelah Anda selesai berbicara, dan Anda tidak memiliki kemampuan untuk melakukannya, Anda tidak memiliki motivasi, kemampuan, atau kondisi. Belakangan dikatakan bahwa jika mesin menguasai bahasa, maka kecerdasan buatan yang kuat juga akan datang. Sekarang verifikasi sebenarnya telah dimulai.
Jadi saya pikir kami sendiri memiliki banyak ide, dan kami tidak ketinggalan. Hanya saja waktu dan kondisinya belum matang. Ini seperti, seorang kepala sekolah mengatakan bahwa masalah ini dapat diselesaikan, Anda kepala sekolah, Anda tidak bermaksud menyalin pekerjaan rumah untuk Anda, bukan?
Yang lain mengatakan bahwa itu dapat diselesaikan, atau bahkan memberi Anda ide besar, saya pikir kita bisa melakukannya sendiri, dan kita tidak perlu menatap pekerjaan rumah orang lain dan menyalinnya.
** Zhang Peng: **
Jadi kesenangan Anda yang sebenarnya di sini bukanlah untuk menyadari dan mereproduksi orang lain, tetapi untuk menjelajahi beberapa hal yang belum ditangkap semua orang di tanah tak bertuan ini.
Wang Xiaochuan:
Ya, saya pikir kali ini saya memiliki kesempatan untuk memimpin di beberapa daerah.
** Zhang Peng: **
Ada kemungkinan seperti itu, jadi China dan Amerika Serikat, Baichuan dan OpenAI, mungkin ceritanya tidak sama.
Wang Xiaochuan:
Memang akan berbeda. China dan Amerika Serikat bukanlah sebuah sistem, sistem, atau budaya, jadi apa yang tumbuh pada akhirnya, apakah itu masalah teknis atau masalah aplikasi, akan berbeda.
Pekerjaan utama: mengobrol dengan rekan kerja, Baichuan Intelligent baru saja menembus 100 orang
** Zhang Peng: **
Bagaimana Anda mengatur pekerjaan Anda yang biasa? Bagaimana Anda mengalokasikan waktu Anda? Banyak orang mengatakan bahwa daya komputasi itu penting dan bakat itu penting, tetapi menurut saya hanya mereka yang benar-benar memulai bisnis yang tahu apa yang paling penting. Jadi saya hanya ingin bertanya di mana Anda menghabiskan waktu paling banyak?
Wang Xiaochuan:
Apa yang saya habiskan sebagian besar waktu saya sekarang adalah mengobrol dengan rekan-rekan kami.
Zhang Peng:
mengobrol?
Wang Xiaochuan:
Ya, selama proses chatting sebenarnya adalah proses pembentukan konsensus secara terus menerus, yaitu mengumpulkan kognisi, nutrisi, dan informasi eksternal setiap orang agar setiap orang dapat membentuk otak yang sama.
Karena kita tahu bahwa Top-Down mungkin tersesat. Misalnya, mengapa Google tidak membuatnya? Ketika kantor pusat Google pertama selesai, ia mengalami kelembaman. Data tidak dapat diperoleh, biaya akan meningkat setelah online, dan tidak akan ada manfaat khusus bagi pengguna, sehingga ada dilema untuk memulai bisnis.
Dalam kasus Google Brain, itu adalah Button-Up. Para penelitinya sangat bebas dan dapat melakukan apa pun yang mereka inginkan, atau bergabung, sehingga banyak dari mereka yang benar-benar telah melihat model besar, tetapi mereka tidak dapat berkonsentrasi untuk melakukannya, karena kekuatannya tersebar. Kemudian Deepmind adalah top-down, apa yang diminta perusahaan, dan apa yang dilakukan semua orang. Itu telah melakukan AlphaGo, AlphaZero, AlphaFold, dan sekarang bergerak menuju energi hidrogen, fusi nuklir, dan komputasi kuantum, tetapi jauh dari kebanyakan dari mereka.
Nyatanya, Top-Down dan Button-Up saat ini disebut "naik dan turun dengan keinginan yang sama", sehingga setiap orang dapat sepenuhnya menyelaraskan dari cita-cita ini ke teknologi dan kognisi, dan menjadi satu hal. Jadi menurut saya lebih banyak komunikasi setiap hari dengan Anda akan menjadikan Anda otak, yang merupakan pekerjaan terpenting saya.
Zhang Peng:
Hmm menarik. Oleh karena itu, jika sebuah tim kecil mengerahkan energi terbesarnya, setiap orang dapat berbagi suka dan duka yang sama, serta keinginan dan keinginan yang sama.
Wang Xiaochuan:
Ini sangat penting, kita tidak akan berbicara tentang organisasi dan manajemen hari ini, tetapi kita akan menjadi seperti satu orang. Baichuan sekarang memiliki 100 orang, dan baru mencapai 100 orang kemarin.
Perubahan kepercayaan, kemajuan Baichuan lebih cepat dari yang diharapkan
Zhang Peng:
Dalam beberapa bulan terakhir, Anda telah mengabdikan diri pada pemodelan skala besar, antusiasme Anda tidak berubah, tetapi apakah kepercayaan diri Anda telah berubah? Apakah lebih sulit dari yang Anda harapkan di awal? Masih sesuai dengan harapan Anda?
Wang Xiaochuan:
Jika saya jujur, dari lubuk hati saya, saya pikir itu lebih mudah dari yang saya kira.
Harapannya adalah Anda tahu banyak (kesulitan) di awal, bertahun-tahun akumulasi di luar negeri, daya komputasi, server... Namun saat Anda bekerja dengan kolega Anda, saat semua orang bekerja sama, kemajuan dan kecepatan aktual kami lebih cepat dari yang diharapkan.
Ternyata kami berharap untuk merilis model 50 miliar di Q3, dan kemudian merilis model 175 miliar di Q4.
Namun nyatanya, hal-hal tersebut tidak akan berubah, namun dalam prosesnya, kecepatan progres aplikasi dan kecepatan model open source jauh lebih cepat dari yang diharapkan.
Dan juga lebih cepat, hari ini kami dapat mulai mengatakan, tidak hanya menjadi yang terbaik di rumah, tetapi juga open source di panggung internasional.
Sumber terbuka sangat sederhana, semua orang dapat menggunakannya untuk kepentingan mereka sendiri, ini bukan sesuatu yang Anda banggakan. Usai pembukaan, kami yakin bisa mendapatkan posisi yang sangat bagus di pentas internasional.
** Zhang Peng: **
Jadi sebelum melompat ke air, saya khawatir tidak mengetahui kedalamannya, tetapi ketika saya benar-benar melompat, saya menemukan bahwa saya benar-benar dapat menginjaknya hingga ke dasar, jadi saya merasa jauh lebih nyaman? Apakah itu benar-benar sederhana?
Wang Xiaochuan:
Bagilah orang.
Saya orang yang relatif berhati-hati, saya masih menonton, dan kemudian Lianchuang kami menendang saya dan berkata untuk mulai melakukannya. Lalu saya berkata oke, mengumumkan akhir dan mulai bekerja. Kalau tidak, mungkin nanti sebelum Anda merasa siap. Tetapi begitu Anda keluar dari lapangan, Anda akan menemukan bahwa Anda akan berlari lebih cepat dari yang Anda kira.
Setelah hiruk pikuk, perkembangan teknologi belakangan ini memprihatinkan
** Zhang Peng: **
Apakah Anda memperhatikan kemajuan teknis model besar baru-baru ini? Makalah mana yang membuat Anda bersemangat?
Wang Xiaochuan:
Pertama, membaca makalah saja sebenarnya tidak penting hari ini. Anda tidak bisa menyelesaikannya.
Dasar-dasarnya adalah hal-hal itu. Dan hari ini OpenAI telah berhenti mengirimkan makalah bagus. Makalah yang dikirim adalah semua kertas dengan sedikit informasi, dan panennya terbatas.
Pada saat yang sama, karena setiap orang telah memasuki kegilaan (keadaan) sebelumnya, kami menyebutnya "menjalani hari seperti setahun", dan sepertinya setahun (kemajuan teknologi) setiap hari.
** Zhang Peng: **
Hari terasa seperti tahun karena berjalan cepat.
Wang Xiaochuan:
Ya, tidak membosankan. Ada begitu banyak hal baru setiap hari. Saraf setiap orang telah distimulasi ke titik tertinggi, dan mereka sedikit lemah.
Karena itu, ada beberapa kemajuan teknologi baru-baru ini, yang menurut saya sangat kuat.
Salah satunya, sekitar seminggu yang lalu, OpenAI meluncurkan juru kode, yang merupakan terobosan besar, tetapi tampaknya tidak ada babak baru kegilaan media di China.
Semua orang telah menikmati kegilaan sebelumnya, tetapi kali ini, kemajuan, juru kode, menurut saya media tidak cukup memperhatikan dan melaporkannya.
Dan peningkatan kecil kemarin, sesuaikan instruksi Anda sendiri.
Ini menyatakan bahwa itu dimulai dari model LLM ke Agen.
Ini akan menjelaskan "Siapa saya dan apa karakteristik saya?" Peran seperti apa yang akan dimainkan oleh model besar Anda dan apa karakteristiknya? Membentuk hubungan seperti itu bergantung pada apakah modelnya adalah Agen (dari sudut pandang).
Kedua area ini tidak cukup untuk diperhatikan dan dilaporkan semua orang hari ini.
Keputusan untuk memulai bisnis akhirnya menunggu sampai tanah tak bertuan "cocok untuk Xiaochuan"
** Zhang Peng: **
Pertanyaan terakhir, Anda baru saja menyebutkan bahwa Anda "ditendang" ke dalam situasi kewirausahaan ini. Saya juga tahu bahwa Anda telah menjadi fanatik AI sejak masa AlphaGo.
Pada akhirnya, Anda memutuskan untuk menjadi pengusaha di bidang AGI dan model skala besar Baik itu Lao Wang (Huiwen) atau gelombang di China, bagaimana mereka memengaruhi pengambilan keputusan Anda? Setelah melalui proses seperti itu, perubahan apa yang terjadi di dalam hati Anda?
Wang Xiaochuan:
Perjalanan mental sebenarnya cukup panjang.
Di masa Sogou, ke tahap selanjutnya. Pertama, kami melewatkan mesin rekomendasi dan membuat aliansi strategis dengan Tencent. Dalam hal ini, tanpa terobosan teknologi baru, pengembangannya sangat terbatas. Saat Sogou bergabung dengan Tencent, saya menantang hal yang lebih menarik, yaitu mengubah kehidupan menjadi model matematika. Seperti yang kami katakan, Newton mengubah fisika menjadi model matematika.
Di platform Geek Park sebelumnya, saya berbicara tentang belajar dari kehidupan.
apa itu hidup Ini adalah sesuatu yang telah saya pikirkan selama 20 tahun.
Bagaimana mengubah kehidupan menjadi model matematika? Inilah yang saya pedulikan. Bahkan dalam studi pengobatan Cina, bagaimana mengubah kehidupan menjadi model matematika, (kemudian) ditemukan bahwa jalan ini mungkin tidak mulus.
Saya sangat tertarik dengan bagaimana membuat terobosan baru di bidang kedokteran dalam paradigma ilmiah. Saya membaca lebih banyak makalah medis daripada membaca makalah komputer, saya membaca ribuan makalah medis.
Apa yang terjadi dalam 21 tahun? Dalam 21 tahun, model besar mulai memiliki beberapa peluang. Saat itu, kami membuat model puluhan miliar untuk menyelesaikan masalah mengubah pencarian menjadi pertanyaan dan jawaban.
Padahal, sebelum melakukan metode input, saya sudah terlibat dalam "memprediksi apa yang ingin dikatakan kata berikutnya", lalu bagaimana menulis ulang, pencarian berubah menjadi tanya jawab. Sebenarnya pintunya disentuh, tapi belum ada terobosan teknologi saat itu.
Jadi tahukah Anda bahwa saya sangat tertarik untuk mengubah kehidupan menjadi model matematika, jadi setelah kedatangan model besar, pikiran pertama saya adalah tidak membuat model besar, saya ingin bertanya, apakah mungkin membangun Health ChatGPT di bidang kehidupan saat ini? GPT sehat, dokter digital?
** Zhang Peng: **
Anda berpikir dari perspektif pemecahan masalah yang diterapkan.
Wang Xiaochuan:
Ya, memikirkannya. Lalu saya berpikir, jika Anda membuat model vertikal hari ini, mungkin akan terbunuh oleh model besar. Kecerdasan umum membunuh kecerdasan khusus, bukan?
Namun dalam kasus ini, kami menemukan bahwa tidak cukup hanya melakukan satu jenis HealthGPT, atau dokter digital saja.
Pada akhirnya, masih perlu membuat model yang besar.
(Keputusan untuk membuat model skala besar pada tahap selanjutnya) kembali dari lingkaran seperti itu, bukan karena saya pikir saya telah menumpuk sebelumnya.
Tetapi ketika kami membuat model besar, kami menemukan bahwa (akumulasi sebelumnya) cukup relevan, seperti pemrosesan terkait bahasa.
Bahkan yang paling ekstrem, ChatGPT adalah yang ketiga yang membuat model bahasa menjadi aplikasi super. Dua yang pertama, satu pencarian dan satu metode input.
Zhang Peng:
Saya merasa Anda tidak melakukan ini juga, maaf untuk dua hal yang Anda lakukan sebelumnya.
Wang Xiaochuan:
Ya, jadi saya menemukan bahwa akumulasi sebelumnya sangat berguna hari ini, yang tidak saya duga sebelumnya.
Jadi saya sangat emosional, Tuhan sangat baik kepada Anda dan memberi Anda kesempatan. Di akhir pencarian, ada kesempatan lain untuk menggunakan pengalaman sebelumnya untuk melakukan sesuatu yang sebelumnya tidak dapat dilakukan.
Sekarang, tidak ada yang mengatakan "Xiaochuan cocok untuk pencarian", tetapi semua orang mengatakan "Baichuan cocok untuk model berskala besar" Bagi saya, ini adalah hal yang sangat beruntung.
Zhang Peng:
Inilah mengapa Anda memutuskan untuk melakukannya sejak awal.
Setelah beberapa bulan sekarang, semua orang mungkin merasa sulit.OpenAI belum menjadi perusahaan yang sangat menguntungkan, dan banyak orang di Silicon Valley mempertanyakan model bisnisnya. Jadi model besar akan memberi tekanan pada pengusaha dalam aspek ini.Apakah Anda merasakan tekanan ini?
Wang Xiaochuan:
Saya semua hiper.
Karena saya dulu bekerja di bawah bayang-bayang Baidu, tetapi sekarang ini bukan tanah bertuan Bagi saya, inilah yang ingin saya lakukan, daripada mengatakan bahwa ada pemimpin di depan saya, dan kemudian Anda mengikuti. Bagi saya, ini yang saya suka, eksplorasi baru.
** Zhang Peng: **
Terima kasih khusus kepada Xiaochuan untuk berbagi dengan kami hari ini, dan selamat karena akhirnya mengantar Anda ke tanah tak bertuan. Saya berharap dapat melihat pemandangan yang lebih indah di sini. Tepuk tangan didedikasikan untuk Xiaochuan, ayolah!
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Baichuan Intelligent Wang Xiaochuan: Setelah 100 hari memulai bisnis dengan model besar, saya telah memastikan bahwa saya telah menemukan "tanah tak bertuan" saya
**Sumber:**FounderPark
Pada bulan April, Wang Xiaochuan mengumumkan kematiannya dan mendirikan perusahaan model berskala besar "Baichuan Smart".
Pada bulan Juni, Baichuan Intelligent merilis model besar open source 7 miliar parameter, Baichuan-7B.
Pada bulan Juli, Baichuan Intelligent merilis model besar sumber terbuka 13 miliar parameter, Baichuan-13B.
Kedua model telah berkinerja baik dalam berbagai evaluasi, dan juga telah diakui oleh banyak pengguna di dalam dan luar negeri.
"Sumber terbuka sangat sederhana, semua orang dapat menggunakannya untuk kepentingan mereka sendiri, ini bukan sesuatu yang Anda banggakan."
Dia bergerak cepat, lebih cepat dari yang dipikirkan kebanyakan orang. Bahkan dia sendiri terkejut: kemajuannya akan jauh lebih cepat dari yang diharapkan setelah mulai melakukannya.
Pada konferensi AGI Playground, Wang Xiaochuan mengungkapkan bahwa kemampuan model open source BCI pasti akan melampaui Llama 2. Menurut rencana, Baichuan Intelligent akan merilis puluhan miliar dan ratusan miliar model besar sumber tertutup di masa mendatang.
Beberapa bulan yang lalu, Wang Xiaochuan ingin "menjadi OpenAI China" di berita utama berbagai media.
Ini adalah slogan yang senang didengar publik, tetapi mungkin bukan deskripsi yang akurat.
Apa sebenarnya yang ingin dilakukan Wang Xiaochuan? Apa yang akan dia lakukan? Setelah tiga bulan berlatih dan mencapai hasil awal, apa pemahaman langsungnya tentang kewirausahaan di era model berskala besar?
Sumber terbuka, apa yang tidak dilakukan OpenAI
Zhang Peng:
Yang paling menarik bagi Anda adalah Anda bergerak sangat cepat setelah memulai bisnis, dan merilis dua model: satu 7B dan satu 13B, dan umpan baliknya sangat bagus.
Semua orang sangat penasaran, karena pada awalnya mereka mengira Anda akan menjadi OpenAI China, tetapi melihat bahwa Anda telah membuat hal-hal open source, apakah open source merupakan tahap teknologi, atau apakah itu sendiri merupakan model baru untuk pemikiran Anda di masa depan?
Wang Xiaochuan:
Open source, menurut kami ini adalah tahap teknis, pada kenyataannya, menjadi OpenAI China tidak berarti menyalin jalur lengkapnya. Saat berkomunikasi dengan OpenAI di Silicon Valley, idealnya mereka telah melangkah sangat jauh, misalnya saat mereka melakukan GPT-4 sekarang, mereka membutuhkan lebih dari 20.000 kartu untuk melakukan perhitungan, dan mereka belum pernah melihat skala sebesar ini di China.
Mereka dengan bangga mengatakan bahwa mereka sedang merancang model komputasi yang menghubungkan 10 juta GPU secara bersamaan.
Apa konsep 10 juta kartu? Output tahunan Nvidia adalah 1 juta. 10 juta eksemplar adalah rencana yang bisa pergi ke bulan (moonshot).
Selain itu, dalam hal cara membuat aplikasi, produk, dan bahkan beberapa teknologi yang lebih luas, ini mungkin kekurangan OpenAI, atau mungkin sesuatu yang tidak terlalu mereka pedulikan sekarang.
Jadi melakukan OpenAI di China akan sangat berbeda dengan lingkungan ekologis di Amerika Serikat.
Setelah rilis open source Llama 2 baru-baru ini, hal itu menyebabkan kegilaan di China, semua orang merasa bahwa itu akan mengubah lanskap lagi, yang gagal dilakukan oleh OpenAI. Sayang sekali hal ini tidak dilakukan oleh Google, melainkan oleh Facebook (Meta), dan Google terus absen. Tetapi di China, kami telah melihat masalah ini sebelumnya, dan kami yakin bahwa open source dan closed source akan memiliki keadaan paralel di masa mendatang.
** Zhang Peng: **
Sumber terbuka dan sumber tertutup akan berada dalam keadaan paralel.
Wang Xiaochuan:
Paralelisme sedikit mirip dengan sistem Apple dan sistem Android saat ini. Bahkan ketika lebih banyak perusahaan ingin berpartisipasi, tidak cukup hanya menggunakan panggilan API sumber tertutup Model sumber terbuka ini juga perlu menyediakan 80% layanan, dan akhirnya mengandalkan layanan sumber tertutup untuk menyediakan layanan bagi semua orang, dan 20% sisanya akan memiliki banyak permintaan sumber terbuka. Amerika Serikat tidak memilikinya sebelumnya, dan China tidak memiliki model serupa. Oleh karena itu, begitu Llama diumumkan, itu akan menjadi kejutan besar bagi Amerika Serikat, tetapi ada juga ledakan di China. Faktanya, evaluasi teknis yang serius mencakup beberapa evaluasi arus utama seperti SuperClue, serta perbandingan antara beberapa pabrikan dan perusahaan besar.Jika Llama dibandingkan dengan Baichuan, jelas bahwa kualitas kami di bidang China jauh lebih unggul daripada Llama.
Di bidang model open source di China, seperti industri ponsel kita, Amerika Serikat digunakan pada awalnya, dan kemudian menyusul dengan sendirinya.
** Zhang Peng: **
Apakah menurut Anda Llama 2 sangat panas akhir-akhir ini, Baichuan akan lebih baik dari mereka?
Wang Xiaochuan:
Llama adalah Llama 1 dan 2.
Pertama-tama, kami merilis model parameter 7B pertama pada bulan Juni tahun ini, dan merilis model parameter 13B pada bulan Juli. Di antara indikator dalam bahasa Inggris, indikator yang paling penting adalah MMLU (Massive Multitask Language Understanding) Indikator kunci ini, dua model kami lebih baik daripada Llama (1), dan jauh lebih unggul dalam bahasa Cina.
Kami tahu bahwa pemrosesan bahasa Mandarin Llama sebenarnya tidak memadai. Dibandingkan dengan Llama (1), bahasa Inggris Baichuan sebagian dapat menyamai tolok ukur, dan indikator utama terlampaui, dan bahasa Mandarin jelas lebih baik. Banyak orang mengubah Llama menjadi bahasa Mandarin, tetapi masih tidak semudah menggunakan Baichuan lokal.
Setelah rilis Llama 2, kita juga bisa melihat laporan teknisnya, yang memuat sekitar 9 poin inovasi teknis, 6 di antaranya telah dicapai dalam model yang sedang kita kembangkan.
Dibandingkan dengan model domestik lainnya, pemikiran kami di sini adalah yang paling dekat saat ini. Kami telah melakukan 6 poin, dan kemudian kami tidak mengharapkan 2 poin, dan kami memiliki satu yang tidak valid. Oleh karena itu, jika dibandingkan dengan Llama2, pemikiran teknis kami bukan hanya plagiarisme, tetapi kami memiliki pemikiran kami sendiri. Kami pikir akan ada peluang kami di masa depan di jalan ini.
Hari ini saya juga mengimbau semua orang di China untuk tidak hanya berpikir bahwa negara asing itu bagus ketika mereka menggunakannya. OpenAI memang semakin jauh sekarang. Butuh waktu untuk mencapai GPT-3.5 atau mendekati level tersebut pada akhir tahun, tetapi kami sudah sangat dekat dalam model open source.
Jadi model open source Anda berikutnya, apakah menurut Anda akan lebih baik daripada Llama 2?
Wang Xiaochuan:
Setidaknya dalam bahasa Cina. Di bidang bahasa Cina, sekarang sudah terlampaui. Langkah selanjutnya adalah membuat suara China di bidang open source pasar global.
** Zhang Peng: **
Bahasa Inggris dan Cina harus lebih baik daripada Llama2, ini terlihat dan dapat dicapai untuk Anda.
Wang Xiaochuan:
Saya pikir ada kemungkinan hal itu bisa terjadi di masa mendatang.
Zhang Peng:
Jadi sudut pandang Anda adalah: hari ini kami tidak bisa begitu saja mengatakan bahwa model besar masa depan kami adalah bergerak menuju OpenAI—model terpusat sumber tertutup. Open source sebenarnya memiliki kemungkinan besar. Jadi itu berarti bahwa di satu sisi itu adalah untuk mempraktikkan teknologi dan menunjukkan kemampuan teknis, tetapi itu mungkin mengandung model dan nilai bisnis.
Pada saat yang sama, atas dasar open source, masih merupakan sesuatu yang dapat dinantikan oleh orang-orang China dalam membuat model China terbaik di dunia.
Wang Xiaochuan:
Itu meringkasnya dengan cukup akurat.
Apakah pengalaman penelusuran merupakan inersia yang buruk, atau aset yang bagus?
Zhang Peng:
Di masa lalu, banyak investor percaya bahwa menggunakan pengalaman penelusuran untuk membuat model skala besar pasti tidak akan berhasil. Setelah latihan berbulan-bulan ini, apakah Anda memverifikasi penilaian awal Anda yang berbeda dari mereka? Bagaimana akumulasi dan kemampuan penelusuran berkontribusi pada model yang lebih besar?
Wang Xiaochuan:
Karena pencapaian (AI) hari ini dicapai oleh OpenAI, tetapi Google tidak, pemikiran pertama investor adalah bahwa teknologi baru ini adalah kebalikan dari pencarian. Sulit bagi mereka untuk membedakan apakah alasannya adalah teknologi atau manajemen organisasi.
Alasan untuk jenis suara ini adalah karena seseorang tidak memahami hubungan antara teknologi pencarian dan AI, dan yang kedua adalah kognisi latar belakang pencarian akan membawa efek negatif.
Karena perusahaan pencarian sebagian besar adalah Baidu dan Google, mereka tidak memerlukan pembiayaan eksternal, dan mereka tidak memberi tahu investor apa itu pencarian. Secara khusus, gelombang terakhir ledakan AI sebagian besar disebabkan oleh gambar, dan semua orang tidak terbiasa dengan konotasi teknis seperti NLP dalam penelusuran.
Dari segi hasil, kami merilis model pertama pada bulan Juni. Seorang pesaing memberi tahu investor paling awal bahwa Baichuan akan membutuhkan waktu setengah tahun untuk memproduksi model pertama.Padahal, kami hanya membutuhkan 1/3 dari waktu untuk menyelesaikannya, dan kemudian merilis model kedua. Dan dalam waktu dekat, kami akan merilis model sumber tertutup.
Baichuan telah dikembangkan sendiri sejak hari pertama, dan awal yang dingin sangat, sangat cepat. apa alasan dibalik ini?
Hari ini kita tahu bahwa data berkualitas tinggi adalah dasar dari model besar, jadi perusahaan mana yang memiliki pemahaman luas tentang data bahasa? Faktanya, perusahaan pencari telah bekerja selama 20 tahun, memikirkan cara menemukan data berkualitas tinggi setiap hari. Misalnya, pertama-tama temukan 100 situs web berkualitas tinggi dari 1 triliun halaman web, lalu lakukan analisis halaman, termasuk ekstraksi informasi, deduplikasi, antispam, dan bahkan ekstrak konten berdasarkan tingkat paragraf.
Sogou, Baidu, dan Google telah melakukan pekerjaan semacam ini sejak lama.
Poin kedua adalah bahwa dalam hal kumpulan bakat, kemampuan algoritmik dan kemampuan teknik harus difokuskan pada kemampuan pencarian.Orang-orang seperti itu pada dasarnya juga mencari perusahaan. Sekarang ByteDance menggunakan tim pencarian untuk membuat model, dan kemajuan Baidu juga sangat cepat, termasuk model yang dibuat oleh Shen Xiangyang juga dibuat oleh VP Bing di masa lalu.
Hal lain untuk membuat model besar adalah evaluasi. Mengevaluasi apakah model besar itu baik atau tidak sebenarnya merupakan masalah yang menyakitkan, termasuk pertanyaan tentang penalaran, pertanyaan-dan-jawaban yang akurat, dan kreasi... Beberapa menjadi lebih baik, dan beberapa menjadi lebih buruk Bagaimana cara mengevaluasi? Oleh karena itu, sistem evaluasi ini juga merupakan kemampuan yang telah lama dikumpulkan oleh perusahaan pencarian, menggunakan evaluasi untuk mendorong iterasi algoritme berikutnya.
Selain itu, efisiensi organisasi perusahaan rintisan jauh lebih tinggi daripada pabrik besar, dengan sistem pengambilan keputusan yang sangat fleksibel, semua efisiensi akan dimaksimalkan.
Zhang Peng:
Jadi, apakah Anda berbicara dengan investor yang berpendapat bahwa penelusuran tidak cukup baik untuk model besar?
Wang Xiaochuan:
Namanya ditandai dengan salib dan dihapus, dan saya tidak tahu siapa itu. Investor yang hanya melihat bisnis tetapi bukan teknologi, dan mereka yang terutama menyukai daging segar kecil yang kembali dari Amerika Serikat untuk memulai bisnis, investor ini hanya menariknya dan tidak membicarakannya.
Wang Tua benar, "Inovasi kecil bergantung pada pabrik besar, dan inovasi besar bergantung pada pabrik kecil"
Zhang Peng:
Apakah menurut Anda pengusaha akan memiliki peluang yang cukup dalam gelombang perubahan teknologi ini di masa depan? Atau apakah tubuh utama masih dikendalikan oleh raksasa? Bagaimana pengusaha dapat memanfaatkan peluang mereka sendiri?
Wang Xiaochuan:
Meskipun Wang Huiwen tidak tahu banyak tentang teknologi, menurut saya dia mengatakan sesuatu yang sangat benar: inovasi kecil bergantung pada pabrik kecil, dan inovasi besar bergantung pada pabrik besar.
Meskipun pabrik besar memiliki banyak keunggulan dalam hal orang, uang, dan sumber daya, akan ada banyak masalah internal setelah organisasi tumbuh, dan efisiensi organisasi sangat terbatas.
Jika kita sangat yakin bahwa kedatangan AGI, maka akan terjadi ledakan besar spesies baru. Hal-hal ini memiliki peluang besar bagi startup untuk bekerja. Ini bisa dibuktikan dari deduksi sejarah, jadi selama ada AGI, akan ada peluang baru di masa depan.
Di mana kesulitan di tengah?
OpenAI adalah perusahaan berorientasi penelitian yang mengimplementasikan produk di dunia nyata. Anda mengikutinya, dan bidang penelitian bisa memiliki prestasi yang sangat mempesona. Tetapi bagaimana menerapkannya hari ini, baik OpenAI maupun perusahaan berbasis teknologi di Silicon Valley sangat ahli dalam hal ini. Saya yakin China jauh lebih baik daripada Amerika Serikat dalam hal implementasi aplikasi.
Seluruh dunia telah mencapai titik balik, dan sekarang teknologinya ada, ini adalah kesulitan pertama. Aplikasi dan persyaratan adalah kesulitan kedua, yang disebut layanan model (model service). Jadi tantangannya sekarang adalah, nomor satu, apakah Anda punya modelnya? Kedua, apakah memiliki model berarti memiliki layanan?
Zhang Peng:
Apakah menjual API adalah layanan?
Wang Xiaochuan:
Saya kira tidak demikian.
Sepertinya Anda memiliki teknologi tanpa pengemudi, tetapi bisakah Anda benar-benar membuat mobil? Tentu saja tidak. Itu juga membutuhkan perpaduan banyak teknologi.
Sekarang Amerika Serikat relatif bingung tentang lapisan aplikasi, dan masalah China saat ini adalah kurangnya kemampuan model. Saat ini, banyak perusahaan pemula yang membuat model juga membatasi perspektif mereka pada model besar, dan tidak tahu banyak tentang kumpulan teknologi lainnya.
Izinkan saya memberi Anda contoh paling sederhana, saat membuat model, Anda pasti akan menemui halusinasi dan ketepatan waktu. Baik halusinasi maupun ketepatan waktu dapat diselesaikan dengan model besar itu sendiri. Beberapa orang memecahkan ilusi dengan memperluas parameter menjadi triliunan dan puluhan triliun; atau menggunakan pembelajaran penguatan. Namun nyatanya, cara paling langsung adalah dengan membawa pencarian dan pencarian informasi ke dalamnya. Kombinasi model besar dan ini dapat membentuk tumpukan teknologi yang lebih lengkap.
Setelah teknologi ini diusulkan, itu sudah menjadi pertanda kecil. Misalnya, ada sesuatu yang disebut database vektor, yang sebenarnya merupakan pencarian fleksibel dan terutama digunakan di toB.
Dari segi pencarian, setelah teknologi Transformer diperkenalkan pada tahun 2018, sudah memiliki kemampuan pencarian semantik. Anda mungkin pernah mendengar tentang indeks terbalik, yaitu mengindeks jaringan simbolik ini.
Setelah 2018, baik kita, Baidu atau vektor byte telah beralih ke pencarian semantik, di balik teknologi ini terdapat tiga database vektor besar. Kombinasi tumpukan teknologi ini dan model besar dapat membuat model besar berkembang lebih jauh. Seperti yang Anda lihat, pengalaman tim pencari memiliki kelebihan untuk membuat model.
Aspek kedua adalah teknologi model skala besar secara bertahap menjadi praktis. Kemudian dalam apa yang disebut komputasi pengetahuan, database vektor dan pencarian perlu ditambahkan untuk membentuk teknologi dan produk yang lebih lengkap. Mengenai masalah ini, setiap orang secara bertahap membentuk konsensus.
Berbicara tentang trafik ChatGPT saat ini, semua orang mulai khawatir apakah bisa terus meledak.
Jadi masih perlu eksplorasi lebih lanjut.
Kami percaya bahwa dalam industri hiburan, role-playing memiliki prospek yang luas, namun hal ini membutuhkan masuknya perusahaan China untuk berbuat lebih baik.
Hal lain adalah bagaimana menggabungkan model besar dan pencarian. Perplexity AI bekerja dengan sangat baik sekarang, tetapi kami berada dalam posisi pasif. Jika Amerika Serikat memiliki peluang, investor akan mencari perusahaan pembanding China.
Jika perusahaan ini tidak memiliki model besar, itu hanya memanggil API; kedua, tidak memiliki teknologi pencarian dan hanya dapat mengandalkan teknologi perusahaan seperti Google dan Bing, yang tidak ideal.
Zhang Peng:
Tadi Anda mengatakan bahwa jumlah pengguna seperti ChatGPT menurun, yang membuat semua orang merasa bahwa paradigma baru mungkin tidak dapat menembus sekaligus. Apakah ini tantangan besar bagi pengusaha untuk membuat aplikasi?
Karena menurut apa yang baru saja Anda katakan, di lingkungan dengan teknologi yang belum matang, biaya eksplorasi kewirausahaan sangat tinggi. Dan jika pengusaha hanya menggunakan API orang lain sebagai perubahan paradigma aplikasi, itu tidak terlalu menarik.
Wang Xiaochuan:
Dua hari yang lalu, OpenAI baru saja memutakhirkan juru kode, lalu memutakhirkan instruksi khusus. Bagi perusahaan pemula, ada tekanan yang luar biasa.
Investor Amerika juga khawatir apakah masih ada peluang bagi perusahaan baru untuk melampaui raksasa di tengah kecemasan, dan apakah mereka akan digantikan oleh perusahaan besar setelah setengah dari pekerjaan mereka.
Di China, menurut saya tidak ada perusahaan top seperti OpenAI yang mengambil rute model skala besar. Itu masih dalam tahap "Perang Seratus Model". Saat ini, apakah perusahaan yang membuat model berskala besar memiliki kemampuan untuk membuat aplikasi adalah masalah yang harus banyak diawasi China di Amerika Serikat.
Mengejar GPT-4? Berbahaya untuk membabi buta mengejar model perbaikan antargenerasi
Zhang Peng:
Ini juga menimbulkan pertanyaan tentang siapa di China yang akan mengejar GPT-3.5, atau bahkan GPT-4
Ada juga suara lain yang mengatakan bahwa GPT-3 cukup bagi perusahaan untuk menyelesaikan beberapa masalah pemandangan vertikal.
Saya merasa Xiaochuan dan Anda masih berkomitmen untuk mengejar GPT-3.5 dan GPT-4. Apakah proses pengejaran ini sulit? Mengapa Anda mengatakan bahwa Anda harus mengejar level GPT-4?
Wang Xiaochuan:
Saya pikir itu dua hal.
Yang pertama adalah kemajuan teknologi antar generasi, yang mungkin berdampak buruk pada ekologi produk selanjutnya. Tidak masalah dari sudut pandang ideal, bayangkan masa depan yang jauh dari jangkauan, seperti tiga, empat, lima generasi jet tempur, di mana setiap generasi dapat memainkan peran penting. Jadi saat ini, setiap orang harus berusaha mencari keuntungan di bidang yang sangat kompetitif.
Namun, dalam proses persaingan untuk mendapatkan keuntungan, setiap orang mungkin menghadapi kebingungan baru: Pada generasi berapa kita dapat benar-benar mewujudkan aplikasi super? GPT-3.5 belum membentuk aplikasi super di Amerika Serikat, dan dibutuhkan sekitar 50 juta yuan untuk sekali pelatihan, yang tidak termasuk biaya persiapan awal dan eksperimen. Pelatihan GPT-4 mungkin menelan biaya 500 juta RMB sekali. Dengan generasi GPT-4.5, biayanya bisa mencapai $500 juta.
Oleh karena itu, jika tidak ada aplikasi super, sangat berbahaya jika hanya mengejar peningkatan teknologi. Oleh karena itu, kita perlu mengejar peningkatan kemampuan teknis generasi keempat dan generasi kelima di bidang ini secara bersamaan, dan pada saat yang sama memiliki aplikasi super. Jika tidak, kami tiba-tiba dapat menghadapi tekanan untuk memutakhirkan di dua front, yang keduanya perlu ditingkatkan pada saat yang sama agar berhasil.
Zhang Peng:
Oleh karena itu, setiap jenis teknologi gelombang harus mampu menghasilkan aplikasi yang bernilai.
Wang Xiaochuan:
Apa yang baru saja Anda katakan cukup benar.
GPT-3 pada dasarnya tersedia di sisi B, tapi menurut saya alasan mengapa tidak tersedia di sisi C adalah karena waktunya terlalu singkat.
Selain itu, semua orang terlalu fokus pada OpenAI, bukan perusahaan produk, atau perusahaan yang bisa membuat aplikasi super.
Mampu melakukan aplikasi super tidak hanya membutuhkan pengejaran teknis, tetapi juga pemahaman yang cukup tentang produk. Saya pikir akhir tahun adalah saat kebenaran akan terungkap.
"Xiaochuan cocok untuk membuat model besar" "Setelah 20 tahun mencari, tidak ada yang mengatakan bahwa saya cocok untuk melakukan pencarian"
** Zhang Peng: **
Apakah mungkin bagi semua orang untuk melebih-lebihkan OpenAI? Dengan kata lain, menurut kami OpenAI sulit dilampaui karena memiliki roda gila data. Bagaimana Anda memahami ini? Apakah roda gila data benar-benar ada?
Wang Xiaochuan:
Di awal tahun ini, saya berbicara tentang roda gila data, dan saya sangat panik saat itu. Permintaan pengguna diberikan kepadanya, ia tahu apa yang diinginkan pengguna, dan kemudian dapat meningkatkan model dengan lebih baik.
Sejauh ini, masalah ini tidak serius.
Misalnya, setelah peluncuran Llama 2, semua orang melihat bahwa pada tahap penyempurnaan, data harus disempurnakan dan lebih sedikit, daripada disempurnakan dan lebih banyak lagi.Sekarang setiap orang secara bertahap membentuk konsensus bahwa rahasia teknologi bukanlah pada roda gila, tetapi akumulasi teknologi dari waktu ke waktu.
Kekuatan teknis Anthropic, perusahaan seperti Claude's, juga meningkat pesat, dan OpenAI memiliki pengguna yang jauh lebih banyak daripadanya, yang juga membuktikan bahwa konsep roda gila data telah dipalsukan.
** Zhang Peng: **
Atau mungkin data yang sangat berharga di dalamnya tercermin dalam keterampilan berbicara dengan orang, saya ingat bahwa pada awalnya cara berbicaranya cukup "bodoh", tetapi sekarang terasa lebih manusiawi.
Wang Xiaochuan:
Hal ini tidak terasa banyak, dan lebih terletak pada kumpulan datanya.Tidak peduli di tahap pra-pelatihan atau di tahap penyempurnaan, bagaimana cara mendapatkan data berkualitas tinggi? Cara menjodohkan dan sebagainya, ini adalah kemampuan intinya. Secara khusus, saya mendengar mereka mengobrol bahwa di satu sisi, GPT-4 sedang melatih GPT-3.5 untuk membuat 3.5 bekerja lebih efisien, dan pada saat yang sama, GPT-4 digunakan untuk menghasilkan sebagian data yang diperlukan oleh GPT-5, dan mengoptimalkan proses iteratif. Iterasinya secara internal adalah untuk membuat layanan online menjadi lebih baik, dan pada saat yang sama menghasilkan beberapa data di masa mendatang, menurut saya ini adalah roda gila internal.
Zhang Peng:
Jadi jika Anda melihatnya dari perspektif Llama, dimungkinkan juga untuk menghadirkan model yang terus meningkatkan level teknis melalui open source. Namun dari perspektif OpenAI, mungkin ada cukup banyak pengguna dan data pada tahap tertentu.
Wang Xiaochuan:
Open source, closed source, dan aplikasi, nyatanya semua orang masih melakukannya hingga saat ini, dan masih dalam tahap ekspansi seperti halnya Amerika Serikat bagian barat.
Zhang Peng:
Jadi hari ini, untuk perusahaan pemula seperti Baichuan, tidak mudah untuk mengatakan bahwa saya hanya bekerja sama dengan arah tertentu, apakah saya ingin membuat strateginya tidak jelas, atau menyebutnya kaya kemungkinan, saya mungkin bertaruh pada dimensi ini.
Wang Xiaochuan:
Kanan. Kewirausahaan saya kali ini cukup menarik, banyak orang mengatakan bahwa Xiao Chuan sangat cocok untuk membuat model berskala besar, saya telah melakukan pencarian selama 20 tahun, dan tidak ada yang pernah mengatakan bahwa Xiao Chuan sangat cocok untuk melakukan pencarian.
Melakukan pencarian di China 3 tahun lebih lambat dari Baidu, mengejar ketinggalan seperti ini sangat sulit. Akumulasi dan pengalaman hari ini dilihat, dan tidak ada seorang pun di depannya. Sulit untuk berpikir, dan sudah terlambat beberapa tahun, tetapi hari ini bagi saya tampaknya ada peluang di mana-mana. Oleh karena itu, selama kami memiliki kemampuan yang cukup, kami dapat mewawancarai di sini di mana saja, dan lihat apakah kami dapat mengubah kesan asli Anda tentang Sogou hari ini.
Jangan menyembah secara membabi buta, China dan Amerika Serikat akan memiliki cerita AI yang berbeda
** Zhang Peng: **
Saya cukup tersentuh dengan apa yang Ogawa katakan. Anda akhirnya berdiri di tanah tak bertuan.
Mengenai model besar, banyak orang mungkin merasa perlu belajar dan mengejar OpenAI. Tetapi ketika Anda benar-benar melakukan ini, Anda akan benar-benar menemukan jarak dan jalurnya.
Wang Xiaochuan:
Ya, jangan terlalu pemujaan.
Saya ingat setelah AlphaGo pada tahun 2016, saya menyebutkan dua poin saat itu: Pertama, jika (AI) dapat memprediksi frame video berikutnya, itu adalah kedatangan AGI.
Tetapi itu berakhir setelah Anda selesai berbicara, dan Anda tidak memiliki kemampuan untuk melakukannya, Anda tidak memiliki motivasi, kemampuan, atau kondisi. Belakangan dikatakan bahwa jika mesin menguasai bahasa, maka kecerdasan buatan yang kuat juga akan datang. Sekarang verifikasi sebenarnya telah dimulai.
Jadi saya pikir kami sendiri memiliki banyak ide, dan kami tidak ketinggalan. Hanya saja waktu dan kondisinya belum matang. Ini seperti, seorang kepala sekolah mengatakan bahwa masalah ini dapat diselesaikan, Anda kepala sekolah, Anda tidak bermaksud menyalin pekerjaan rumah untuk Anda, bukan?
Yang lain mengatakan bahwa itu dapat diselesaikan, atau bahkan memberi Anda ide besar, saya pikir kita bisa melakukannya sendiri, dan kita tidak perlu menatap pekerjaan rumah orang lain dan menyalinnya.
** Zhang Peng: **
Jadi kesenangan Anda yang sebenarnya di sini bukanlah untuk menyadari dan mereproduksi orang lain, tetapi untuk menjelajahi beberapa hal yang belum ditangkap semua orang di tanah tak bertuan ini.
Wang Xiaochuan:
Ya, saya pikir kali ini saya memiliki kesempatan untuk memimpin di beberapa daerah.
** Zhang Peng: **
Ada kemungkinan seperti itu, jadi China dan Amerika Serikat, Baichuan dan OpenAI, mungkin ceritanya tidak sama.
Wang Xiaochuan:
Memang akan berbeda. China dan Amerika Serikat bukanlah sebuah sistem, sistem, atau budaya, jadi apa yang tumbuh pada akhirnya, apakah itu masalah teknis atau masalah aplikasi, akan berbeda.
Pekerjaan utama: mengobrol dengan rekan kerja, Baichuan Intelligent baru saja menembus 100 orang
** Zhang Peng: **
Bagaimana Anda mengatur pekerjaan Anda yang biasa? Bagaimana Anda mengalokasikan waktu Anda? Banyak orang mengatakan bahwa daya komputasi itu penting dan bakat itu penting, tetapi menurut saya hanya mereka yang benar-benar memulai bisnis yang tahu apa yang paling penting. Jadi saya hanya ingin bertanya di mana Anda menghabiskan waktu paling banyak?
Wang Xiaochuan:
Apa yang saya habiskan sebagian besar waktu saya sekarang adalah mengobrol dengan rekan-rekan kami.
Zhang Peng:
mengobrol?
Wang Xiaochuan:
Ya, selama proses chatting sebenarnya adalah proses pembentukan konsensus secara terus menerus, yaitu mengumpulkan kognisi, nutrisi, dan informasi eksternal setiap orang agar setiap orang dapat membentuk otak yang sama.
Karena kita tahu bahwa Top-Down mungkin tersesat. Misalnya, mengapa Google tidak membuatnya? Ketika kantor pusat Google pertama selesai, ia mengalami kelembaman. Data tidak dapat diperoleh, biaya akan meningkat setelah online, dan tidak akan ada manfaat khusus bagi pengguna, sehingga ada dilema untuk memulai bisnis.
Dalam kasus Google Brain, itu adalah Button-Up. Para penelitinya sangat bebas dan dapat melakukan apa pun yang mereka inginkan, atau bergabung, sehingga banyak dari mereka yang benar-benar telah melihat model besar, tetapi mereka tidak dapat berkonsentrasi untuk melakukannya, karena kekuatannya tersebar. Kemudian Deepmind adalah top-down, apa yang diminta perusahaan, dan apa yang dilakukan semua orang. Itu telah melakukan AlphaGo, AlphaZero, AlphaFold, dan sekarang bergerak menuju energi hidrogen, fusi nuklir, dan komputasi kuantum, tetapi jauh dari kebanyakan dari mereka.
Nyatanya, Top-Down dan Button-Up saat ini disebut "naik dan turun dengan keinginan yang sama", sehingga setiap orang dapat sepenuhnya menyelaraskan dari cita-cita ini ke teknologi dan kognisi, dan menjadi satu hal. Jadi menurut saya lebih banyak komunikasi setiap hari dengan Anda akan menjadikan Anda otak, yang merupakan pekerjaan terpenting saya.
Zhang Peng:
Hmm menarik. Oleh karena itu, jika sebuah tim kecil mengerahkan energi terbesarnya, setiap orang dapat berbagi suka dan duka yang sama, serta keinginan dan keinginan yang sama.
Wang Xiaochuan:
Ini sangat penting, kita tidak akan berbicara tentang organisasi dan manajemen hari ini, tetapi kita akan menjadi seperti satu orang. Baichuan sekarang memiliki 100 orang, dan baru mencapai 100 orang kemarin.
Perubahan kepercayaan, kemajuan Baichuan lebih cepat dari yang diharapkan
Zhang Peng:
Dalam beberapa bulan terakhir, Anda telah mengabdikan diri pada pemodelan skala besar, antusiasme Anda tidak berubah, tetapi apakah kepercayaan diri Anda telah berubah? Apakah lebih sulit dari yang Anda harapkan di awal? Masih sesuai dengan harapan Anda?
Wang Xiaochuan:
Jika saya jujur, dari lubuk hati saya, saya pikir itu lebih mudah dari yang saya kira.
Harapannya adalah Anda tahu banyak (kesulitan) di awal, bertahun-tahun akumulasi di luar negeri, daya komputasi, server... Namun saat Anda bekerja dengan kolega Anda, saat semua orang bekerja sama, kemajuan dan kecepatan aktual kami lebih cepat dari yang diharapkan.
Ternyata kami berharap untuk merilis model 50 miliar di Q3, dan kemudian merilis model 175 miliar di Q4.
Namun nyatanya, hal-hal tersebut tidak akan berubah, namun dalam prosesnya, kecepatan progres aplikasi dan kecepatan model open source jauh lebih cepat dari yang diharapkan.
Dan juga lebih cepat, hari ini kami dapat mulai mengatakan, tidak hanya menjadi yang terbaik di rumah, tetapi juga open source di panggung internasional.
Sumber terbuka sangat sederhana, semua orang dapat menggunakannya untuk kepentingan mereka sendiri, ini bukan sesuatu yang Anda banggakan. Usai pembukaan, kami yakin bisa mendapatkan posisi yang sangat bagus di pentas internasional.
** Zhang Peng: **
Jadi sebelum melompat ke air, saya khawatir tidak mengetahui kedalamannya, tetapi ketika saya benar-benar melompat, saya menemukan bahwa saya benar-benar dapat menginjaknya hingga ke dasar, jadi saya merasa jauh lebih nyaman? Apakah itu benar-benar sederhana?
Wang Xiaochuan:
Bagilah orang.
Saya orang yang relatif berhati-hati, saya masih menonton, dan kemudian Lianchuang kami menendang saya dan berkata untuk mulai melakukannya. Lalu saya berkata oke, mengumumkan akhir dan mulai bekerja. Kalau tidak, mungkin nanti sebelum Anda merasa siap. Tetapi begitu Anda keluar dari lapangan, Anda akan menemukan bahwa Anda akan berlari lebih cepat dari yang Anda kira.
Setelah hiruk pikuk, perkembangan teknologi belakangan ini memprihatinkan
** Zhang Peng: **
Apakah Anda memperhatikan kemajuan teknis model besar baru-baru ini? Makalah mana yang membuat Anda bersemangat?
Wang Xiaochuan:
Pertama, membaca makalah saja sebenarnya tidak penting hari ini. Anda tidak bisa menyelesaikannya.
Dasar-dasarnya adalah hal-hal itu. Dan hari ini OpenAI telah berhenti mengirimkan makalah bagus. Makalah yang dikirim adalah semua kertas dengan sedikit informasi, dan panennya terbatas.
Pada saat yang sama, karena setiap orang telah memasuki kegilaan (keadaan) sebelumnya, kami menyebutnya "menjalani hari seperti setahun", dan sepertinya setahun (kemajuan teknologi) setiap hari.
** Zhang Peng: **
Hari terasa seperti tahun karena berjalan cepat.
Wang Xiaochuan:
Ya, tidak membosankan. Ada begitu banyak hal baru setiap hari. Saraf setiap orang telah distimulasi ke titik tertinggi, dan mereka sedikit lemah.
Karena itu, ada beberapa kemajuan teknologi baru-baru ini, yang menurut saya sangat kuat.
Salah satunya, sekitar seminggu yang lalu, OpenAI meluncurkan juru kode, yang merupakan terobosan besar, tetapi tampaknya tidak ada babak baru kegilaan media di China.
Semua orang telah menikmati kegilaan sebelumnya, tetapi kali ini, kemajuan, juru kode, menurut saya media tidak cukup memperhatikan dan melaporkannya.
Dan peningkatan kecil kemarin, sesuaikan instruksi Anda sendiri.
Ini menyatakan bahwa itu dimulai dari model LLM ke Agen.
Ini akan menjelaskan "Siapa saya dan apa karakteristik saya?" Peran seperti apa yang akan dimainkan oleh model besar Anda dan apa karakteristiknya? Membentuk hubungan seperti itu bergantung pada apakah modelnya adalah Agen (dari sudut pandang).
Kedua area ini tidak cukup untuk diperhatikan dan dilaporkan semua orang hari ini.
Keputusan untuk memulai bisnis akhirnya menunggu sampai tanah tak bertuan "cocok untuk Xiaochuan"
** Zhang Peng: **
Pertanyaan terakhir, Anda baru saja menyebutkan bahwa Anda "ditendang" ke dalam situasi kewirausahaan ini. Saya juga tahu bahwa Anda telah menjadi fanatik AI sejak masa AlphaGo.
Pada akhirnya, Anda memutuskan untuk menjadi pengusaha di bidang AGI dan model skala besar Baik itu Lao Wang (Huiwen) atau gelombang di China, bagaimana mereka memengaruhi pengambilan keputusan Anda? Setelah melalui proses seperti itu, perubahan apa yang terjadi di dalam hati Anda?
Wang Xiaochuan:
Perjalanan mental sebenarnya cukup panjang.
Di masa Sogou, ke tahap selanjutnya. Pertama, kami melewatkan mesin rekomendasi dan membuat aliansi strategis dengan Tencent. Dalam hal ini, tanpa terobosan teknologi baru, pengembangannya sangat terbatas. Saat Sogou bergabung dengan Tencent, saya menantang hal yang lebih menarik, yaitu mengubah kehidupan menjadi model matematika. Seperti yang kami katakan, Newton mengubah fisika menjadi model matematika.
Di platform Geek Park sebelumnya, saya berbicara tentang belajar dari kehidupan.
apa itu hidup Ini adalah sesuatu yang telah saya pikirkan selama 20 tahun.
Bagaimana mengubah kehidupan menjadi model matematika? Inilah yang saya pedulikan. Bahkan dalam studi pengobatan Cina, bagaimana mengubah kehidupan menjadi model matematika, (kemudian) ditemukan bahwa jalan ini mungkin tidak mulus.
Saya sangat tertarik dengan bagaimana membuat terobosan baru di bidang kedokteran dalam paradigma ilmiah. Saya membaca lebih banyak makalah medis daripada membaca makalah komputer, saya membaca ribuan makalah medis.
Apa yang terjadi dalam 21 tahun? Dalam 21 tahun, model besar mulai memiliki beberapa peluang. Saat itu, kami membuat model puluhan miliar untuk menyelesaikan masalah mengubah pencarian menjadi pertanyaan dan jawaban.
Padahal, sebelum melakukan metode input, saya sudah terlibat dalam "memprediksi apa yang ingin dikatakan kata berikutnya", lalu bagaimana menulis ulang, pencarian berubah menjadi tanya jawab. Sebenarnya pintunya disentuh, tapi belum ada terobosan teknologi saat itu.
Jadi tahukah Anda bahwa saya sangat tertarik untuk mengubah kehidupan menjadi model matematika, jadi setelah kedatangan model besar, pikiran pertama saya adalah tidak membuat model besar, saya ingin bertanya, apakah mungkin membangun Health ChatGPT di bidang kehidupan saat ini? GPT sehat, dokter digital?
** Zhang Peng: **
Anda berpikir dari perspektif pemecahan masalah yang diterapkan.
Wang Xiaochuan:
Ya, memikirkannya. Lalu saya berpikir, jika Anda membuat model vertikal hari ini, mungkin akan terbunuh oleh model besar. Kecerdasan umum membunuh kecerdasan khusus, bukan?
Namun dalam kasus ini, kami menemukan bahwa tidak cukup hanya melakukan satu jenis HealthGPT, atau dokter digital saja.
Pada akhirnya, masih perlu membuat model yang besar.
(Keputusan untuk membuat model skala besar pada tahap selanjutnya) kembali dari lingkaran seperti itu, bukan karena saya pikir saya telah menumpuk sebelumnya.
Tetapi ketika kami membuat model besar, kami menemukan bahwa (akumulasi sebelumnya) cukup relevan, seperti pemrosesan terkait bahasa.
Bahkan yang paling ekstrem, ChatGPT adalah yang ketiga yang membuat model bahasa menjadi aplikasi super. Dua yang pertama, satu pencarian dan satu metode input.
Zhang Peng:
Saya merasa Anda tidak melakukan ini juga, maaf untuk dua hal yang Anda lakukan sebelumnya.
Wang Xiaochuan:
Ya, jadi saya menemukan bahwa akumulasi sebelumnya sangat berguna hari ini, yang tidak saya duga sebelumnya.
Jadi saya sangat emosional, Tuhan sangat baik kepada Anda dan memberi Anda kesempatan. Di akhir pencarian, ada kesempatan lain untuk menggunakan pengalaman sebelumnya untuk melakukan sesuatu yang sebelumnya tidak dapat dilakukan.
Sekarang, tidak ada yang mengatakan "Xiaochuan cocok untuk pencarian", tetapi semua orang mengatakan "Baichuan cocok untuk model berskala besar" Bagi saya, ini adalah hal yang sangat beruntung.
Zhang Peng:
Inilah mengapa Anda memutuskan untuk melakukannya sejak awal.
Setelah beberapa bulan sekarang, semua orang mungkin merasa sulit.OpenAI belum menjadi perusahaan yang sangat menguntungkan, dan banyak orang di Silicon Valley mempertanyakan model bisnisnya. Jadi model besar akan memberi tekanan pada pengusaha dalam aspek ini.Apakah Anda merasakan tekanan ini?
Wang Xiaochuan:
Saya semua hiper.
Karena saya dulu bekerja di bawah bayang-bayang Baidu, tetapi sekarang ini bukan tanah bertuan Bagi saya, inilah yang ingin saya lakukan, daripada mengatakan bahwa ada pemimpin di depan saya, dan kemudian Anda mengikuti. Bagi saya, ini yang saya suka, eksplorasi baru.
** Zhang Peng: **
Terima kasih khusus kepada Xiaochuan untuk berbagi dengan kami hari ini, dan selamat karena akhirnya mengantar Anda ke tanah tak bertuan. Saya berharap dapat melihat pemandangan yang lebih indah di sini. Tepuk tangan didedikasikan untuk Xiaochuan, ayolah!