Mạng đóng vai trò quan trọng trong thời đại mô hình AI lớn. Khi quy mô mô hình ngày càng mở rộng, cụm máy chủ đa dạng trở thành phương pháp chính để giải quyết các vấn đề huấn luyện, điều này cũng đặt nền tảng cho việc mạng "nâng cao" trong thời đại AI. So với trước đây chỉ được sử dụng để truyền dữ liệu, hiện nay mạng còn được sử dụng nhiều hơn để đồng bộ hóa các tham số mô hình giữa các thẻ đồ họa, đặt ra yêu cầu cao hơn về mật độ và dung lượng mạng.
Nhu cầu mạng chủ yếu xuất phát từ ba khía cạnh:
Kích thước mô hình khổng lồ: Thời gian huấn luyện tỉ lệ thuận với số lượng tham số của mô hình, trong khi tốc độ tính toán của thiết bị đơn là có hạn, do đó việc làm thế nào để tận dụng mạng lưới để mở rộng "số lượng thiết bị" và "hiệu suất song song" trực tiếp quyết định đến sức mạnh tính toán.
Giao tiếp phức tạp của đa thẻ đồng bộ: Sau khi chia mô hình thành thẻ đơn, mỗi lần tính toán đều cần phải căn chỉnh, đặt ra yêu cầu cao hơn đối với việc truyền tải và trao đổi mạng.
Chi phí hỏng hóc đắt đỏ: Việc đào tạo mô hình lớn kéo dài hàng tháng, sự gián đoạn có thể gây ra tổn thất khổng lồ. Mạng lưới đã trở thành một hệ thống kỹ thuật phức tạp tương đương với máy bay và tàu sân bay.
Đổi mới mạng chủ yếu tập trung vào các hướng sau:
Thay đổi môi trường truyền thông: Ba môi trường chính – ánh sáng, đồng và silic – đều có ưu điểm riêng, các công nghệ mới như LPO, silic quang giúp giảm chi phí.
Cạnh tranh giao thức mạng: Các giao thức truyền thông giữa các chip như NV-LINK, Infinity Fabric đang cạnh tranh với các giao thức truyền thông giữa các nút như IB, Ethernet.
Thay đổi kiến trúc mạng: Ngoài kiến trúc lá và gốc, các kiến trúc mới như Dragonfly, rail-only hy vọng sẽ trở thành hướng tiến hóa của các cụm siêu lớn.
Đề xuất đầu tư nên chú ý đến các công ty liên quan đến các khâu cốt lõi và đổi mới trong hệ thống truyền thông. Sự đổi mới trong mạng lưới trong tương lai sẽ tìm kiếm sự cân bằng giữa "giảm chi phí", "mở" và quy mô sức mạnh tính toán.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
16 thích
Phần thưởng
16
5
Chia sẻ
Bình luận
0/400
PermabullPete
· 07-31 19:20
Cơ sở hạ tầng được xây dựng, bắt tay vào làm.
Xem bản gốcTrả lời0
MoonlightGamer
· 07-30 18:18
Bán khống card mạng đi ăn cơm
Xem bản gốcTrả lời0
OnchainSniper
· 07-29 04:20
Chi phí mạng cao quá nhỉ
Xem bản gốcTrả lời0
MevShadowranger
· 07-29 04:19
Khả năng tính toán hỗ trợ nâng cấp là quan trọng nhất
Nhu cầu mạng tăng vọt trong thời đại AI, hướng đổi mới tập trung vào giảm chi phí và mở cửa.
Mạng lưới thời đại AI: Nhu cầu và Đổi mới
Mạng đóng vai trò quan trọng trong thời đại mô hình AI lớn. Khi quy mô mô hình ngày càng mở rộng, cụm máy chủ đa dạng trở thành phương pháp chính để giải quyết các vấn đề huấn luyện, điều này cũng đặt nền tảng cho việc mạng "nâng cao" trong thời đại AI. So với trước đây chỉ được sử dụng để truyền dữ liệu, hiện nay mạng còn được sử dụng nhiều hơn để đồng bộ hóa các tham số mô hình giữa các thẻ đồ họa, đặt ra yêu cầu cao hơn về mật độ và dung lượng mạng.
Nhu cầu mạng chủ yếu xuất phát từ ba khía cạnh:
Kích thước mô hình khổng lồ: Thời gian huấn luyện tỉ lệ thuận với số lượng tham số của mô hình, trong khi tốc độ tính toán của thiết bị đơn là có hạn, do đó việc làm thế nào để tận dụng mạng lưới để mở rộng "số lượng thiết bị" và "hiệu suất song song" trực tiếp quyết định đến sức mạnh tính toán.
Giao tiếp phức tạp của đa thẻ đồng bộ: Sau khi chia mô hình thành thẻ đơn, mỗi lần tính toán đều cần phải căn chỉnh, đặt ra yêu cầu cao hơn đối với việc truyền tải và trao đổi mạng.
Chi phí hỏng hóc đắt đỏ: Việc đào tạo mô hình lớn kéo dài hàng tháng, sự gián đoạn có thể gây ra tổn thất khổng lồ. Mạng lưới đã trở thành một hệ thống kỹ thuật phức tạp tương đương với máy bay và tàu sân bay.
Đổi mới mạng chủ yếu tập trung vào các hướng sau:
Thay đổi môi trường truyền thông: Ba môi trường chính – ánh sáng, đồng và silic – đều có ưu điểm riêng, các công nghệ mới như LPO, silic quang giúp giảm chi phí.
Cạnh tranh giao thức mạng: Các giao thức truyền thông giữa các chip như NV-LINK, Infinity Fabric đang cạnh tranh với các giao thức truyền thông giữa các nút như IB, Ethernet.
Thay đổi kiến trúc mạng: Ngoài kiến trúc lá và gốc, các kiến trúc mới như Dragonfly, rail-only hy vọng sẽ trở thành hướng tiến hóa của các cụm siêu lớn.
Đề xuất đầu tư nên chú ý đến các công ty liên quan đến các khâu cốt lõi và đổi mới trong hệ thống truyền thông. Sự đổi mới trong mạng lưới trong tương lai sẽ tìm kiếm sự cân bằng giữa "giảm chi phí", "mở" và quy mô sức mạnh tính toán.