Tin riêng của nhật báo Phố Wall – WSJ
Công ty điện toán đám mây Amazon Web Services của Amazon hôm thứ Ba đã công bố kế hoạch cho một “Ultracluster”, một siêu máy tính AI khổng lồ được tạo thành từ hàng trăm ngàn chip Trainium cây nhà lá vườn, cũng như một máy chủ mới, những nỗ lực mới nhất của phòng thí nghiệm thiết kế chip AI có trụ sở tại Austin, Texas.
Cụm chip sẽ được sử dụng bởi công ty khởi nghiệp AI Anthropic, trong đó công ty Amazon, gã khổng lồ bán lẻ và điện toán đám mây gần đây đã đầu tư thêm 4 tỷ USD cho công ty AI Anthropic này. Cụm siêu máy tính này, thuộc Dự án Rainier, sẽ được đặt tại Hoa Kỳ. Khi sẵn sàng vào năm 2025, nó sẽ là một trong những mô hình lớn nhất trên thế giới để đào tạo các mô hình AI, theo Dave Brown, phó chủ tịch dịch vụ mạng và tính toán của Amazon Web Services.
Amazon Web Services cũng đã công bố một máy chủ mới có tên Ultraserver, được tạo thành từ 64 chip được kết nối với nhau của riêng mình, tại hội nghị re: Invent hàng năm ở Las Vegas hôm thứ ba 3-12-2024.
Ultraserver của Amazon liên kết 64 chip thành một gói duy nhất, kết hợp bốn máy chủ, mỗi máy chủ chứa 16 chip Tranium. Một số máy chủ GPU Nvidia, so sánh, chứa tám chip, Brown nói.
Để liên kết chúng lại với nhau để hoạt động như một máy chủ, có thể đạt tới 83,2 petaflop tính toán, bí quyết khác của Amazon là mạng lưới của nó: tạo ra một công nghệ mà nó gọi là NeuronLink có thể khiến cả bốn máy chủ giao tiếp.
Đó là con số gia tăng mà Amazon có thể đóng gói vào Ultraserver và không làm nó bị quá nóng, công ty cho biết. Theo kích thước, nó gần với máy tính lớn kiểu tủ lạnh hơn là máy tính cá nhân nhỏ gọn, Hamilton nói.
Ngoài ra, AWS hôm thứ Ba đã tiết lộ Apple là một trong những khách hàng chip mới nhất của mình.
Amazon Web Services đã công bố Trainium2, một con chip dùng để đào tạo các mô hình trí tuệ nhân tạo và cũng sẽ cung cấp quyền truy cập vào bộ xử lý đồ họa H200 Tensor Core thế hệ tiếp theo của Nvidia. Khách hàng có thể lựa chọn giữa hai loại dịch vụ tùy theo nhu cầu và sở thích.
Thị trường chất bán dẫn AI ước tính đạt 117,5 tỷ USD vào năm 2024 và dự kiến sẽ đạt 193,3 tỷ USD vào cuối năm 2027, theo công ty nghiên cứu International Data Corp. Nvidia chiếm khoảng 95% thị trường chip AI, theo nghiên cứu tháng 12 của IDC.
“Ngày nay, thực sự chỉ có một sự lựa chọn chip GPU và đó là chip của Nvidia”, Matt Garman, giám đốc điều hành của Amazon Web Services cho biết. “Chúng tôi nghĩ rằng khách hàng sẽ đánh giá cao việc có nhiều sự lựa chọn (chip GPU hơn).”
Một phần quan trọng trong chiến lược AI của Amazon là cập nhật silicon tùy chỉnh để nó không chỉ có thể giảm chi phí AI cho khách hàng doanh nghiệp mà còn giúp công ty chủ động chuỗi cung ứng của mình. Điều đó cũng có thể làm cho AWS ít phụ thuộc hơn vào Nvidia, một trong những đối tác thân cận nhất của họ, cung cấp GPU mà Amazon đang cho khách hàng thuê trên nền tảng đám mây của mình.
AWS Trainium2, sản phẩm đầu tiên trong số hai sản phẩm, được thiết kế để cung cấp hiệu suất tốt hơn tới 4 lần và hiệu suất năng lượng tốt hơn 2 lần so với thế hệ đầu tiên. Amazon cho biết một trăm nghìn chip Trainium cung cấp 65 exaflops tính toán — tương đương với 650 teraflops cho mỗi chip duy nhất!
Chip thứ hai mà Amazon công bố sáng nay, Graviton4 dựa trên Arm, được thiết kế để suy luận.
Graviton4 là thế hệ thứ tư trong dòng chip Graviton của Amazon, sản phẩm này khác biệt với chip suy luận khác của Amazon vốn có tên là Inferentia.
Amazon tuyên bố Graviton4 cung cấp hiệu suất tính toán tốt hơn tới 30%, nhiều lõi hơn 50% và nhiều băng thông bộ nhớ hơn 75% so với một bộ xử lý Graviton thuộc thế hệ trước đó, con chip Graviton3.
Có không thiếu các công ty đang tranh giành thị phần doanh thu chip của Nvidia, bao gồm các công ty khởi nghiệp chip AI như Groq, Cerebras Systems và SambaNova Systems. Các công ty cùng ngành trên đám mây của Amazon, Microsoft và Google, cũng đang xây dựng chip riêng cho AI và nhằm mục đích giảm sự phụ thuộc vào Nvidia.
Amazon đã làm việc trên phần cứng của riêng mình cho khách hàng từ trước năm 2018, khi họ phát hành một đơn vị xử lý trung tâm có tên Graviton dựa trên kiến trúc bộ xử lý từ nhà thiết kế chip Arm của Anh. Các giám đốc điều hành của Amazon cho biết công ty đặt mục tiêu thực hiện (con chip AI) cùng một phương cách đã làm cho Graviton thành công – chứng minh cho khách hàng rằng đó là một lựa chọn chi phí thấp hơn nhưng không kém khả năng so với sản phẩm đang dẫn đầu thị trường.
Được cung cấp bởi Austin’s Annapurna
Trọng tâm của những nỗ lực của AWS là ở Austin, Texas, nơi có phòng thí nghiệm chip AI do Annapurna Labs, một công ty vi điện tử Israel mà Amazon mua lại với giá khoảng 350 triệu USD vào năm 2015.
Phòng thí nghiệm chip đã ở đó kể từ những ngày khởi nghiệp của Annapurna.
Rami Sinno, giám đốc kỹ thuật tại Annapurna Labs ở Austin, TX. Ảnh: Jordan Vonderhaar cho WSJ
“Chúng tôi thiết kế chip, lõi, toàn bộ máy chủ và giá đỡ cùng một lúc. Chúng tôi không chờ đợi con chip sẵn sàng để có thể thiết kế bo mạch xung quanh nó”, Sinno nói. “Nó cho phép đội đi siêu, siêu nhanh.”
AWS đã công bố Inferentia vào năm 2018, một chip học máy dành riêng cho suy luận, là quá trình chạy dữ liệu thông qua mô hình AI để nó tạo ra đầu ra. Nhóm nghiên cứu đã theo đuổi (chip) suy luận trước, bởi vì đó là một nhiệm vụ ít đòi hỏi hơn một chút so với (chip) huấn lệnh, James Hamilton, phó chủ tịch cấp cao của Amazon và là kỹ sư nổi tiếng cho biết.
Đến năm 2020, Annapurna đã sẵn sàng sử dụng Trainium, con chip đầu tiên để khách hàng huấn lệnh các mô hình AI. Năm ngoái, Amazon đã công bố chip Trainium2, mà công ty cho biết hiện đã có sẵn cho tất cả khách hàng sử dụng. AWS cũng cho biết họ hiện đang làm việc trên các máy chủ dựa trên Trainium3 và Trainium3, sẽ mạnh hơn bốn lần so với các máy chủ dựa trên Trainium2.