Là nền tảng cho trí tuệ của ChatGPT, nhưng OpenAI lại tuyên bố thời của các Mô hình AI khổng lồ đã kết thúc
vninfor.vn
Một trong những phần làm nên các tính năng phong phú của ChatGPT chính là nhờ mô hình ngôn ngữ lớn đằng sau nó. Nếu như GPT-3 có kích thước lên đến 175 tỷ tham số, mô hình ngôn ngữ GPT-4 mới ra mắt được cho có quy mô lên đến hơn 1.000 tỷ tham số và được xem như các mô hình ngôn ngữ lớn chưa từng thấy cho đến thời điểm hiện tại.
Thế nhưng giữa tháng 4 vừa qua, chính CEO OpenAI, ông Sam Altman lại lên tiếng cảnh báo rằng thời đại của những mô hình ngôn ngữ lớn này đã kết thúc, mặc dù vậy vẫn chưa rõ điều gì sẽ thay thế cho chúng trong tương lai.
Trong một sự kiện do trường MIT tổ chức, ông Sam Altman cho biết: "Tôi nghĩ chúng ta đã đến điểm cuối của thời đại khi mọi người đều lao vào những mô hình siêu khổng lồ. Chúng tôi sẽ làm chúng tốt hơn theo một cách khác."
Lời tuyên bố của ông Altman cho thấy bước ngoặt không ngờ trong cuộc đua phát triển và triển khai các thuật toán AI mới. Kể từ khi OpenAI ra mắt ChatGPT vào tháng 11 năm ngoái, Microsoft đã sử dụng công nghệ nền tảng của nó để triển khai chatbot trong công cụ tìm kiếm Bing của mình, cũng như thúc đẩy hãng Google làm điều tương tự khi ra mắt chatbot Bard. Nhiều người cũng vội vã thử nghiệm loại hình AI mới này để hoàn thành công việc hoặc các việc làm cá nhân.
Tuyên bố của ông Altman cho thấy có thể GPT-4 là bản nâng cấp lớn cuối cùng cho chiến lược đã được OpenAI thực hiện trong vài năm qua – làm các mô hình với kích thước ngày càng lớn hơn và nạp vào ngày càng nhiều dữ liệu hơn.
Năm 2019, OpenAI giới thiệu mô hình ngôn ngữ đầu tiên của mình, GPT-2. Ở quy mô lớn nhất của mình, GPT-2 có khoảng 1,5 tỷ tham số với dung lượng 40GB văn bản. Tiếp đó năm 2020, GPT-3 ra mắt với 175 tỷ tham số và có dung lượng lưu trữ đến 800GB.
Mới đây nhất là mô hình GPT-4 – cho dù OpenAI không tiết lộ chính xác kích thước của mô hình này, nhưng nhiều chuyên gia trong ngành dự báo rằng, nó có thể lên tới 1.000 tỷ tham số, lớn nhất từ trước đến nay. Nhưng với tuyên bố nói trên của CEO OpenAI, cuộc đua tạo nên những mô hình ngôn ngữ quy mô lớn dường như đã kết thúc.
Lý do đằng sau tuyên bố bất ngờ này
Đầu tiên chính là chi phí. Cũng trong sự kiện của MIT nói trên, khi được hỏi có phải việc huấn luyện mô hình GPT-4 tiêu tốn đến 100 triệu USD, ông Altman đáp lại rằng: "Nó còn nhiều hơn thế." Kích thước mô hình lớn hơn, nghĩa là dữ liệu phải xử lý cũng lớn hơn, kéo theo chi phí tính toán xử lý dữ liệu cũng ngày càng lớn hơn.
Đó là còn chưa kể đến chi phí vận hành các mô hình này khi trả lời truy vấn của người dùng. Cho dù OpenAI và Microsoft không tiết lộ con số cụ thể nhưng nhiều chuyên gia trong ngành cho rằng, hiện tại việc vận hành ChatGPT tiêu tốn gần 1 triệu USD mỗi ngày. Con số này có thể tăng lên cao hơn nữa khi số người dùng chatbot này tiếp tục gia tăng.
Một phần nguyên nhân dẫn đến mức chi phí khủng này đến từ giá thành cao ngất ngưởng của một loại linh kiện tối quan trọng: các GPU AI. Ví dụ, để huấn luyện nên ChatGPT, các báo cáo cho biết phải cần đến hơn 10.000 GPU A100 của Nvidia với giá thành lên đến 10.000 USD mỗi thiết bị. Thậm chí để vận hành ChatGPT, số lượng GPU cần thiết còn lớn hơn nữa, kéo theo chi phí càng lớn hơn nữa.
Mới đây, hãng Nvidia còn tiếp tục ra mắt dòng GPU H100 được thiết kế chuyên dành cho việc xử lý các tác vụ AI và tính toán hiệu suất cao. Nhưng giá thành của linh kiện này thậm chí còn đắt hơn nữa khi lên tới 30.000 USD mỗi sản phẩm, còn nếu mua lẻ trên eBay, mức giá phải trả còn cao hơn nữa. Các mô hình có quy mô càng lớn sẽ càng cần nhiều GPU hơn để huấn luyện và xử lý, dẫn đến chi phí càng lớn hơn.
Thậm chí một cuộc khủng hoảng nguồn cung của loại GPU này có thể xảy ra khi các linh kiện này không dành cho số đông người dùng. Giá thành cao, chỉ dành cho một số tập khách hàng nhất định, do vậy các GPU sẽ hiếm khi có sẵn để đáp ứng nhu cầu lớn của khách hàng. Mới đây ông Elon Musk cũng xác nhận việc sẽ mua 10.000 GPU để phát triển một công ty AI mới có tên X.ai. Thế nhưng nhiều chuyên gia trong ngành cho rằng, ông Musk có thể phải chờ nhiều tháng mới có được số lượng GPU mà mình yêu cầu.
Bên cạnh đó trong tài liệu mô tả GPT-4, OpenAI cũng ước tính rằng hiệu quả từ việc mở rộng kích thước mô hình đang giảm dần – nghĩa là ngay cả khi kích thước khối dữ liệu tăng lên nhưng hiệu quả xử lý lại không tăng tương ứng. Ngoài ra ông Altman cho biết, còn có các giới hạn vật lý về số lượng trung tâm dữ liệu mà công ty có thể xây dựng và tốc độ xây dựng các trung tâm đó.
Nick Frosst, đồng sáng lập của Cohere, người trước đây từng làm việc về AI tại Google cũng đồng tình với tuyên bố cảu Sam Altman. Anh cũng tin rằng, sự tiến bộ của Transformer, loại mô hình máy học nằm trong trung tâm của GPT-4 và các mô hình AI đối thủ, không chỉ phụ thuộc vào quy mô của nó, mà còn các yếu tố khác, bao gồm thiết kế, kiến trúc hoặc khả năng tinh chỉnh mô hình cũng như phản hồi từ người huấn luyện…
Tin liên quan
Cùng chuyên mục
Vượt qua sóng gió, kinh tế Việt Nam vươn lên mạnh mẽ
Kinh tế 11/01/2025 15:27
LHQ dự báo kinh tế thế giới 2025 và những "cơn gió ngược"
Kinh tế 11/01/2025 06:00
Dòng tiền đầu tư mạnh mẽ quay lại thị trường năng lượng và kim loại
Kinh tế 10/01/2025 16:00
Kinh tế - xã hội cả năm 2024 không chỉ đạt mà cơ bản vượt toàn bộ 15/15 chỉ tiêu chủ yếu
Kinh tế - Tài chính 09/01/2025 15:00
"Tăng tốc và bứt phá" để đạt mục tiêu phát triển KTXH của năm 2025 và cả nhiệm kỳ
Kinh tế 09/01/2025 07:48
Giá gạo giảm sâu, Bộ Công Thương đề xuất giải pháp gì?
Kinh tế 08/01/2025 07:57
Các tin khác
Năm 2024, vốn FDI giải ngân cao kỷ lục
Kinh tế 07/01/2025 11:00
CPI năm 2024 tăng 3,66%, đạt mục tiêu Quốc hội đề ra
Kinh tế 07/01/2025 09:00
Khó khăn của doanh nghiệp vẫn hiện hữu
Kinh tế - Tài chính 07/01/2025 06:15
Vượt kỳ vọng, GDP năm 2024 tăng 7,09%
Kinh tế 06/01/2025 16:00
Thành lập và vận hành Trung tâm tài chính tại TPHCM, Đà Nẵng trong năm 2025
Kinh tế 06/01/2025 12:00
Mục tiêu tăng trưởng GDP trong năm 2025 và 2026 đạt 7,5%-8% là khả quan
Kinh tế 06/01/2025 10:00
Việt Nam đủ 5 điều kiện để xây dựng trung tâm tài chính khu vực và quốc tế
Kinh tế 06/01/2025 07:44
Phải hoàn thành phê duyệt Đề án cơ cấu lại doanh nghiệp nhà nước trong quý I/2025
Kinh tế 05/01/2025 10:00
Giảm thuế giá trị gia tăng đến 30/6/2025
Kinh tế 02/01/2025 10:10
Triển vọng kinh tế năm 2025
Kinh tế 02/01/2025 08:09
2025 và triển vọng mới của Petrovietnam
Kinh tế 01/01/2025 13:38
Bước chuyển mình chiến lược của Công ty Lọc hóa dầu Bình Sơn
Kinh tế 01/01/2025 13:31
Ngành dệt may tìm thấy nhiều "điểm sáng" cho tăng trưởng trong năm 2025
Kinh tế 31/12/2024 16:00
Việt Nam cần đa dạng hóa nguồn đầu tư và cải thiện môi trường kinh doanh trong năm 2025
Kinh tế 31/12/2024 15:14
Kinh tế Việt Nam kiên cường, đạt mức tăng trưởng cao nhất trong số các nền kinh tế Đông Á
Kinh tế 30/12/2024 10:00
Kinh tế Thủ đô đạt kết quả khá toàn diện
Kinh tế - Tài chính 30/12/2024 08:00
Phấn đấu tốc độ tăng trưởng GDP toàn ngành nông nghiệp đạt 3,5-4% trong năm 2025
Kinh tế 29/12/2024 10:00
ADB lạc quan về triển vọng kinh tế Việt Nam trong năm 2025
Kinh tế 26/12/2024 15:09
WORLDBANK DỰ BÁO KINH TẾ VIỆT NAM NĂM 2024 VÀ NĂM 2025 | NHỊP ĐẬP THỊ TRƯỜNG #62
Video 24/05/2024 15:33
Tọa đàm “Xúc tiến thương mại: Khơi thông đầu ra cho sản phẩm OCOP”
Video 20/11/2023 17:25
Trao yêu thương cho em
Video 10/10/2022 14:03
Kon Tum giải cứu nạn nhân bị lừa bán sang Campuchia
Video 10/10/2022 13:58
Giới thiệu Phổ biến kiến thức Pháp luật
Video 10/10/2022 13:55
Phổ biến Luật tiếp cận thông tin
Video 10/10/2022 13:52
Hướng đến Chuyển đổi số sâu rộng
Video 23/06/2022 11:00