Là nền tảng cho trí tuệ của ChatGPT, nhưng OpenAI lại tuyên bố thời của các Mô hình AI khổng lồ đã kết thúc
vninfor.vn
Một trong những phần làm nên các tính năng phong phú của ChatGPT chính là nhờ mô hình ngôn ngữ lớn đằng sau nó. Nếu như GPT-3 có kích thước lên đến 175 tỷ tham số, mô hình ngôn ngữ GPT-4 mới ra mắt được cho có quy mô lên đến hơn 1.000 tỷ tham số và được xem như các mô hình ngôn ngữ lớn chưa từng thấy cho đến thời điểm hiện tại.
Thế nhưng giữa tháng 4 vừa qua, chính CEO OpenAI, ông Sam Altman lại lên tiếng cảnh báo rằng thời đại của những mô hình ngôn ngữ lớn này đã kết thúc, mặc dù vậy vẫn chưa rõ điều gì sẽ thay thế cho chúng trong tương lai.
Trong một sự kiện do trường MIT tổ chức, ông Sam Altman cho biết: "Tôi nghĩ chúng ta đã đến điểm cuối của thời đại khi mọi người đều lao vào những mô hình siêu khổng lồ. Chúng tôi sẽ làm chúng tốt hơn theo một cách khác."
Lời tuyên bố của ông Altman cho thấy bước ngoặt không ngờ trong cuộc đua phát triển và triển khai các thuật toán AI mới. Kể từ khi OpenAI ra mắt ChatGPT vào tháng 11 năm ngoái, Microsoft đã sử dụng công nghệ nền tảng của nó để triển khai chatbot trong công cụ tìm kiếm Bing của mình, cũng như thúc đẩy hãng Google làm điều tương tự khi ra mắt chatbot Bard. Nhiều người cũng vội vã thử nghiệm loại hình AI mới này để hoàn thành công việc hoặc các việc làm cá nhân.
Tuyên bố của ông Altman cho thấy có thể GPT-4 là bản nâng cấp lớn cuối cùng cho chiến lược đã được OpenAI thực hiện trong vài năm qua – làm các mô hình với kích thước ngày càng lớn hơn và nạp vào ngày càng nhiều dữ liệu hơn.
Năm 2019, OpenAI giới thiệu mô hình ngôn ngữ đầu tiên của mình, GPT-2. Ở quy mô lớn nhất của mình, GPT-2 có khoảng 1,5 tỷ tham số với dung lượng 40GB văn bản. Tiếp đó năm 2020, GPT-3 ra mắt với 175 tỷ tham số và có dung lượng lưu trữ đến 800GB.
Mới đây nhất là mô hình GPT-4 – cho dù OpenAI không tiết lộ chính xác kích thước của mô hình này, nhưng nhiều chuyên gia trong ngành dự báo rằng, nó có thể lên tới 1.000 tỷ tham số, lớn nhất từ trước đến nay. Nhưng với tuyên bố nói trên của CEO OpenAI, cuộc đua tạo nên những mô hình ngôn ngữ quy mô lớn dường như đã kết thúc.
Lý do đằng sau tuyên bố bất ngờ này
Đầu tiên chính là chi phí. Cũng trong sự kiện của MIT nói trên, khi được hỏi có phải việc huấn luyện mô hình GPT-4 tiêu tốn đến 100 triệu USD, ông Altman đáp lại rằng: "Nó còn nhiều hơn thế." Kích thước mô hình lớn hơn, nghĩa là dữ liệu phải xử lý cũng lớn hơn, kéo theo chi phí tính toán xử lý dữ liệu cũng ngày càng lớn hơn.
Đó là còn chưa kể đến chi phí vận hành các mô hình này khi trả lời truy vấn của người dùng. Cho dù OpenAI và Microsoft không tiết lộ con số cụ thể nhưng nhiều chuyên gia trong ngành cho rằng, hiện tại việc vận hành ChatGPT tiêu tốn gần 1 triệu USD mỗi ngày. Con số này có thể tăng lên cao hơn nữa khi số người dùng chatbot này tiếp tục gia tăng.
Một phần nguyên nhân dẫn đến mức chi phí khủng này đến từ giá thành cao ngất ngưởng của một loại linh kiện tối quan trọng: các GPU AI. Ví dụ, để huấn luyện nên ChatGPT, các báo cáo cho biết phải cần đến hơn 10.000 GPU A100 của Nvidia với giá thành lên đến 10.000 USD mỗi thiết bị. Thậm chí để vận hành ChatGPT, số lượng GPU cần thiết còn lớn hơn nữa, kéo theo chi phí càng lớn hơn nữa.
Mới đây, hãng Nvidia còn tiếp tục ra mắt dòng GPU H100 được thiết kế chuyên dành cho việc xử lý các tác vụ AI và tính toán hiệu suất cao. Nhưng giá thành của linh kiện này thậm chí còn đắt hơn nữa khi lên tới 30.000 USD mỗi sản phẩm, còn nếu mua lẻ trên eBay, mức giá phải trả còn cao hơn nữa. Các mô hình có quy mô càng lớn sẽ càng cần nhiều GPU hơn để huấn luyện và xử lý, dẫn đến chi phí càng lớn hơn.
Thậm chí một cuộc khủng hoảng nguồn cung của loại GPU này có thể xảy ra khi các linh kiện này không dành cho số đông người dùng. Giá thành cao, chỉ dành cho một số tập khách hàng nhất định, do vậy các GPU sẽ hiếm khi có sẵn để đáp ứng nhu cầu lớn của khách hàng. Mới đây ông Elon Musk cũng xác nhận việc sẽ mua 10.000 GPU để phát triển một công ty AI mới có tên X.ai. Thế nhưng nhiều chuyên gia trong ngành cho rằng, ông Musk có thể phải chờ nhiều tháng mới có được số lượng GPU mà mình yêu cầu.
Bên cạnh đó trong tài liệu mô tả GPT-4, OpenAI cũng ước tính rằng hiệu quả từ việc mở rộng kích thước mô hình đang giảm dần – nghĩa là ngay cả khi kích thước khối dữ liệu tăng lên nhưng hiệu quả xử lý lại không tăng tương ứng. Ngoài ra ông Altman cho biết, còn có các giới hạn vật lý về số lượng trung tâm dữ liệu mà công ty có thể xây dựng và tốc độ xây dựng các trung tâm đó.
Nick Frosst, đồng sáng lập của Cohere, người trước đây từng làm việc về AI tại Google cũng đồng tình với tuyên bố cảu Sam Altman. Anh cũng tin rằng, sự tiến bộ của Transformer, loại mô hình máy học nằm trong trung tâm của GPT-4 và các mô hình AI đối thủ, không chỉ phụ thuộc vào quy mô của nó, mà còn các yếu tố khác, bao gồm thiết kế, kiến trúc hoặc khả năng tinh chỉnh mô hình cũng như phản hồi từ người huấn luyện…
Tin liên quan
Cùng chuyên mục
HAG xin sửa đổi các điều kiện của lô trái phiếu hơn 4 ngàn tỷ đồng
Kinh tế 17/09/2024 13:00
Nam Định: Thúc đẩy nâng cao năng suất, chất lượng cho doanh nghiệp
Kinh tế 17/09/2024 12:00
Cần gia hạn cơ cấu nợ để hỗ trợ phục hồi nền kinh tế
Kinh tế 17/09/2024 09:00
Tình thế nghịch lý của kinh tế Việt Nam và những cam kết tạo động lực mới cho tương lai
Kinh tế 16/09/2024 15:55
Giá vàng tuần tới: Cẩn trọng rủi ro sau quyết định của FED
Kinh tế 16/09/2024 07:00
Siêu bão, mưa lũ có thể khiến GDP cả năm 2024 giảm 0,15%
Kinh tế 16/09/2024 06:00
Các tin khác
Giá vàng sẽ tiếp tục tăng trong các tháng cuối năm?
Kinh tế 15/09/2024 11:00
Đâu là nguồn tạo ra hàng triệu việc làm mới?
Kinh tế 15/09/2024 09:00
Hà Nội miễn giảm thuế cho người bị ảnh hưởng của bão Yagi
Kinh tế 15/09/2024 06:00
Kinh tế Việt Nam tăng trưởng nhanh nhờ 3 yếu tố này?
Kinh tế - Tài chính 13/09/2024 06:00
“Cú hích” đầu tư, thương mại Việt Nam - Lào
Kinh tế 12/09/2024 17:00
Tín dụng xanh trong phát triển kinh tế xanh
Kinh tế 12/09/2024 14:00
Cấm các doanh nghiệp hàng hải lợi dụng bão lũ tăng giá dịch vụ
Kinh tế - Tài chính 12/09/2024 09:05
Lạm Phát Mỹ xuống thấp nhất kể từ năm 2021, mở đường cho đợt hạ lãi suất của Fed
Kinh tế 12/09/2024 09:00
Giải pháp khắc phục âm vốn chủ của VST
Kinh tế 12/09/2024 07:00
"Ma trận" ESG: Rủi ro nào cho doanh nghiệp toàn cầu?
Kinh tế 11/09/2024 11:00
Vàng thế giới đi ngang chờ báo cáo lạm phát của Mỹ
Kinh tế 11/09/2024 08:00
Cổ đông mừng hụt khi doanh nghiệp lỗ ngược sau kiểm toán
Kinh tế 10/09/2024 08:00
Tiếp tục nghiên cứu, điều chỉnh tăng lương phù hợp với từng thời kỳ
Kinh tế 10/09/2024 06:00
“Đòn bẩy” chính sách đầu tư cho Việt Nam và Lào
Kinh tế - Tài chính 09/09/2024 09:53
Bộ trưởng Yellen: Kinh tế Mỹ vẫn trên đà "hạ cánh mềm", thị trường việc làm chưa đáng ngại
Kinh tế - Tài chính 09/09/2024 08:00
Giá USD suy yếu
Kinh tế 09/09/2024 06:00
Giá vàng tuần tới: Dễ “tổn thương” trước cuộc họp của FED
Kinh tế 08/09/2024 14:00
Cam kết thực hành ESG, doanh nghiệp kiến nghị được miễn giảm thuế
Kinh tế 08/09/2024 12:00
WORLDBANK DỰ BÁO KINH TẾ VIỆT NAM NĂM 2024 VÀ NĂM 2025 | NHỊP ĐẬP THỊ TRƯỜNG #62
Video 24/05/2024 15:33
Tọa đàm “Xúc tiến thương mại: Khơi thông đầu ra cho sản phẩm OCOP”
Video 20/11/2023 17:25
Trao yêu thương cho em
Video 10/10/2022 14:03
Kon Tum giải cứu nạn nhân bị lừa bán sang Campuchia
Video 10/10/2022 13:58
Giới thiệu Phổ biến kiến thức Pháp luật
Video 10/10/2022 13:55
Phổ biến Luật tiếp cận thông tin
Video 10/10/2022 13:52
Hướng đến Chuyển đổi số sâu rộng
Video 23/06/2022 11:00