Hai tuần trước, Meta đã cho ra mắt mô hình ngôn ngữ AI mới nhất của mình: LLaMA. Mặc dù không thể truy cập công khai như ChatGPT của OpenAI hay Bing của Microsoft, LLaMA vẫn là đóng góp của Meta vào sự bùng nổ của công nghệ ngôn ngữ AI, hứa hẹn đem lại những cách tương tác mới với máy tính của chúng ta cũng như những mối nguy hiểm mới.
Meta đã không phát hành LLaMA dưới dạng một chatbot công khai (mặc dù chủ sở hữu Facebook cũng đang thiết kế chúng) mà dưới dạng một gói mã nguồn mở mà bất kỳ ai trong cộng đồng AI cũng có thể yêu cầu quyền truy cập. Công ty cho biết mục đích của nó là “dân chủ hóa hơn nữa quyền truy cập” vào AI để thúc đẩy nghiên cứu các vấn đề. Meta có lợi nếu các hệ thống này ít lỗi hơn, vì vậy sẽ vui vẻ chi tiền để tạo dựng và phân phối mô hình cho những người khác khắc phục sự cố.
Công ty cho biết trong một bài đăng trên blog: “Ngay cả với tất cả những tiến bộ gần đây trong các mô hình ngôn ngữ lớn, việc tiếp cận nghiên cứu đầy đủ đối với chúng vẫn còn hạn chế do các nguồn lực cần thiết để đào tạo và vận hành các mô hình lớn như vậy. Quyền truy cập bị hạn chế này đã hạn chế khả năng của các nhà nghiên cứu trong việc tìm hiểu cách thức và lý do tại sao các mô hình ngôn ngữ lớn này hoạt động, cản trở tiến trình nỗ lực cải thiện sức mạnh của chúng và giảm thiểu các vấn đề đã biết, chẳng hạn như sai lệch, độc tính và khả năng tạo ra thông tin sai lệch.”
Mô hình ngôn ngữ AI hiện đại của Meta bị rò rỉ trên 4chan một tuần sau khi phát hành
Tuy nhiên, chỉ một tuần sau khi Meta bắt đầu đáp ứng các yêu cầu truy cập LLaMA, mô hình này đã bị rò rỉ lên mạng. Vào ngày 3 tháng 3, một torrent có thể tải xuống của hệ thống này đã được đăng trên 4chan và kể từ đó đã lan rộng khắp các cộng đồng AI khác nhau, làm dấy lên cuộc tranh luận về cách thích hợp để chia sẻ nghiên cứu tiên tiến trong thời điểm công nghệ thay đổi nhanh chóng.
Một số người cho rằng vụ rò rỉ sẽ gây ra những hậu quả đáng lo ngại và đổ lỗi cho Meta vì đã phân phối công nghệ quá tự do. Sau khi tin tức được đưa ra, nhà nghiên cứu an ninh mạng Jeffrey Ladish đã tweet: “Hãy chuẩn bị đón cả một mớ spam và các hình thức lừa đảo được cá nhân hóa. Mở nguồn cung ứng những mô hình này là một ý tưởng tồi tệ.”
Những người khác lạc quan hơn, lập luận rằng quyền truy cập mở là cần thiết để phát triển các biện pháp bảo vệ cho các hệ thống AI và các mô hình ngôn ngữ phức tạp tương tự đã được công khai mà không gây ra tác hại đáng kể.
Các nhà nghiên cứu Sayash Kapoor và Arvind Narayanan đã viết trong một bài đăng trên blog: “Từ lâu, chúng tôi đã biết về một làn sóng các cách sử dụng độc hại [các mô hình ngôn ngữ AI] đang ập đến. Tuy nhiên, dường như chưa có bất kỳ trường hợp nào được ghi nhận.” (Kapoor và Narayanan đã bỏ qua các báo cáo về việc sinh viên gian lận bằng cách sử dụng ChatGPT, các trang web tràn lan thư rác AI hoặc những bài báo đầy lỗi do AI viết được xuất bản, vì các ứng dụng này không nhằm mục đích gây hại và theo định nghĩa của chúng, không độc hại.)
The Verge đã thảo luận với một số nhà nghiên cứu AI đã tải xuống và nói rằng hệ thống đã bị rò rỉ kia là chính xác, bao gồm cả Matthew Di Ferrante, một người đã so sánh phiên bản bị rò rỉ với mô hình LLaMA chính thức do Meta phân phối và xác nhận rằng chúng trùng khớp. Meta từ chối trả lời các câu hỏi từ The Verge về tính xác thực hoặc nguồn gốc của vụ rò rỉ, mặc dù Joelle Pineau, giám đốc điều hành của Meta AI, đã xác nhận trong một thông cáo báo chí rằng “Mặc dù không phải ai cũng có quyền truy cập mô hình [LLaMA]… một số người đã cố gắng phá vỡ quy trình phê duyệt.”
LLaMA là một AI mạnh — nếu bạn có thời gian, kiến thức chuyên môn và phần cứng phù hợp
Vậy, LLaMA khi được thả tự do sẽ nguy hiểm đến đâu? Và mô hình của Meta có thể so sánh với các chatbot có thể truy cập công khai như ChatGPT và Bing như thế nào?
Điểm quan trọng nhất ở đây là người dùng internet bình thường sẽ có được rất ít ích lợi khi tải LLaMA về máy của mình. Đây không phải là một chatbot sẵn sàng nói chuyện mà là một hệ thống AI “thô” cần một lượng kiến thức chuyên môn kỹ thuật kha khá để thiết lập và vận hành. (Nói nhanh: LLaMA cũng không phải là một hệ thống đơn lẻ mà là bốn mô hình có kích thước và nhu cầu tính toán khác nhau. Chúng tôi sẽ nói thêm về điều này sau.)
Di Ferrante nói với The Verge rằng “bất kỳ ai quen với việc thiết lập máy chủ và môi trường nhà phát triển cho các dự án phức tạp” đều có thể vận hành LLaMA “nếu có đủ thời gian và hướng dẫn thích hợp”. (Mặc dù điều đáng chú ý là Di Ferrante cũng là một kỹ sư học máy có kinh nghiệm với quyền truy cập vào “máy trạm học máy với 4 GPU kích thước 24GB” và do đó không đại diện cho số đông dân số.)
LLaMA là một mô hình “thô” đòi hỏi nhiều công sức để đi vào hoạt động
Ngoài rào cản về phần cứng và kiến thức, LLaMA cũng chưa được “tinh chỉnh” để đàm thoại như ChatGPT hay Bing. Tinh chỉnh là quá trình tập trung các khả năng tạo văn bản đa mục đích của mô hình ngôn ngữ vào một nhiệm vụ cụ thể hơn. Nhiệm vụ này có thể khá rộng — như yêu cầu hệ thống “trả lời các truy vấn của người dùng một cách chính xác và rõ ràng nhất có thể” — nhưng việc tinh chỉnh như vậy là một bước cần thiết và thường sẽ khó khăn để có thể tạo ra một sản phẩm thân thiện với người dùng.
Với những hạn chế này, có lẽ việc coi LLaMA là một khu chung cư không có đồ đạc sẽ hữu ích hơn. Rất nhiều công việc nặng nhọc đã được thực hiện — khung nhà đã được xây dựng, có hệ thống điện và hệ thống ống nước — nhưng không có cửa, sàn nhà hay đồ nội thất. Bạn không thể cứ thế chuyển vào ở được.
Stella Biderman, giám đốc phòng thí nghiệm nghiên cứu AI phi lợi nhuận EleutherAI và nhà nghiên cứu học máy tại Booz Allen Hamilton, cho biết nhu cầu tính toán của mô hình sẽ là “rào cản số một” đối với việc sử dụng nó hiệu quả. Biderman nói với The Verge: “Hầu hết mọi người không sở hữu phần cứng cần thiết để chạy được [phiên bản lớn nhất của LLaMA], chứ chưa nói đến chạy hiệu quả.”
Ngoài những cảnh báo này ra, LLaMA vẫn là một công cụ cực kỳ mạnh mẽ. Mô hình này có bốn kích cỡ, được đo bằng hàng tỷ tham số (một số liệu tạm coi là số lượng kết nối trong mỗi hệ thống). Có LLaMA-7B, 13B, 30B và 65B. Meta nói rằng phiên bản 13B – có thể chạy trên một GPU A100, một hệ thống cấp doanh nghiệp tương đối phổ biến, tốn vài đô la một giờ để thuê trên nền tảng đám mây – vượt trội so với mô hình GPT-3 175 tỷ tham số của OpenAI trên nhiều điểm chuẩn cho các mô hình ngôn ngữ AI.
“Tôi nghĩ rằng rất có khả năng việc phát hành mô hình này sẽ là một cột mốc quan trọng.”
Tất nhiên, có rất nhiều tranh luận về tính hợp lý của những so sánh này. Kiểm chuẩn AI nổi tiếng là khó chuyển sang ứng dụng thực tế và một số người dùng LLaMA đã gặp khó khăn trong việc lấy được kết quả tốt từ hệ thống (trong khi những người khác cho rằng đây chỉ là vấn đề kỹ năng). Nhưng kết hợp lại với nhau, các số liệu này cho thấy rằng nếu được tinh chỉnh LLaMA sẽ cung cấp các khả năng tương tự như ChatGPT. Và nhiều nhà quan sát tin rằng bản chất nhỏ gọn của LLaMA sẽ có tác động đáng kể trong việc thúc đẩy sự phát triển.
Shawn Presser, một nhà nghiên cứu AI độc lập, người đã giúp phân phối mô hình bị rò rỉ, nói với The Verge: “Tôi nghĩ rất có thể việc phát hành mô hình này sẽ là một cột mốc quan trọng. Khả năng LLaMA có thể chạy trên một GPU A100 duy nhất — thứ mà “hầu hết chúng ta đều có quyền truy cập… hoặc biết ai đó có thể cho phép chúng ta sử dụng một chút” — là một “bước nhảy vọt lớn”.
Tương lai của ngành nghiên cứu AI: mở hay đóng
Vụ rò rỉ LLaMA cũng rất thú vị vì nó đóng vai trò đại diện cho một cuộc đấu tranh tư tưởng đang diễn ra trong thế giới AI rộng lớn hơn: cuộc chiến giữa các hệ thống “đóng” và “mở”.
Để định nghĩa cho cuộc tranh luận này đòi hỏi một chút đơn giản hóa, và cho rằng tất cả các công ty, nhà nghiên cứu và mô hình AI đều tồn tại ở đâu đó trên trục giữa hai cực “đóng” và “mở”. Nhưng về cơ bản, có những người muốn mở, ủng hộ việc tiếp cận nhiều hơn với các mô hình và nghiên cứu AI, và những người muốn đóng, cho rằng thông tin và công nghệ này cần được tiết lộ một cách thận trọng hơn.
Động lực của hai nhóm này là như nhau (cả hai đều muốn hạn chế những điều có hại và tăng cường những lợi ích của AI cho thế giới) nhưng cách tiếp cận của họ khác nhau. Những người muốn mở lập luận rằng chỉ có cách thử nghiệm rộng rãi các hệ thống AI thì các lỗ hổng bảo mật mới có thể được tìm thấy và phát triển được các biện pháp bảo vệ; việc không cung cấp nguồn mở cho công nghệ này sẽ tập trung quyền lực vào tay các tập đoàn không quan tâm đến nó. Những người muốn đóng trả lời rằng việc cấp quyền cho tất cả như vậy là nguy hiểm và khi AI ngày càng tinh vi thì tỷ lệ thử nghiệm ở nơi công cộng ngày càng cao hơn. Chỉ các tổ chức độc lập mới có thể xem xét kỹ lưỡng và giảm thiểu các mối đe dọa như vậy.
Đối với những người muốn mở, vụ rò rỉ LLaMA là một điều may mắn. Di Ferrante nói rằng việc có các hệ thống nguồn mở “là một điều tốt vì nó không để chúng ta rơi vào một số tình huống độc quyền mà OpenAI et al. là những thực thể duy nhất có khả năng phục vụ [các mô hình AI] phức tạp.” Presser đồng ý và nói rằng trạng thái “thô” của LLaMA đặc biệt hấp dẫn về mặt này. Điều đó có nghĩa là các nhà nghiên cứu độc lập có thể tinh chỉnh các hệ thống của Meta cho phù hợp với mục đích của riêng họ; biến khung trống của nó thành cửa hàng, văn phòng hoặc bất cứ thứ gì họ thích.
Presser cho rằng các phiên bản tương lai của LLaMA có thể được lưu trữ trên máy tính cá nhân và tập trung vào email cá nhân; có thể trả lời các câu hỏi về lịch làm việc, ý tưởng trong quá khứ, danh sách việc cần làm, v.v. Đây là chức năng mà các công ty khởi nghiệp và công ty công nghệ đang phát triển, nhưng đối với nhiều nhà nghiên cứu AI, ý tưởng kiểm soát cục bộ hấp dẫn hơn nhiều. (Đối với người dùng thông thường, sự đánh đổi giữa chi phí và quyền riêng tư để dễ sử dụng có thể sẽ khiến mọi thứ thay đổi theo hướng khác.)
“Nếu chúng ta không tôn trọng những nỗ lực thiện chí của mọi người trong việc phổ biến công nghệ thì [mọi thứ công nghệ] sẽ khó phát hành hơn.”
Bất kể sức mạnh của các mô hình phổ biến AI mở hay đóng, Biderman lưu ý rằng vụ rò rỉ có thể gây hại về mặt làm mất lòng tin giữa các công ty như Meta và các học giả đang chia sẻ nghiên cứu với họ. “Nếu chúng ta không tôn trọng những nỗ lực thiện chí của mọi người nhằm phổ biến công nghệ theo những cách phù hợp với nghĩa vụ pháp lý và đạo đức của họ, thì điều đó sẽ chỉ tạo ra mối quan hệ bất lợi hơn giữa công chúng và các nhà nghiên cứu và khiến mọi thứ công nghệ trở nên khó phát hành hơn.” Cô lưu ý.
Tuy nhiên, chúng ta đã thấy những sự kiện như thế này trước đây. Mặc dù OpenAI là nơi đầu tiên đưa các hệ thống chuyển văn bản thành hình ảnh trở thành xu hướng chủ đạo với DALL-E 2 (được phát hành dưới dạng API đóng một cách trớ trêu), công ty đã mắc sai lầm khi tung ra Stable Diffusion, một lựa chọn thay thế sử dụng mã nguồn mở. Sự xuất hiện của Stable Diffusion đã tạo ra vô số ứng dụng và cải tiến trong không gian nghệ thuật AI và đã dẫn đến — sử dụng các thuật ngữ trước đây của tôi — nhiều điều cả tốt cả xấu xảy ra. Với việc thả lỏng LLaMA của Meta, chúng ta có thể sẽ thấy một động lực tương tự diễn ra một lần nữa với việc tạo văn bản AI: nhiều nội dung hơn, nhiều thời gian hơn.
Dịch giả: Vũ Ngọc Bảo
Link bài gốc: https://www.theverge.com/2023/3/8/23629362/meta-ai-language-model-llama-leak-online-misuse