Startup an toàn AI White Circle huy động được 11 triệu USD từ các nhà lãnh đạo trong ngành

(P1) Startup an ninh mạng của Pháp White Circle đã huy động được 11 triệu USD trong vòng hạt giống để mở rộng nền tảng kiểm soát AI, một lớp bảo mật mới cho các doanh nghiệp đang triển khai các mô hình ngôn ngữ lớn. Khoản tài trợ này được đưa ra khi các doanh nghiệp đang phải vật lộn với những rủi ro nằm ngoài các bộ lọc an toàn chung do các nhà cung cấp mô hình xây dựng, chẳng hạn như rò rỉ dữ liệu, ảo giác và các cuộc tấn công chèn câu lệnh (prompt injection).

(P2) "Jailbreak (vượt rào) chỉ là một phần của vấn đề," Denis Shilov, người sáng lập và CEO của White Circle, nói với Fortune. "Theo nhiều cách con người có thể cư xử không đúng mực, các mô hình cũng có thể như vậy. Chúng tôi thực sự đang thực thi hành vi."

(P3) Vòng đầu tư đã chứng kiến sự tham gia của một danh sách các nhà lãnh đạo trong ngành AI, báo hiệu sự tin tưởng mạnh mẽ vào cách tiếp cận của công ty. Các nhà tài trợ bao gồm Trưởng bộ phận Trải nghiệm Nhà phát triển của OpenAI Romain Huet, Durk Kingma của Anthropic, người đồng sáng lập Mistral Guillaume Lample và người đồng sáng lập Hugging Face Thomas Wolf. Công ty sẽ sử dụng số vốn này để thuê nhân tài mới, đẩy nhanh phát triển sản phẩm và phát triển cơ sở khách hàng tại Hoa Kỳ, Vương quốc Anh và Châu Âu.

(P4) Nhu cầu về một lớp kiểm soát chuyên dụng trở nên cấp thiết hơn khi các công ty chuyển từ chatbot đơn giản sang các đại lý AI tự trị có thể thực hiện các hành động như truy cập tệp hoặc hoàn tiền. Nền tảng của White Circle nằm giữa người dùng của công ty và các mô hình AI của nó, giám sát tất cả các đầu vào và đầu ra trong thời gian thực để thực thi các chính sách tùy chỉnh, một chức năng mà chính các nhà cung cấp mô hình có các động cơ trái chiều để hoàn thiện.

Startup có trụ sở tại Paris được thành lập từ nghiên cứu của riêng Shilov vào cuối năm 2024, khi ông phát triển một câu lệnh jailbreak phổ quát có thể vượt qua các rào chắn an toàn của mọi mô hình AI hàng đầu. Sau khi những phát hiện của ông lan truyền nhanh chóng trên X, các phòng thí nghiệm AI lớn như Anthropic đã mời ông thử nghiệm các mô hình của họ, thuyết phục ông rằng các công ty cần nhiều hơn là chỉ những mô hình tốt hơn—họ cần các biện pháp kiểm soát tốt hơn.

Phần mềm của White Circle được thiết kế để nắm bắt một loạt các hành vi sai trái của mô hình. Nó có thể chặn nỗ lực tạo mã độc của người dùng, gắn cờ khi một mô hình gặp ảo giác và hứa với khách hàng một khoản hoàn trả không được phép, hoặc ngăn chặn một đại lý AI làm rò rỉ dữ liệu tài chính nhạy cảm. Nền tảng này đã xử lý hơn một tỷ yêu cầu API và đang được sử dụng bởi startup Lovable cùng một số công ty fintech và luật pháp, mặc dù số liệu doanh thu cụ thể chưa được tiết lộ.

Để củng cố uy tín như một trọng tài độc lập, bộ phận nghiên cứu của White Circle đã công bố "KillBench", một nghiên cứu đã thực hiện hơn một triệu thử nghiệm trên 15 mô hình AI từ các nhà cung cấp bao gồm OpenAI, Google và xAI. Nghiên cứu đã tiết lộ các định kiến tiềm ẩn xuất hiện trong các tình huống rủi ro cao, làm nổi bật các rủi ro không rõ ràng trong quá trình sử dụng thông thường.

Khoản đầu tư này là một sự đặt cược mạnh mẽ vào nền kinh tế "cuốc và xẻng" đang phát triển xung quanh lĩnh vực AI. Sự tham gia của các giám đốc điều hành từ các phòng thí nghiệm AI đối thủ như OpenAI, Anthropic và Mistral cho thấy một sự đồng thuận rộng rãi rằng một lớp thực thi của bên thứ ba là một thành phần cần thiết của hệ thống AI doanh nghiệp. Điều này chỉ ra sự xuất hiện của một danh mục thị trường mới, quan trọng cho các nhà đầu tư tập trung vào cơ sở hạ tầng và an toàn AI.

Bài viết này chỉ nhằm mục đích cung cấp thông tin và không cấu thành lời khuyên đầu tư.