
OpenAI усиливает защиту ChatGPT Atlas от атак на вставку приглашений, используя автоматизированное красное командование, обученное с помощью обучения с подкреплением. Этот метод позволяет выявлять новые уязвимости на ранних этапах и укреплять защиту браузерного агента по мере того, как ИИ становится более автономным.
Этот подход, называемый «петляю выявления и исправления», помогает OpenAI оперативно реагировать на новые угрозы и улучшать безопасность системы. Это особенно важно в условиях роста автономности ИИ, что может увеличить риски для безопасности.
комментарий редакции
Что это значит
Этот подход может стать стандартом для защиты ИИ-систем в будущем, особенно по мере роста автономности ИИ. Однако остается неясно, насколько эффективно это будет работать в реальных условиях и как часто потребуется обновлять системы.