OpenAI

Как мы выявляем проблемный контент в наших сервисах для частных лиц

Обновлено: 12 days ago

Мы считаем, что ответственная итеративная разработка и внедрение — это путь к созданию безопасного общего искусственного интеллекта. Мы проводим значительный объём проверок на безопасность и согласованность — тестирование и смягчение рисков — прежде чем вообще запускать модель для широкой публики; кроме того, у нас есть автоматические и ручные системы, которые помогают обнаруживать проблемный контент, появляющийся в наших сервисах для частных лиц, таких как ChatGPT и GPTs. Ниже мы кратко описываем некоторые из этих усилий.

ChatGPT, ImageGen и SORA

Мы используем автоматизированные инструменты — например, внутреннюю версию нашего API /moderations — чтобы выявлять контент (запросы, ответы, загрузки), который может быть вредоносным или нарушать наши Правила использования. Если мы обнаружим проблемный контент, обычно мы либо предупреждаем вас о том, что ваш контент может нарушать наши правила использования, либо блокируем модели ответ на ваш запрос. Мы также можем запретить делиться чатом с проблемным запросом или ответом. В очень ограниченном числе случаев мы также можем заблокировать ваш аккаунт за вопиющее нарушение.

Мы также принимаем сообщения от людей о проблемном контенте в ChatGPT и SORA. Мы используем сочетание автоматизированных систем и обученной команды экспертов для проверки таких сообщений.

  • ChatGPT: Если кто-то поделился чатом, который, по вашему мнению, содержит проблемный контент, вы также можете сообщить нам об этом.

  • SORA: Если вы видите в своей ленте видео или изображение, которое, по вашему мнению, содержит проблемный контент, вы можете сообщить нам об этом.

Подробнее о том, как сообщать о контенте непосредственно в ChatGPT или SORA, см. эту статью.

GPTs

Мы также используем автоматизированные инструменты, например наш API /moderation, чтобы определять, не является ли GPT потенциально проблемным. Если мы обнаружим проблемный контент, связанный с GPT, мы примем меры — например, запретим его распространение. Создатель может отредактировать конфигурацию GPT или API, чтобы удалить проблемный контент, либо обжаловать решение через встроенный в продукт процесс. В очень ограниченном числе случаев мы также можем заблокировать аккаунт создателя за вопиющее нарушение.

Мы также принимаем сообщения от людей о проблемных GPT. Если вы видите GPT, который, по вашему мнению, нарушает наши правила использования или иным образом содержит проблемный контент, вы также можете сообщить нам об этом. Мы используем сочетание автоматизированных систем и обученной команды экспертов для проверки таких сообщений.

Была ли эта статья полезной?