OpenAI는 더 안전하고 투명한 AI 생태계를 만들기 위한 노력의 일환으로, 콘텐츠가 OpenAI 모델로 생성되었는지 사람들이 파악할 수 있도록 출처 신호를 사용합니다.

출처 신호는 콘텐츠의 출처에 관한 유용한 정보를 제공할 수 있지만, 콘텐츠가 정확한지, 편집되지 않았는지, 적법한 소유권이 있는지, 올바른 맥락에서 제시되었는지를 보장하지는 않습니다.

OpenAI의 출처 신호

OpenAI는 어떤 출처 신호를 사용하나요?

OpenAI는 콘텐츠 유형에 따라 서로 다른 출처 신호를 사용합니다.

적용 범위는 제품, 모델, 내보내기 경로, 파일 형식, 콘텐츠 생성 시점에 따라 달라질 수 있습니다. gpt-image-1, gpt-image-1.5, sora-2 등 곧 지원이 중단될 예정인 모델을 제외한 API 출력에 적용됩니다. 

일부 콘텐츠 유형에 여러 신호를 사용하는 이유는 무엇인가요?

OpenAI는 기술적으로 가능한 경우 메타데이터와 워터마크를 함께 사용해 서로의 한계를 보완합니다. 메타데이터는 상세한 정보를 담을 수 있지만, 플랫폼이나 편집 도구를 사용하거나 파일을 변환하는 과정에서 제거될 수 있습니다. 워터마크는 담을 수 있는 맥락 정보가 더 적지만, 생성된 콘텐츠 자체에 삽입되므로 메타데이터가 제거되는 일부 변형 과정을 거친 뒤에도 남아 있을 수 있습니다. 

콘텐츠가 수정되어도 출처 신호는 얼마나 잘 유지되나요?

이미지와 오디오용 SynthID 워터마크, 텍스트용 textGrain 워터마크는 일반적인 변경에도 유지되도록 설계되었습니다. 콘텐츠 유형에 따라 간단한 편집, 복사 및 붙여넣기, 자르기, 스크린샷 촬영 등이 여기에 해당할 수 있습니다. 이미지를 크게 잘라내거나 파일을 압축하고, 표현을 대폭 바꾸거나 번역하는 등 변경의 폭이 크면 워터마크를 감지하지 못할 수 있습니다. 대폭 수정한 결과물을 ‘OpenAI로 생성된 콘텐츠’라고 표현하는 것 역시 의미가 줄어들 수 있습니다.

콘텐츠 출처 및 진위 확인 연합이 개발한 콘텐츠 자격 증명은 스크린샷 촬영이나 파일 변환 같은 일상적인 작업만으로도 사라질 수 있습니다. 콘텐츠 자격 증명이 유지되어 있다면 워터마크만 있을 때보다 파일의 출처와 이력에 관한 더 자세한 정보를 제공할 수 있습니다.

OpenAI는 기술적으로 가능한 경우 두 가지 방식을 모두 사용해 콘텐츠가 변경되어도 출처 정보가 유지될 가능성을 높입니다.

콘텐츠 자격 증명이란 무엇이며, 어떤 역할을 하나요?

콘텐츠 자격 증명은 어떤 도구로 언제 생성되었는지 등 파일의 출처와 이력에 관한 정보를 첨부합니다. 콘텐츠 출처 및 진위 확인 연합(C2PA)이 개발한 개방형 표준을 사용하기 때문에 ‘C2PA 메타데이터’라고도 불립니다.

콘텐츠 자격 증명은 사람들이 콘텐츠의 출처를 확인하는 데 도움을 줍니다. AI로 생성된 콘텐츠에만 사용되는 것은 아닙니다. 카메라 제조업체, 언론사 등도 이 표준을 사용해 자사 미디어의 출처와 이력을 인증합니다. C2PA에 대해 자세히 알아보기.

SynthID란 무엇이며, 어떤 역할을 하나요?

SynthID는 Google DeepMind가 개발한 비가시적 워터마킹 기술로, 생성된 미디어에 신호를 직접 삽입합니다. 메타데이터와 달리 이 신호는 콘텐츠 자체의 일부이므로 일부 편집이나 변형을 거친 뒤에도 유지될 수 있습니다. SynthID는 C2PA 메타데이터에 더해 추가적인 출처 신호를 제공합니다. 예를 들어 파일에서 메타데이터가 제거되더라도 삽입된 워터마크는 해당 콘텐츠가 지원 대상 OpenAI 도구로 생성되었음을 나타내는 신호로 남아 있을 수 있습니다. SynthID에 대해 자세히 알아보기.

텍스트 출력에 워터마크를 적용하는 이유는 무엇인가요?

OpenAI는 EU AI 법을 준수하고, 여러 주요 AI 제공업체와 함께 서명한 EU의 AI 생성 콘텐츠 투명성 실천 강령에 따른 약속을 이행하기 위해 EU 지역 ChatGPT 사용자에게 텍스트 워터마킹을 적용하고 있습니다. 

textGrain이란 무엇이며, 어떤 역할을 하나요?

textGrain은 OpenAI의 텍스트 워터마킹 기술입니다. 모델이 글을 쓸 때 후보 단어나 단어 조각 중 하나를 무작위로 선택하는 방식을 미세하게 조정합니다. 이러한 선택들이 글 전체에 걸쳐 패턴을 형성하므로, 일부 편집을 거친 뒤에도 감지기가 이 패턴을 찾아낼 수 있습니다.

워터마크는 문구 자체에 포함되며 독자에게는 보이지 않습니다. 숨겨진 문자나 보이지 않는 공백, 특이한 문장 부호를 추가하지 않습니다. 텍스트 워터마킹은 생성된 텍스트에 표시를 하도록 요구하는 EU AI 법의 요건을 준수하는 데 도움이 됩니다.

OpenAI의 검증 도구

콘텐츠가 OpenAI 도구로 생성되었는지 어떻게 확인할 수 있나요?

openai.com/verify에서 지원되는 이미지 또는 오디오 파일에 OpenAI 도구로 생성하거나 내보낸 콘텐츠와 관련된 출처 신호가 있는지 확인할 수 있습니다. 지원되는 파일을 업로드하면 이 도구가 SynthID 워터마크나 OpenAI와 관련된 신뢰할 수 있는 C2PA 매니페스트 등 지원 대상 OpenAI 출처 신호를 찾습니다. 도구가 지원 대상 OpenAI 출처 신호를 찾았다면 해당 콘텐츠가 OpenAI 모델로 생성되었을 가능성이 높다는 뜻입니다.

개발자와 조직은 OpenAI의 Content Provenance API를 사용해 이미지와 오디오에서 OpenAI 출처 신호를 확인하고, 자체 애플리케이션이나 워크플로에 검증 기능을 통합할 수도 있습니다. 자격 요건에 맞는 용도로 사용하는 조직은 한도 상향을 신청할 수 있습니다. 

텍스트의 경우, OpenAI는 EU AI 법에 따른 의무에 맞춰 자격 요건에 해당하는 조직이 텍스트 감지기 이용 권한을 신청할 수 있도록 하고 있습니다. 텍스트 출처, 감지의 신뢰성, 사람들이 출처 확인 결과를 이해하는 방식 등을 연구하는 학술·연구 기관이 여기에 포함됩니다. 자격을 갖춘 조직의 신청을 개별적으로 검토한 뒤, 필요에 따라 진행 상황을 안내하거나 추가 정보를 요청하겠습니다. 더 많은 경험을 쌓고 기술을 개선함에 따라 이용 권한 제공 방식도 달라질 수 있습니다.

현재 OpenAI는 이 기술의 역량과 한계를 더 잘 이해하고 텍스트 워터마킹을 개선하기 위해 소수의 연구자들과 협력하고 있습니다. 여기에는 코넬대학교 컴퓨터과학과 조교수 존 틱스턴, ETH 취리히 컴퓨터과학과 교수이자 INSAIT의 과학 디렉터인 마르틴 베체프, 켐펠렌 지능기술연구소(KInIT)의 연구자들이 포함됩니다.

누가 검증 한도 상향 대상이며, 확인 작업에 요금이 부과되나요?

Content Provenance API를 통한 확인은 현재 무료이며 사용 한도가 적용됩니다. 한도 상향 프로그램은 자격 요건에 맞는 공익 목적의 출처 확인 프로젝트에 중점을 둡니다. 일반적인 상업용 사기 탐지 작업은 현재 대상에 포함되지 않습니다. 자격 요건에 맞는 용도로 사용하는 조직은 한도 상향을 신청할 수 있지만, 신청서를 제출한다고 해서 승인이 보장되는 것은 아닙니다. 공개 API는 소규모 평가를 비롯한 용도로 기본 한도 내에서 계속 사용할 수 있습니다. 현재 사용 한도는 Content Provenance API 문서를 참고하세요.

검증 결과는 무엇을 의미하나요?

openai.com/verify 또는 OpenAI의 Content Provenance API에서 신호가 감지되면, 업로드한 콘텐츠에 OpenAI와 관련된 지원 대상 출처 신호가 포함되어 있다는 뜻입니다. 이 도구는 콘텐츠가 정확한지, 편집되지 않았는지, 적법한 소유권이 있는지, 올바른 맥락에서 제시되었는지를 확인해 주지는 않습니다. 또한 콘텐츠를 누가, 왜 만들었는지도 알려주지 않습니다.

신호가 감지되지 않았다면 업로드한 파일에서 도구가 OpenAI가 부여한 출처 신호를 찾지 못했다는 뜻입니다. 다음과 같은 경우에는 신호가 감지되지 않아도 OpenAI로 생성하거나 내보낸 콘텐츠일 수 있습니다.

• 출처 신호가 도입되기 전에 생성된 콘텐츠인 경우.

• 지원되지 않는 제품, 모델, 내보내기 경로 또는 파일 형식에서 나온 콘텐츠인 경우.

• 업로드, 다운로드, 편집, 변환 또는 공유 과정에서 메타데이터가 제거된 경우.

• 압축, 자르기, 노이즈, 편집, 형식 변환이나 기타 변형으로 워터마크가 손상된 경우.

• 오디오 클립이 너무 짧거나 크게 수정된 경우.

가장 신뢰할 수 있는 검증 결과를 얻으려면 어떻게 해야 하나요?

지원되는 파일을 한 번에 하나씩 업로드하고, 가능하면 내보낸 원본 파일을 사용하세요. 이미지는 확인하기 전에 자르거나 파일 형식을 변환하지 마세요. 오디오는 일반적으로 10~60초 길이의 클립에서 가장 좋은 결과를 얻을 수 있습니다. 신호가 감지되지 않더라도 결론을 내리기 전에 파일의 출처와 맥락을 고려하세요.

결과에 제 프롬프트나 개인정보가 표시되나요?

출처 신호에는 사용자, 조직 또는 프롬프트에 관한 세부 정보가 포함되지 않습니다. 

openai.com/verify 또는 Content Provenance API로 검증한 콘텐츠는 어떻게 처리되나요?

openai.com/verify에 업로드하거나 검증을 위해 Content Provenance API에 제출한 콘텐츠는 지원 대상 출처 신호를 확인하는 용도로만 처리됩니다. 콘텐츠는 법적으로 필요한 경우가 아니면 저장되지 않으며, OpenAI 모델 학습에도 사용되지 않습니다. 

OpenAI는 다른 AI 도구로 생성된 콘텐츠도 감지할 수 있나요?

OpenAI의 콘텐츠 출처 확인 도구는 OpenAI 모델로 생성하거나 OpenAI 도구로 내보낸 콘텐츠와 관련된 지원 대상 출처 신호를 감지하도록 설계되었습니다. 다른 AI 모델로 생성된 콘텐츠를 감지하도록 설계되지는 않았습니다. 또한 관련 신호가 없거나, 지원되지 않거나, 손상된 경우에는 OpenAI로 생성된 콘텐츠도 감지하지 못할 수 있습니다.

워터마킹의 작동 방식

워터마크로 저작자, 소유권 또는 법적 책임을 판단할 수 있나요?

아니요. 워터마크는 OpenAI 모델이 해당 콘텐츠를 생성하거나 처리했을 가능성이 높다는 증거입니다. 워터마크만으로는 콘텐츠를 누가 작성했거나 소유하는지, 공개 의무가 있었는지, 누가 법적 책임을 지는지를 확정할 수 없습니다. 모델이 사용자가 업로드한 콘텐츠를 편집한 것인지도 알려주지 않습니다.

워터마크로 OpenAI 모델이 어느 정도 관여했는지 알 수 있나요?

아니요. 감지기는 워터마크를 찾았는지만 보고합니다. 워터마크가 발견되면 OpenAI 모델이 콘텐츠를 생성하거나 처리했을 가능성이 높다는 증거가 됩니다. 하지만 모델이 콘텐츠의 일부를 생성했는지 전부를 생성했는지, 사람이 얼마나 기여했는지는 알 수 없습니다.

텍스트 워터마킹은 어떻게 작동하나요?

텍스트 워터마킹은 모델이 글을 쓰면서 ‘토큰’이라고 하는 단어와 단어 조각을 선택할 때 비밀 패턴을 만듭니다.

모델은 각 단계에서 다음에 올 수 있는 각 토큰에 확률을 부여합니다. 워터마킹 시스템은 이 확률들을 조정해 여러 확률 집합을 만듭니다. 각 집합은 비밀 키에 따라 서로 다른 선택지가 더 유리하도록 조정됩니다. 이 집합들은 전체 평균을 내면 모델의 원래 확률과 일치하도록 균형이 맞춰져 있습니다. 키가 사용할 집합을 선택하면, 모델은 해당 집합에서 새로 무작위 선택을 합니다.

나중에 같은 키와 일치하는 설정을 가진 감지기가 텍스트에서 비밀 패턴이 우연히 나타날 때보다 더 자주 나타나는지 확인할 수 있습니다.

사실 위주의 텍스트나 사용자가 제공한 텍스트에도 워터마크가 적용되나요?

텍스트 워터마킹은 모델이 같은 내용을 여러 방식으로 표현할 수 있어야 작동합니다. 수학 문제의 답처럼 사실에 충실하거나 정밀해야 하는 답변, 또는 제공된 텍스트를 변경 없이 그대로 재현하라는 요청에서는 표현을 선택할 여지가 적습니다. 이런 경우 모델이 눈에 띄는 차이 없이 문구를 바꿀 수 있는 여지가 적어 워터마크가 감지되지 않을 수 있습니다.

짧은 답변과 코드에도 텍스트 워터마크가 적용되나요?

짧은 글은 대개 워터마크를 신뢰할 만하게 감지하기에 텍스트 분량이 충분하지 않습니다. 코드 역시 일반적인 글보다 다음에 올 수 있는 적절한 선택지가 적어 워터마크를 적용하기가 더 어렵습니다.

이러한 한계를 고려해, EU AI 법의 AI 생성 콘텐츠 투명성 실천 강령은 200토큰 미만(영어로 약 150단어)의 출력이나 코드 스니펫에는 워터마크를 요구하지 않습니다.

언어에 따라 텍스트 워터마크 감지가 어떻게 달라지나요?

감지율은 언어마다 다르며, 현재 일부 언어에서는 다른 언어보다 더 쉽게 감지됩니다. 신호가 약한 언어에서는 워터마크 강도를 조절해 감지율을 높일 수 있습니다.

이 차트는 EU의 24개 공식 언어 전체에 대한 감지율 평가 결과를 보여줍니다. 먼저 다양한 주제의 합성 영어 프롬프트 500개를 생성한 뒤, 이를 나머지 23개 언어로 번역했습니다. 거짓 양성률 1% 기준으로 스페인어의 감지율이 가장 높고(69.0%), 루마니아어가 가장 낮습니다(42.2%). OpenAI의 워터마크에는 강도를 조절하는 매개변수가 있습니다. 분야에 따라 워터마크 신호를 강화하거나 약화하는 ‘조절 장치’입니다. 이 조절 기능으로 감지율이 60% 미만인 언어의 워터마크 강도를 높일 수 있었습니다. 막대의 연한 파란색 부분은 그에 따른 감지율 향상을 보여줍니다.

텍스트 워터마크가 모델의 품질을 떨어뜨리나요?

OpenAI의 테스트에서는 품질 저하가 나타나지 않았습니다. 최신 프런티어 모델인 Astra를 평가하는 데 사용하는 벤치마크 전반에서, 워터마킹 적용 여부에 따른 성능 차이는 반복 평가 시 일반적으로 관찰되는 변동 범위 내에 있었습니다. 이전에 ChatGPT에서 진행한 테스트에서도 워터마킹 도입에 따른 ‘별로예요’ 평가 비율이나 기타 제품 지표의 변화는 나타나지 않았습니다. 

텍스트 워터마크가 모델의 속도를 떨어뜨리나요?

텍스트 워터마킹이 OpenAI 모델의 속도에 미치는 영향은 미미합니다. 

OpenAI의 텍스트 워터마크는 외부 AI 감지 도구와 어떻게 다른가요?

Pangram과 같은 외부 감지 도구는 일반적으로 분류기를 사용해 단어 선택 등의 패턴으로 AI 생성 텍스트를 식별합니다. 이 방식은 삽입된 신호를 감지하는 것이 아니라 생성이 끝난 텍스트를 분석합니다. EU AI 법은 생성된 텍스트에 신호를 삽입하도록 명시적으로 요구합니다. 

TextSeal이나 SynthID 대신 자체 텍스트 워터마크를 사용하는 이유는 무엇인가요?

OpenAI는 워터마크 감지 용이성과 동일한 프롬프트에서 생성되는 응답의 다양성 사이의 균형을 SynthID나 TextSeal보다 더 세밀하게 조절하기 위해 textGrain이라는 자체 텍스트 워터마킹 방식을 개발했습니다. 테스트에서 OpenAI의 방식이 워터마크가 있는 텍스트 샘플을 올바르게 식별한 비율은 텍스트용 SynthID와 비슷하거나 더 높았습니다. 다른 이들이 이를 기반으로 개발하고 텍스트 워터마킹 개선에 기여할 수 있도록 textGrain을 오픈 소스 기술로 공개할 계획입니다.

텍스트 워터마킹을 적용하면 숨겨진 문자나 추가 토큰이 생기거나 눈에 보이는 변화가 있나요?

아니요. 텍스트 워터마킹은 단어 선택의 통계적 패턴을 바꿀 뿐, 숨겨진 문자를 삽입하거나 워터마크 전용 토큰을 추가하지 않습니다. 워터마크는 독자에게 보이지 않으며, 텍스트를 복사하여 붙여넣어도 숨겨진 요소가 추가되지 않습니다.

고객 안내

API 고객인데, 텍스트 워터마크를 어떻게 활성화하나요?

OpenAI API 고객은 설정에서 특정 프로젝트의 텍스트 워터마킹을 활성화하거나, 조직 설정에서 조직 전체에 활성화할 수 있습니다. 어느 경우든 텍스트 워터마크를 적용할 모델을 선택할 수 있습니다. 지원되는 모델에서 이 기능을 활성화하면 OpenAI가 텍스트 생성 과정에서 워터마크를 추가합니다. 고객이 응답마다 별도의 표시를 추가할 필요는 없습니다.

‘텍스트 워터마킹 허용’을 켜고 모델을 선택한 다음 ‘저장’을 선택하세요.

조직 기본 설정: 조직 설정 → 데이터 제어 → 텍스트 출처.

프로젝트별 재정의: 프로젝트 설정 → 텍스트 출처.

어떤 모델에서 워터마크를 활성화할 수 있나요?

설정과 조직 설정에서 현재 워터마킹을 지원하는 모델 목록을 확인할 수 있습니다. 앞으로 몇 주에 걸쳐 모든 레거시 모델로 지원 범위를 확대할 예정입니다.

텍스트 워터마크를 활성화하면 텍스트 감지기도 이용할 수 있나요?

아니요. 현재 텍스트 감지기는 승인을 받은 연구·학술 기관만 이용할 수 있습니다. 이러한 기관은 텍스트 워터마킹의 신뢰성과 사용 편의성을 높이고, 기술과 그 결과를 더 명확하게 설명하는 방법을 연구합니다. 이는 EU AI 법의 AI 생성 콘텐츠 투명성 실천 강령에 따른 OpenAI의 약속에 부합합니다.

콘텐츠를 변형한 뒤에도 신호가 남아 있나요?

남아 있을 수 있지만, 신호의 종류와 변경 내용에 따라 달라집니다.

지원되는 이미지와 오디오는 원본 사본을 보관하고, 편집·변환·게시 후 대표적인 파일을 Content Provenance API로 테스트하세요. 이미지는 자르기, 노이즈 추가, JPEG로 변환, 스크린샷 촬영 등을 하면 신호를 감지하기 어려워질 수 있습니다. 텍스트는 소속 조직이 텍스트 감지기 이용 승인을 받은 경우에만 이와 같은 방식으로 테스트할 수 있습니다.

파일 형식과 워크플로에서 지원한다면 기존 C2PA 메타데이터를 보존하고, 제작하는 파일에 콘텐츠 자격 증명을 포함하세요. 출처 정보가 더 오래 유지되거나 더 유용해지도록 자체 표시를 추가하는 방법도 고려할 수 있습니다. 구현에 관한 자세한 내용은 C2PA 기술 문서를 참고하세요.

텍스트의 경우 워터마크는 모델의 단어 선택에 포함됩니다. 문구를 그대로 유지하면 별도의 통합 작업 없이 텍스트를 재사용해도 신호가 남아 있을 것으로 예상됩니다. 글을 대폭 다시 쓰거나 표현을 바꾸거나 번역하면 감지의 신뢰성이 낮아질 수 있습니다. 문구를 바꾸지 않아도 워터마크 감지가 보장되는 것은 아닙니다. 특히 짧은 글이나 단어를 다르게 선택할 여지가 적은 텍스트에서는 더욱 그렇습니다.

클라우드 서비스를 통해 OpenAI 모델을 이용하고 있습니다. 이렇게 생성된 출력에도 출처 신호가 포함되나요?

OpenAI는 모든 클라우드 및 유통 제공업체와 협력해 이미지, 오디오, 텍스트를 비롯한 모든 적용 대상 출력에 워터마크 등의 출처 신호가 삽입되도록 하고 있습니다. 지원 여부는 출력과 파트너에 따라 다를 수 있습니다. 

출처 신호가 눈에 보이는 AI 라벨이나 기타 고지를 대체하나요?

아니요. 워터마크와 C2PA 메타데이터는 소프트웨어가 읽을 수 있는 정보를 제공합니다. 필요에 따라 표시해야 하는 눈에 보이는 라벨, 배너 또는 기타 안내를 대체하지는 않습니다.

추가 고지가 필요한지는 콘텐츠를 어디서 어떻게 사용하는지에 따라 달라집니다. OpenAI는 고객의 구체적인 법적 의무에 관해 자문할 수 없습니다. 고객의 법무팀에서 해당 사용 방식에 적용되는 요건을 검토해야 합니다.

EU AI 법과 관련해 더 궁금한 점이 있습니다

EU AI 법 관련 문의를 제출해 주시면 답변드리겠습니다.