OpenAI는 더 안전하고 투명한 AI 생태계를 만들기 위한 노력의 일환으로, 콘텐츠가 OpenAI 모델로 생성되었는지 사람들이 파악할 수 있도록 출처 신호를 사용합니다.

출처 신호는 콘텐츠의 출처에 관한 유용한 정보를 제공할 수 있지만, 콘텐츠가 정확하거나, 편집되지 않았거나, 소유권이 적법하거나, 올바른 맥락에서 제시되었다는 점을 보장하지는 않습니다.

OpenAI의 출처 신호

OpenAI는 어떤 출처 신호를 사용하나요?

OpenAI는 콘텐츠 유형에 따라 서로 다른 출처 신호를 사용합니다.

적용 범위는 제품, 모델, 내보내기 경로, 파일 형식, 콘텐츠 생성 시점에 따라 달라질 수 있습니다. API 출력에도 적용되지만, gpt-image-1, gpt-image-1.5, sora-2 등 곧 지원이 중단될 예정인 모델은 제외됩니다. 

일부 콘텐츠 유형에는 왜 여러 신호를 사용하나요?

OpenAI는 기술적으로 가능한 경우 메타데이터와 워터마크를 함께 사용해 서로의 한계를 보완합니다. 메타데이터에는 상세한 정보를 담을 수 있지만, 플랫폼이나 편집 도구를 사용하거나 파일을 변환하는 과정에서 삭제될 수 있습니다. 워터마크에 담을 수 있는 맥락 정보는 더 적지만, 생성된 콘텐츠 자체에 삽입되므로 메타데이터가 삭제되는 일부 변환 과정을 거친 후에도 남아 있을 수 있습니다. 

콘텐츠를 수정해도 출처 신호가 잘 유지되나요?

이미지와 오디오용 SynthID 워터마크, 텍스트용 TextGrain 워터마크는 일반적인 변경에도 유지되도록 설계되었습니다. 콘텐츠 유형에 따라 가벼운 편집, 복사 및 붙여넣기, 자르기, 스크린샷 등이 여기에 해당할 수 있습니다. 이미지의 상당 부분을 잘라내거나, 파일을 압축하거나, 표현을 대폭 바꾸거나, 번역하는 등 더 큰 변경을 가하면 워터마크를 감지할 수 없게 될 수 있습니다. 콘텐츠를 크게 변경한 후에는 결과물을 ‘OpenAI가 생성한 콘텐츠’라고 설명하는 것의 의미도 줄어들 수 있습니다.

콘텐츠 출처 및 진위 확인을 위한 연합(Coalition for Content Provenance and Authenticity)이 개발한 콘텐츠 자격 증명은 스크린샷 촬영이나 파일 변환 같은 일상적인 작업으로도 사라질 수 있습니다. 콘텐츠 자격 증명이 유지된 경우, 워터마크만 있을 때보다 파일의 출처와 이력에 관해 더 자세한 정보를 제공할 수 있습니다.

OpenAI는 기술적으로 가능한 경우 두 방법을 모두 사용해 콘텐츠가 변경되어도 출처 정보가 유지될 가능성을 높입니다.

콘텐츠 자격 증명이란 무엇이며, 어떤 기능을 하나요?

콘텐츠 자격 증명은 파일을 생성한 도구와 생성 시점 등 파일의 출처와 이력에 관한 정보를 첨부합니다. 콘텐츠 출처 및 진위 확인을 위한 연합(C2PA)이 개발한 개방형 표준을 사용하므로 ‘C2PA 메타데이터’라고도 불립니다.

콘텐츠 자격 증명은 사람들이 콘텐츠의 출처를 확인하는 데 도움을 줍니다. AI가 생성한 콘텐츠에만 사용되는 것은 아닙니다. 카메라 제조사, 언론사 등도 이 표준을 사용해 미디어의 출처와 이력을 인증합니다. C2PA에 대해 자세히 알아보기.

SynthID란 무엇이며, 어떤 기능을 하나요?

SynthID는 Google DeepMind가 개발한 비가시적 워터마킹 기술로, 생성된 미디어에 신호를 직접 삽입합니다. 메타데이터와 달리 이 신호는 콘텐츠 자체의 일부이므로, 일부 편집이나 변환을 거친 후에도 유지될 수 있습니다. SynthID는 C2PA 메타데이터와 함께 추가적인 출처 신호를 제공합니다. 예를 들어 파일에서 메타데이터가 삭제되더라도, 삽입된 워터마크는 해당 콘텐츠가 이 기능을 지원하는 OpenAI 도구로 생성되었다는 신호를 여전히 제공할 수 있습니다. SynthID에 대해 자세히 알아보기.

텍스트 출력에 워터마크를 적용하는 이유는 무엇인가요?

OpenAI는 EU AI 법을 준수하고, OpenAI를 비롯한 여러 주요 AI 제공업체가 서명한 EU의 AI 생성 콘텐츠 투명성 실천 규범에 따른 약속을 이행하기 위해 EU 지역 ChatGPT 사용자에게 텍스트 워터마킹을 적용하고 있습니다. 

TextGrain이란 무엇이며, 어떤 기능을 하나요?

TextGrain은 OpenAI의 텍스트 워터마킹 기술입니다. 모델이 글을 쓰면서 가능한 단어나 단어 조각 중 하나를 무작위로 선택하는 방식을 미세하게 조정합니다. 이러한 선택이 글 전체에 걸쳐 하나의 패턴을 형성하며, 일부 편집이 이루어진 후에도 감지기가 이 패턴을 찾아낼 수 있습니다.

워터마크는 표현 자체의 일부이며, 독자에게 보이지 않습니다. 숨겨진 문자, 보이지 않는 공백, 특이한 문장 부호를 추가하지 않습니다. 텍스트 워터마킹은 생성된 텍스트에 표시를 해야 한다는 EU AI 법의 요건을 준수하는 데 도움이 됩니다.

OpenAI의 검증 도구

콘텐츠가 OpenAI 도구로 생성되었는지 어떻게 확인하나요?

openai.com/verify에서 지원되는 이미지, PDF 또는 오디오 파일에 OpenAI 도구로 생성하거나 내보낸 콘텐츠와 관련된 출처 신호가 있는지 확인할 수 있습니다. 지원되는 파일을 업로드하면 도구가 SynthID 워터마크나 OpenAI와 관련된 신뢰할 수 있는 C2PA 매니페스트 등, 지원되는 OpenAI 출처 신호를 찾습니다. 도구가 지원되는 OpenAI 출처 신호를 찾으면, 해당 콘텐츠가 OpenAI 모델로 생성되었을 가능성이 높다는 뜻입니다.

개발자와 조직은 OpenAI의 Content Provenance API를 사용해 이미지와 오디오에 OpenAI 출처 신호가 있는지 확인하고, 자체 애플리케이션이나 워크플로에 검증 기능을 통합할 수도 있습니다. 사용 사례가 요건을 충족하는 조직은 한도 상향을 신청할 수 있습니다. 

텍스트의 경우, EU AI 법에 따른 OpenAI의 의무에 부합하는 방식으로, 사용 사례가 요건을 충족하는 조직에 텍스트 감지기 이용 권한을 신청할 수 있도록 하고 있습니다. 여기에는 텍스트 출처, 감지 신뢰성, 사람들이 출처 확인 결과를 이해하는 방식을 연구하는 학술·연구 기관 등이 포함됩니다. 자격을 갖춘 조직의 신청을 개별적으로 검토하고, 필요에 따라 진행 상황을 안내하거나 추가 정보를 요청할 예정입니다. 이용 권한 부여 방식은 더 많은 경험을 쌓고 기술을 개선함에 따라 달라질 수 있습니다.

현재 OpenAI는 켐펠렌 지능형 기술 연구소(KInIT), 코넬대학교 컴퓨터과학과 조교수 존 틱스턴 등 소수의 연구자·기관과 협력하고 있습니다. 이를 통해 기술의 역량과 한계를 더 잘 이해하고 텍스트 워터마킹 개선에 반영하고자 합니다.

검증 한도 상향 대상은 누구이며, 확인 작업에 요금이 부과되나요?

Content Provenance API를 통한 확인은 현재 무료이며, 사용량 한도가 적용됩니다. 한도 상향 프로그램은 요건을 충족하는 공익 목적의 출처 확인 프로젝트를 중심으로 운영됩니다. 일반적인 상업용 사기 탐지는 현재 대상에 포함되지 않습니다. 사용 사례가 요건을 충족하는 조직은 한도 상향을 신청할 수 있지만, 신청한다고 해서 승인이 보장되는 것은 아닙니다. 공개 API는 소규모 평가를 포함한 용도로 기본 한도 내에서 계속 이용할 수 있습니다. 현재 사용량 한도는 Content Provenance API 문서를 참고하세요.

검증 결과는 무엇을 의미하나요?

openai.com/verify 또는 OpenAI의 Content Provenance API에서 신호가 감지되면, 업로드한 콘텐츠에 OpenAI와 관련된, 도구가 지원하는 출처 신호가 포함되어 있다는 뜻입니다. 이 도구는 콘텐츠가 정확하거나, 편집되지 않았거나, 소유권이 적법하거나, 올바른 맥락에서 제시되었다는 점을 확인해 주지는 않습니다. 또한 누가 콘텐츠를 만들었는지, 어떤 목적으로 만들었는지도 파악하지 않습니다.

신호가 감지되지 않았다면, 업로드한 파일에서 도구가 OpenAI가 부여한 출처 신호를 찾지 못했다는 뜻입니다. 다음과 같은 경우에는 신호가 감지되지 않아도 OpenAI에서 생성하거나 내보낸 콘텐츠일 수 있습니다.

• 출처 신호가 도입되기 전에 생성된 콘텐츠인 경우

• 지원되지 않는 제품, 모델, 내보내기 경로 또는 파일 형식에서 나온 콘텐츠인 경우

• 업로드, 다운로드, 편집, 변환 또는 공유 과정에서 메타데이터가 삭제된 경우

• 압축, 자르기, 노이즈, 편집, 형식 변환 또는 기타 변형으로 워터마크가 훼손된 경우

• 오디오 클립이 너무 짧거나 크게 수정된 경우

가장 신뢰할 수 있는 검증 결과를 얻으려면 어떻게 해야 하나요?

지원되는 파일을 한 번에 하나씩 업로드하고, 가능하면 내보낸 원본 파일을 사용하세요. 이미지는 확인 전에 자르거나 파일을 변환하지 않는 것이 좋습니다. 오디오는 일반적으로 10~60초 길이의 클립에서 가장 좋은 결과를 얻을 수 있습니다. 신호가 감지되지 않더라도, 결론을 내리기 전에 파일의 출처와 맥락을 고려하세요.

결과에 제 프롬프트나 개인정보가 표시되나요?

출처 신호에는 콘텐츠 생성에 사용된 모델의 이름과 버전, 콘텐츠 생성 시점의 타임스탬프 등의 정보가 포함될 수 있습니다. 이러한 항목은 법률에 따라 필수로 포함됩니다. 출처 신호에는 사용자, 조직 또는 프롬프트에 관한 세부 정보가 포함되지 않습니다. 

openai.com/verify 또는 Content Provenance API로 검증한 콘텐츠는 어떻게 처리되나요?

openai.com/verify에 업로드하거나 검증을 위해 Content Provenance API에 제출한 콘텐츠는 지원되는 출처 신호가 있는지 확인하는 용도로만 처리됩니다. 법적으로 요구되는 경우를 제외하고 콘텐츠는 저장되지 않으며, OpenAI 모델 학습에도 사용되지 않습니다. 이는 텍스트, 이미지, 오디오를 포함한 모든 콘텐츠 유형에 적용됩니다. 

OpenAI는 다른 AI 도구로 생성된 콘텐츠도 감지할 수 있나요?

OpenAI의 콘텐츠 출처 확인 도구는 OpenAI 모델로 생성하거나 OpenAI 도구에서 내보낸 콘텐츠와 관련된, 지원되는 출처 신호를 감지하도록 설계되었습니다. 다른 AI 모델이 생성한 콘텐츠를 감지하도록 설계된 도구는 아닙니다. 또한 OpenAI가 생성한 콘텐츠라도 관련 신호가 없거나, 지원되지 않거나, 훼손된 경우에는 감지하지 못할 수 있습니다.

워터마킹의 작동 원리

워터마크로 저작자, 소유권 또는 법적 책임을 판단할 수 있나요?

아니요. 워터마크는 OpenAI 모델이 해당 콘텐츠를 생성하거나 처리했을 가능성이 높다는 근거입니다. 워터마크만으로는 누가 콘텐츠를 작성하거나 소유하는지, 공개 의무가 있었는지, 누구에게 법적 책임이 있는지를 확정할 수 없습니다. 또한 모델이 사용자가 업로드한 콘텐츠를 편집한 것인지도 알 수 없습니다.

워터마크로 OpenAI 모델이 얼마나 관여했는지 알 수 있나요?

아니요. 감지기는 워터마크를 찾았는지만 알려줍니다. 워터마크가 발견되면 OpenAI 모델이 콘텐츠를 생성하거나 처리했을 가능성이 높다는 근거가 되지만, 모델이 콘텐츠의 일부를 생성했는지 전부를 생성했는지, 사람이 얼마나 기여했는지는 알 수 없습니다.

텍스트 워터마킹은 어떻게 작동하나요?

텍스트 워터마킹은 모델이 글을 쓸 때 ‘토큰’이라고 하는 단어와 단어 조각을 선택하는 과정에 비밀 패턴을 만듭니다.

모델은 각 단계에서 다음에 올 수 있는 각 토큰에 확률을 부여합니다. 워터마킹 시스템은 이 확률을 조정한 여러 분포를 만들며, 각 분포는 비밀 키에 따라 서로 다른 선택의 확률을 높입니다. 이 분포들은 전체 평균을 내면 모델의 원래 확률과 일치하도록 균형이 맞춰져 있습니다. 키가 사용할 분포를 결정하면, 모델은 해당 분포에 따라 새롭게 무작위 선택을 합니다.

동일한 키와 일치하는 설정을 갖춘 감지기는 나중에 텍스트가 우연히 기대되는 수준보다 더 자주 비밀 패턴을 따르는지 확인할 수 있습니다.

사실 중심의 텍스트와 사용자가 제공한 텍스트에도 텍스트 워터마크가 적용되나요?

텍스트 워터마킹은 모델이 같은 내용을 여러 방식으로 표현할 수 있어야 작동합니다. 수학 문제의 답처럼 사실에 충실하거나 정확해야 하는 답변, 또는 제공된 텍스트를 변경 없이 그대로 재현해야 하는 경우에는 표현의 선택 폭이 좁아집니다. 이런 경우에는 모델이 눈에 띄는 차이 없이 표현을 바꿀 여지가 적어 워터마크가 감지되지 않을 수 있습니다.

짧은 답변과 코드에도 텍스트 워터마크가 적용되나요?

짧은 글에는 보통 워터마크를 신뢰성 있게 감지하기에 충분한 양의 텍스트가 없습니다. 코드 역시 일반적인 글보다 다음에 올 수 있는 적절한 선택지가 적어 워터마크를 적용하기가 더 어렵습니다.

이러한 한계를 고려해, EU AI 법의 AI 생성 콘텐츠 투명성 실천 규범은 200토큰(영어로 약 150단어) 미만의 출력이나 코드 스니펫에는 워터마크를 요구하지 않습니다.

텍스트 워터마크 감지 성능은 언어에 따라 어떻게 달라지나요?

감지율은 언어마다 다르며, 현재 일부 언어에서는 다른 언어보다 더 쉽게 감지됩니다. 신호가 약한 언어에서는 워터마크 강도를 조정해 감지 성능을 높일 수 있습니다.

이 차트는 EU의 24개 공식 언어 전체에 대한 감지율 평가 결과를 보여줍니다. 먼저 다양한 주제를 다루는 합성 영어 프롬프트 500개를 생성한 뒤, 나머지 23개 언어로 번역했습니다. 위양성률 1%에서 스페인어의 감지율이 69.0%로 가장 높았고, 루마니아어가 42.2%로 가장 낮았습니다. OpenAI의 워터마크에는 강도를 조정할 수 있는 매개변수가 있습니다. 영역에 따라 워터마크 신호를 강화하거나 약화하는 ‘조절 장치’입니다. 이 조절 장치를 사용해 감지율이 60% 미만인 언어의 워터마크 강도를 높일 수 있었습니다. 막대의 연한 파란색 부분은 그에 따른 개선 폭을 나타냅니다.

텍스트 워터마크가 모델 품질을 떨어뜨리나요?

OpenAI의 테스트 결과에 따르면 그렇지 않습니다. 최신 프런티어 모델인 Astra를 평가하는 벤치마크 전반에서, 워터마킹 적용 여부에 따른 성능 차이는 평가를 반복할 때 일반적으로 관찰되는 변동 범위 안에 있었습니다. 앞서 진행한 ChatGPT 테스트에서도 워터마킹 도입으로 인한 싫어요 비율이나 기타 제품 지표의 변화는 없었습니다. 

OpenAI의 텍스트 워터마크는 타사 AI 감지 도구와 어떻게 다른가요?

Pangram 같은 타사 감지 도구는 일반적으로 분류기를 사용해 단어 선택 등의 패턴을 바탕으로 AI 생성 텍스트를 식별합니다. 이는 삽입된 신호를 감지하는 것이 아니라, 생성이 끝난 텍스트를 분석하는 방식입니다. EU AI 법은 생성된 텍스트에 신호를 삽입할 것을 명시적으로 요구합니다. 

TextSeal이나 SynthID 대신 자체 텍스트 워터마크를 사용하는 이유는 무엇인가요?

OpenAI는 워터마크 감지 가능성과 동일한 프롬프트에서 생성되는 응답의 다양성 사이의 균형을 SynthID나 TextSeal보다 더 세밀하게 조절할 수 있도록 자체 텍스트 워터마킹 방식을 개발했습니다. 테스트에서 OpenAI의 방식은 텍스트용 SynthID와 비슷하거나 더 높은 비율로 워터마크가 있는 텍스트 샘플을 정확히 식별했습니다. 조만간 워터마킹의 작동 원리에 관한 기술적 세부 정보를 더 공유하고, 다른 이들이 이를 기반으로 개발하며 텍스트 워터마킹 개선에 기여할 수 있도록 오픈소스 기술로 공개할 계획입니다.

텍스트 워터마킹은 숨겨진 문자나 추가 토큰을 삽입하거나 눈에 보이는 변화를 주나요?

아니요. 텍스트 워터마킹은 단어 선택의 통계적 패턴을 바꿉니다. 숨겨진 문자를 삽입하거나 워터마크 전용 토큰을 추가하지 않습니다. 워터마크는 독자에게 보이지 않으며, 텍스트를 복사해 붙여넣어도 숨겨진 내용이 추가되지 않습니다.

고객 안내

API 고객인데, 텍스트 워터마크를 어떻게 켜나요?

OpenAI API 고객은 설정에서 특정 프로젝트에 텍스트 워터마킹을 활성화하거나, 조직 설정에서 조직 전체에 활성화할 수 있습니다. 두 경우 모두 텍스트 워터마크를 적용할 모델을 하나 이상 선택할 수 있습니다. 지원되는 모델에서 이 기능을 활성화하면 OpenAI가 텍스트 생성 중에 워터마크를 추가합니다. 고객이 워터마크 키를 전달하거나 각 응답에 별도의 표시를 추가할 필요는 없습니다.

‘텍스트 워터마킹 허용’을 켜고 모델을 선택한 다음 ‘저장’을 선택하세요.

조직 기본 설정: 조직 설정 → 데이터 제어 → 텍스트 출처.

프로젝트별 재정의: 프로젝트 설정 → 텍스트 출처.

어떤 모델에서 워터마크를 활성화할 수 있나요?

고객은 설정 및 조직 설정에서 현재 워터마킹을 사용할 수 있는 모델 목록을 확인할 수 있습니다. 앞으로 몇 주에 걸쳐 모든 레거시 모델로 적용 범위를 확대할 예정입니다.

텍스트 워터마크를 활성화하면 텍스트 감지기도 사용할 수 있나요?

아니요. 텍스트 감지기 이용 권한이 없어도 텍스트 워터마킹을 활성화할 수 있습니다.

현재 텍스트 감지기 이용 권한은 승인된 연구·학술 기관으로 제한됩니다. 텍스트 워터마킹의 작동 신뢰성과 사용 편의성을 높이고, 기술과 그 결과를 더 명확하게 설명할 수 있도록 연구하는 기관이 대상입니다. 이는 EU AI 법의 AI 생성 콘텐츠 투명성 실천 규범에 따른 OpenAI의 약속에 부합합니다.

사용 사례가 요건을 충족하는 조직은 텍스트 감지기 이용 권한을 신청할 수 있습니다.

콘텐츠를 변환한 후에도 신호가 남아 있나요?

남아 있을 수 있지만, 신호의 종류와 변경 내용에 따라 다릅니다.

지원되는 이미지와 오디오의 원본 사본을 보관하고, 편집·변환·게시 후 대표적인 파일들을 Content Provenance API로 테스트하세요. 이미지의 경우 자르기, 노이즈 추가, JPEG 변환, 스크린샷 촬영을 하면 신호를 감지하기가 더 어려워질 수 있습니다. 텍스트는 조직이 텍스트 감지기 이용 승인을 받은 경우에만 이 방식으로 테스트할 수 있습니다.

파일 형식과 워크플로가 지원하는 경우, 기존 C2PA 메타데이터를 유지하고 제작하는 파일에 콘텐츠 자격 증명을 포함하세요. 출처 정보가 더 잘 유지되거나 유용하게 쓰이도록 자체 표시를 추가하는 것도 고려할 수 있습니다. 구현 세부 사항은 C2PA 기술 문서를 참고하세요.

텍스트의 경우 워터마크는 모델의 단어 선택에 반영됩니다. 표현을 그대로 유지하면 추가 통합 작업 없이도 텍스트를 재사용할 때 신호가 남아 있을 것으로 예상됩니다. 대대적인 재작성, 표현 변경 또는 번역은 감지 신뢰성을 떨어뜨릴 수 있습니다. 표현을 바꾸지 않더라도 워터마크 감지가 보장되지는 않습니다. 특히 짧은 글이나 단어 선택의 여지가 적은 텍스트에서는 더욱 그렇습니다.

특정 모델이나 내보내기 경로가 지원되는지 어떻게 확인하나요?

자세한 내용은 계정 담당자에게 문의하거나 EU AI 법 관련 문의를 제출하세요.

AWS나 Azure 같은 클라우드 서비스를 통해 OpenAI 모델을 사용하고 있습니다. 이러한 출력에도 출처 신호가 포함되나요?

OpenAI는 모든 클라우드 및 유통 파트너와 협력해 이미지, 오디오, 텍스트 등 적용 대상인 모든 출력에 워터마크를 비롯한 출처 신호가 삽입되도록 하고 있습니다. 제공 여부는 출력과 파트너에 따라 다를 수 있습니다. 자세한 내용은 계정 담당자에게 문의하거나 EU AI 법 관련 문의를 제출하세요.

출처 신호가 눈에 보이는 AI 라벨이나 기타 고지를 대신하나요?

아니요. 워터마크와 C2PA 메타데이터는 소프트웨어가 읽을 수 있는 정보를 제공합니다. 별도로 요구될 수 있는, 눈에 보이는 라벨이나 배너, 기타 고지를 대체하지는 않습니다.

추가 고지가 필요한지는 콘텐츠를 어떻게, 어디에서 사용하는지에 따라 달라집니다. OpenAI는 고객의 구체적인 법적 의무에 대해 자문을 제공할 수 없습니다. 고객의 사용 방식에 적용되는 요건은 자체 법무팀에서 검토해야 합니다.