OpenAI
Для перекладу цієї сторінки виконано машинний переклад. Ви можете переглянути оригінальну статтю англійською.

Як розробляються ChatGPT і наші базові моделі

Дізнайтеся більше про те, як ми розробляємо наші моделі та застосовуємо їх у таких продуктах, як ChatGPT

Оновлено: 7 days ago

Базові моделі OpenAI, зокрема моделі, на яких працює ChatGPT, розробляються з використанням трьох основних джерел інформації: (1) загальнодоступної інформації в інтернеті, (2) інформації, доступ до якої ми отримуємо в партнерстві з третіми сторонами, і (3) інформації, яку надають або створюють наші користувачі, фахівці з навчання моделей і дослідники.

Розробка базових моделей, подібних до тих, що використовуються в ChatGPT, складається з кількох етапів, зокрема підготовки навчальних даних, попереднього навчання та донавчання, а також постійного оцінювання й удосконалення після розгортання. На цих етапах різні типи інформації можуть використовуватися з різною метою, зокрема для підвищення продуктивності, надійності й безпеки моделі. 

У цій статті наведено огляд інформації, яку ми використовуємо для розробки цих моделей, способів її збирання й використання відповідно до законодавства про конфіденційність, а також заходів захисту, які ми застосовуємо протягом усього процесу навчання. Щоб дізнатися, як ми збираємо й використовуємо інформацію користувачів наших сервісів, зокрема як відмовитися від використання розмов у ChatGPT для вдосконалення наших моделей, ознайомтеся з нашою Політикою конфіденційності та цією статтею Довідкового центру.

Що таке ChatGPT і як він працює?

ChatGPT — це сервіс на основі штучного інтелекту, доступний через інтернет або застосунок. ChatGPT можна використовувати для широкого кола завдань: упорядкування та узагальнення інформації, допомоги з перекладом, програмуванням, дослідженнями й аналізом, виконання багатоетапних завдань за допомогою різних інструментів, аналізу чи створення зображень, пошуку творчого натхнення та ідей, а також для інших повсякденних справ. ChatGPT розроблено для розуміння запитань та інструкцій користувачів і надання відповідей на них завдяки вивченню закономірностей у великих обсягах інформації, зокрема текстах, зображеннях, аудіо й відео. 

Під час навчання модель аналізує зв’язки в цих даних — наприклад, як слова зазвичай поєднуються в певному контексті, — і на основі цього прогнозує найімовірніше наступне слово, генеруючи відповідь слово за словом. Текст може перетворюватися на менші одиниці, які іноді називають «токенами» і які можуть відповідати цілим словам, частинам слів або розділовим знакам. Токени — це складові тексту, які обробляє модель. Так само моделі, що генерують інші типи вмісту, як-от зображення, вивчають закономірності у зв’язках пікселів між собою та з відповідними підписами в навчальних даних.

Наприклад, у процесі навчання моделі (відомому як «навчання») їй можуть запропонувати завершити таке речення: «Замість того щоб повернути ліворуч, вона повернула ___». На початку навчання її відповіді здебільшого випадкові. Однак у міру обробки й вивчення великого обсягу тексту модель дедалі краще розпізнає закономірності та прогнозує найімовірніше наступне слово. Цей процес повторюється на мільйонах речень, щоб поглибити розуміння моделі та підвищити її точність.

Оскільки речення можна завершити кількома доречними способами — наприклад, «Замість того щоб повернути ліворуч, вона повернула праворуч», «розвернулася» або «повернула назад», — у відповідях моделі завжди є певний елемент випадковості. Тому на одне й те саме запитання в різних запитах можна отримати різні відповіді.

Моделі машинного навчання складаються з великих наборів чисел, відомих як «ваги» або «параметри», і коду, який інтерпретує та використовує ці числа. Ці моделі не зберігають копій даних, на яких їх навчають. Натомість під час навчання значення параметрів моделі дещо коригуються, щоб відображати виявлені нею закономірності. У наведеному вище прикладі модель перейшла від прогнозування випадкових слів до точніших прогнозів не завдяки збереженню навчальних речень, а завдяки оновленню своїх внутрішніх параметрів. Модель не зберігає копій речень, зображень або аудіо, які обробляє під час навчання. ChatGPT не «копіює та вставляє» дані, на яких його навчали. Це схоже на те, як учитель після тривалого навчання може пояснювати поняття завдяки розумінню зв’язків між ідеями, не запам’ятовуючи й не відтворюючи дослівно першоджерела. Генеруючи відповідь на запит користувача, модель використовує ці засвоєні ваги, щоб прогнозувати й створювати новий вміст.

Яку інформацію використовують для навчання ChatGPT?

Що стосується загальнодоступного інтернет-вмісту, ми використовуємо лише інформацію, яка перебуває у вільному й відкритому доступі в інтернеті. Це можуть бути загальнодоступні вебсторінки, відкриті форуми й блоги, публічні дописи та інший загальнодоступний онлайн-вміст. Наприклад, якщо ви берете участь у загальнодоступному онлайн-форумі або публікуєте відкритий блог чи інший допис, ми можемо використовувати цей загальнодоступний вміст для навчання моделі. Однак ми вживаємо заходів, щоб зменшити обробку персональної інформації під час навчання.  Збираючи загальнодоступний інтернет-вміст, ми навмисно не отримуємо дані з джерел, які, як нам відомо, доступні лише за платною підпискою, або з даркнету. Крім того, ми застосовуємо фільтри, щоб видаляти матеріали, на яких не хочемо навчати наші моделі, зокрема мову ворожнечі, вміст для дорослих, сайти-агрегатори персональної інформації та спам. Решту інформації використовують для навчання наших моделей. 

Власники вебсайтів можуть керувати доступом до загальнодоступного вмісту своїх сайтів для використання в навчанні за допомогою стандартних засобів вебкерування, наприклад robots.txt, заборонивши GPTBot сканувати загальнодоступний вміст, який може використовуватися для навчання наших моделей. Ми надаємо рекомендації, які допомагають власникам вебсайтів керувати взаємодією їхніх сайтів і вмісту з нашими системами ШІ. 

Ми також використовуємо інформацію від сторонніх партнерів для навчання й удосконалення наших моделей. Це може бути інформація з наборів даних, доступ до яких ми отримуємо за угодами з третіми сторонами, а також інформація, яку надають або створюють фахівці з навчання моделей і дослідники, якщо це дозволено нашими політиками й угодами. Це допомагає підвищувати якість, безпеку та продуктивність наших моделей. Залежно від набору даних ці джерела можуть містити текст, зображення, аудіо, відео або інші типи даних.

Крім того, у деяких процесах навчання ми дедалі частіше використовуємо синтетичні дані. Наприклад, ми можемо використовувати інформацію й наші моделі для створення синтетичних запитів, багатомовних прикладів або інших навчальних матеріалів. Синтетичні дані можуть підвищувати продуктивність моделі, зокрема доповнюючи навчальні дані в тих сферах, де їх недостатньо або вони незбалансовані, а також сприяти застосуванню підходів до розробки моделей, що посилюють захист конфіденційності.

Чи використовують персональну інформацію для навчання ChatGPT?

Значна частина онлайн-вмісту містить інформацію про людей, тому персональна інформація може випадково потрапити до наших навчальних даних. Однак ми вживаємо заходів, щоб зменшити обробку персональної інформації під час навчання.

Ми використовуємо навчальні дані для розвитку можливостей моделі, як-от прогнозування, міркування та розв’язання проблем, а не для створення профілів людей, зв’язку з ними чи персоналізації реклами для них.

У деяких випадках моделі можуть навчатися на персональній інформації, щоб розуміти, як у мові функціонують такі елементи, як імена й адреси, або розпізнавати публічних осіб і загальновідомі організації чи об’єкти. Це допомагає моделі генерувати точніші й доречніші в певному контексті відповіді.

Як захищають персональну інформацію під час навчання?

Ми активно вживаємо заходів, щоб обмежити обробку персональної інформації під час навчання. Наприклад, ми виключаємо відомі джерела, що агрегують великі обсяги персональних даних, застосовуємо фільтрування для зменшення кількості персональної інформації в процесі навчання, а також виявляємо й видаляємо дублікати вмісту, щоб знизити ризик повторення навчальних даних. Крім того, ми навчаємо наші моделі не відповідати на запити про приватну або конфіденційну інформацію щодо окремих осіб. 

Як довго ми зберігаємо інформацію

Ми зберігаємо інформацію в навчальних даних лише стільки, скільки обґрунтовано необхідно для цілей, описаних у цій статті та нашій Політиці конфіденційності, зокрема для розробки й удосконалення наших моделей і пов’язаних із цим наукових досліджень. Необхідність подальшого зберігання періодично переглядається, а строк зберігання залежить від типу інформації та способу її використання. Визначаючи строк зберігання, ми враховуємо такі чинники, як мета обробки інформації, її обсяг, характер і чутливість, потенційний ризик шкоди внаслідок несанкціонованого використання чи розголошення, а також будь-які юридичні зобов’язання, що поширюються на нас.

Як розробка ChatGPT відповідає законодавству про конфіденційність?

Ми використовуємо навчальну інформацію на законних підставах. Наші базові моделі забезпечують роботу багатьох корисних рішень, зокрема засобів доступності, підтримки клієнтів, розробки програмного забезпечення, персоналізованого навчання та наукових досліджень. Ці можливості залежать від даних для навчання у великому масштабі, зокрема загальнодоступної інформації та інформації від сторонніх партнерів. Протягом усього процесу навчання ми застосовуємо заходи захисту, зокрема дії, спрямовані на зменшення обробки персональної інформації та зниження ризиків, як описано в цій статті. Збирання й використання персональної інформації, що входить до навчальних даних, ми обґрунтовуємо законними інтересами відповідно до законодавства про конфіденційність, зокрема GDPR. До таких інтересів належать навчання й удосконалення наших моделей на користь користувачів і суспільства загалом відповідно до нашої місії — забезпечити, щоб штучний загальний інтелект приносив користь усім. Докладніше про це йдеться в нашій Політиці конфіденційності. Ми провели оцінювання впливу на захист даних, щоб переконатися, що збираємо й використовуємо цю інформацію законно та відповідально.

Коли інформація може бути розкрита або передана

Ми не «продаємо» персональну інформацію та розкриваємо персональну інформацію в навчальних даних лише в обмежених випадках, описаних у нашій Політиці конфіденційності. Наприклад, ми можемо надавати інформацію афілійованим особам, постачальникам і надавачам послуг, які допомагають розробляти, тестувати й удосконалювати наші моделі. Ми також можемо розкривати інформацію, якщо добросовісно вважаємо, що це необхідно для виконання юридичного зобов’язання або захисту наших прав і безпеки, а також прав і безпеки наших користувачів, працівників чи громадськості, як описано в нашій Політиці конфіденційності.

Оскільки наша інфраструктура глобальна, персональна інформація в навчальних даних може оброблятися в країнах за межами ЄЕЗ, Швейцарії або Великої Британії, зокрема у Сполучених Штатах. У таких випадках ми застосовуємо належні заходи захисту, як-от рішення про достатність захисту або стандартні договірні положення, як описано в нашій Політиці конфіденційності.

Ваші права та способи їх реалізації

Ми розглядаємо запити із запереченнями проти обробки та подібні запити щодо реалізації прав. Оскільки ChatGPT вивчає мову, його відповіді іноді можуть містити персональну інформацію про людей, відомості про яких неодноразово з’являються у відкритому інтернеті, наприклад про публічних осіб. Особи в певних юрисдикціях можуть заперечити проти обробки їхньої персональної інформації нашими моделями або подати інші запити щодо реалізації прав суб’єкта даних через наш Портал конфіденційності. Ви також можете реалізувати ці права, написавши на адресу privacy@openai.com.

Щоб ми могли оцінити ваш запит і надати відповідь, укажіть достатньо відомостей для розуміння того, якої персональної інформації він стосується, наприклад ваше ім’я, відповідні URL-адреси, конкретні приклади результатів моделі або інші деталі, що допоможуть визначити проблему. У деяких випадках, перш ніж ужити заходів, ми можемо попросити вас підтвердити свою особу або те, що інформація стосується саме вас. Докладні відомості про подання таких запитів, зокрема рекомендації та порядок їх розгляду, наведено в нашій статті Довідкового центру про видалення персональних даних із ChatGPT. Ми розглядаємо запити відповідно до застосовного законодавства про конфіденційність і відповідаємо в установлені законом строки.

Зверніть увагу: відповідно до законодавства про конфіденційність деякі права можуть мати обмеження. Наприклад, ми можемо не виконати запит, якщо не вдається перевірити відповідну інформацію, якщо запит не стосується персональної інформації, яку обробляє OpenAI, якщо застосовується виняток або якщо для цього є інша законна підстава. Запити розглядаються індивідуально й можуть потребувати зіставлення прав на конфіденційність з іншими важливими міркуваннями, як-от свобода вираження поглядів і суспільний інтерес.

Водночас ми прагнемо приділяти першочергову увагу захисту персональної інформації та дотримуватися всіх застосовних законів про конфіденційність. Якщо ви вважаєте, що ми не вирішили проблему належним чином, ви маєте право подати скаргу до місцевого наглядового органу.

Докладніше про практики OpenAI щодо персональної інформації, яку ми збираємо від вас або про вас, коли ви користуєтеся нашим вебсайтом, застосунками й сервісами, див. у нашій Політиці конфіденційності.

Чи була ця стаття корисною?