סקירה כללית

הכירו שני מודלי reasoning עם משקולות פתוחות: gpt‑oss‑120b ו-gpt‑oss‑20b. הם פועלים על תשתית שבשליטתכם או באמצעות ספקי אירוח.

למה משקולות פתוחות

• בחירה ושליטה: הריצו מודלים בתשתית מקומית או בענן הפרטי שלכם, עמדו בדרישות תושבות נתונים והתאימו את הביצועים לצרכים שלכם.

• התאמה אישית: בצעו כוונון עדין או התאימו את המודלים באמצעות הכלים הפתוחים המועדפים עליכם.

זמינות ורישוי

• רישיון: Apache 2.0 מאפשר שימוש נרחב, שינוי והפצה מחדש, כולל שימוש מסחרי (בכפוף למדיניות השימוש שלנו ב-gpt-oss).

• גישה למודלים: אינם זמינים דרך ה-API של OpenAI, ולכן תמחור ה-API ומגבלות קצב הבקשות שלו אינם חלים עליהם.

• תאימות: אפשר להריץ אותם באמצעות מערכי תוכנה פתוחים נפוצים להסקה, כגון vLLM, Ollama ו-llama.cpp, ובסביבות GPU בענן או בניהול עצמי.

צעדים ראשונים

כדי לקבל את משקולות המודלים ומשאבים נלווים, תוכלו:

• לבקר באתר gpt-oss לסקירה כללית ולקישורים ישירים.

• להוריד משקולות מהאוסף ב-Hugging Face — מרכז קהילתי שבו אפשר למצוא את שני המודלים, לעיין בדוגמאות שימוש ואף להריץ הסקה ישירות דרך השירותים של Hugging Face.

• לגשת למאגר שלנו ב-GitHub לקבלת קוד לדוגמה להרצת הסקה.

• להיעזר במדריכים במתכונים של OpenAI לצורך הגדרה בסביבות ריצה נתמכות כמו Ollama, vLLM ו-Transformers. המתכונים כוללים גם הוראות שלב אחר שלב להרצה מקומית, לשימוש בסביבות ריצה נפוצות ולכוונון עדין של מודלי gpt-oss, כאשר הדבר נתמך.

gpt‑oss‑safeguard (גרסת מחקר מקדימה)

gpt‑oss‑safeguard הוא צמד מודלי reasoning לבטיחות עם משקולות פתוחות, המבוססים על gpt‑oss. הם מיועדים לסיווג בטיחות על בסיס מדיניות ולמשימות נלוות של אמון ובטיחות, המורצות על תשתית שבשליטתכם. כמו במודלי gpt‑oss אחרים, משקולות אלה אינן זמינות לשימוש דרך ה-API של OpenAI או דרך ChatGPT.

• מודלים לטקסט בלבד עם סכמות לדוגמה של פלט במבנה מוגדר (למשל, הכרעה לפי המדיניות ונימוק).

• שימוש במדיניות משלכם: המודל מפרש את המדיניות הכתובה שלכם, וכך יכול ליישם אותה במגוון מוצרים במאמץ פיתוח מינימלי.

• החלטות מנומקות: אפשר לקבל תיעוד של תהליכי reasoning כדי לסייע בניפוי שגיאות ובביקורות (מיועד למפתחים ולאנשי מקצוע בתחום הבטיחות, ולא להצגה למשתמשי קצה).

• מאמץ reasoning הניתן להגדרה: בחרו ברמה נמוכה / בינונית / גבוהה כדי לאזן בין זמן התגובה לעומק העיבוד.

• רישיון: Apache 2.0 (ראו זמינות ורישוי בהמשך).

gpt‑oss‑safeguard מתאים לסינון קלט ופלט של מודלי שפה גדולים (LLMs), לתיוג תוכן מקוון ולתהליכי תיוג או סקירה באצוות שלא בזמן אמת. ליישומים כלליים (צ'אט, סוכנים וכדומה), אנו ממליצים על מודלי gpt‑oss הבסיסיים.

אפשר להתאים את הסכמה לצרכים שלכם. למדריכים לכתיבת פרומפטים ולדוגמאות, עיינו בספר המתכונים של OpenAI.

גרסאות המודלים וגדלים

שני המודלים נוצרו באמצעות כוונון עדין של gpt‑oss, ללא שינוי בארכיטקטורה. הם משתמשים באותה תבנית צ'אט כמו gpt‑oss, כך שאפשר להמשיך להשתמש במערך הקיים שלכם. מבנה הפרומפט המומלץ הוא להציב את המדיניות בהודעת מפתח ואת התוכן לבדיקה בהודעת משתמש.

תמיכה וקהילה

פריסות של מודלים עם משקולות פתוחות מנוהלות ומתוחזקות באופן עצמאי. כאן אפשר לקבל תמיכה:

• שאלות, דיונים וטיפים: השתמשו בדפי המודלים ב-Hugging Face כדי ליצור קשר עם הקהילה.

• באגים שניתן לשחזר בקוד לדוגמה של OpenAI להרצת הסקה: פתחו דיווח תקלה במאגר gpt-oss ב-GitHub.

• בעיות בסביבת ריצה של צד שלישי (למשל vLLM, Ollama, llama.cpp): השתמשו במערכת מעקב התקלות, בפורומים או בערוצי התמיכה של הפרויקט הרלוונטי.

OpenAI אינה מספקת סיוע, יישום מעשי או תמיכה בניפוי שגיאות עבור מערכות, תצורות, סביבות או יישומים של מודלים עם משקולות פתוחות באירוח עצמי או באירוח של צד שלישי.

נמשיך לפתח ולשפר כלי בטיחות פתוחים בשיתוף הקהילה, בין היתר באמצעות קהילת המודלים של ROOST ‏(RMC). RMC מפגישה אנשי מקצוע וחוקרים בתחום הבטיחות כדי לשתף שיטות עבודה מומלצות לשילוב מודלי בינה מלאכותית בקוד פתוח בתהליכי עבודה בתחום הבטיחות, לצד תוצאות הערכה ומשוב על המודלים. בקרו במאגר RMC ב-GitHub כדי ללמוד עוד על השותפות ועל הדרכים להשתתף.

תמיכה וקהילה

פריסות של מודלים עם משקולות פתוחות מנוהלות ומתוחזקות באופן עצמאי. כאן אפשר לקבל תמיכה:

• שאלות, דיונים וטיפים: השתמשו בדפי המודלים ב-Hugging Face כדי ליצור קשר עם הקהילה.

• באגים שניתן לשחזר בקוד לדוגמה של OpenAI להרצת הסקה: פתחו דיווח תקלה במאגר gpt-oss ב-GitHub.

• בעיות בסביבת ריצה של צד שלישי (למשל vLLM, Ollama, llama.cpp): השתמשו במערכת מעקב התקלות, בפורומים או בערוצי התמיכה של הפרויקט הרלוונטי.

OpenAI אינה מספקת סיוע, יישום מעשי או תמיכה בניפוי שגיאות עבור מערכות, תצורות, סביבות או יישומים של מודלים עם משקולות פתוחות באירוח עצמי או באירוח של צד שלישי.

פרטיות ובטיחות

פרטיות ונתונים

המודלים האלה תוכננו לפעול על תשתית שבשליטתכם (מקומית, בענן שלכם או אצל שותף האירוח שלכם). OpenAI אינה מקבלת או מעבדת את הנתונים שאתם שולחים למודלים האלה באירוח עצמי, אלא אם אתם משתפים אותם במפורש עם OpenAI או משתמשים באחד משותפי האירוח המנוהל שלנו.

בטיחות

מודלים אלה עברו אימון ובדיקות מקיפים בתחום הבטיחות. לפרטים נוספים, עיינו בכרטיס מודל ובדוח הטכני שלנו.

דיווח על תוכן מפר

אם לדעתכם תוכן שנוצר באמצעות מודלי gpt‑oss מפר את המדיניות שלנו, אפשר לדווח עליו דרך טופס הדיווח על תוכן שלנו. אנא ספקו פרטים רבים ככל האפשר כדי לעזור לצוות שלנו לבדוק את הדיווח.

שאלות נפוצות

האם המודלים האלה חינמיים?

אפשר להוריד ולהשתמש במשקולות של מודלי gpt-oss ללא תשלום, בכפוף לרישיון Apache 2.0 ולמדיניות השימוש של gpt-oss. עם זאת, אתם אחראים לכל העלויות הכרוכות בהרצתם, כגון עלויות מחשוב, אחסון או אירוח אצל צד שלישי. התמחור של שירותים אלה תלוי בתשתית או בספק שתבחרו.

האם המודלים האלה הם ״קוד פתוח״?

אנו משתמשים במונחים מודלים פתוחים או משקולות פתוחות כדי לציין שהמשקולות שאומנו זמינות לציבור בכפוף לרישיון המתירני Apache 2.0 ולמדיניות השימוש של gpt-oss. כלומר, אפשר להוריד את המודלים, להריץ אותם על התשתית שלכם או באמצעות מסגרות אירוח נתמכות, ולהתאים אותם או לבצע בהם כוונון עדין.

מודלים פתוחים מעניקים למפתחים ולארגונים יותר שליטה וגמישות. אפשר לבחור היכן לארח אותם, להתאים את המודלים לתרחישי שימוש ספציפיים וליהנות מרישוי המאפשר שימוש נרחב, שינוי והפצה מחדש. אף שהמשקולות שאומנו פתוחות, חלק מהתשתיות או הכלים הנלווים עשויים להישאר קנייניים ובבעלות הספקים שלהם.

האם אפשר לגשת למודלים האלה דרך ה-API של OpenAI או דרך ChatGPT?

לא. המודלים האלה אינם מוצעים ב-API של OpenAI ואינם מופיעים ב-ChatGPT.

האם אפשר לבצע כוונון עדין של המודלים?

כן. אפשר לבצע כוונון עדין באמצעות כלי קוד פתוח ובתשתית המועדפת עליכם. איננו מציעים כוונון עדין למודלים האלה דרך ממשקי ה-API של OpenAI.

האם מודלים עם משקולות פתוחות זולים יותר משימוש ב-API?

העלויות משתנות בהתאם לתשתית, לעומס העבודה ולאופן התפעול. אירוח עצמי עשוי להיות זול יותר במקרים מסוימים, אך פלטפורמת API שלנו עשויה להיות משתלמת יותר כשמביאים בחשבון אירוח, תחזוקה ושדרוגים.

באילו יכולות המודלים האלה תומכים?

המודלים האלה הם כיום מודלי reasoning לטקסט בלבד. סביבות ריצה נפוצות תומכות בהזרמה, בקריאה לפונקציות ובפלט במבנה מוגדר. לפרטים מדויקים על היכולות, עיינו בתיעוד של סביבת הריצה שלכם.

במה זה שונה מ-ModAPI?

זהו מודל reasoning בעל יכולות גבוהות, המאפשר לכם להשתמש במדיניות משלכם. הוא יכול לפעול לצד ModAPI, אך סביר שלא ישמש תחליף בתרחישי שימוש הדורשים זמן תגובה קצר.