Prompt API

קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

Thomas Steiner

תאריך פרסום: 11 בנובמבר 2024, תאריך עדכון אחרון: 20 במאי 2025

הסבר	פיתוח אתרים	תוספים	סטטוס Chrome	כוונת רכישה
GitHub	ב-EPP	Chrome 137 בטא	תצוגה	כוונה לערוך ניסוי

באמצעות Prompt API, אפשר לשלוח בקשות בשפה טבעית ל-Gemini Nano בדפדפן.

יש הרבה דרכים להשתמש ב-Prompt API בתוספים ל-Chrome. לדוגמה:

• אירועים ביומן באופן מיידי. פיתוח תוסף ל-Chrome שחולץ באופן אוטומטי פרטי אירועים מדפי אינטרנט, כדי שמשתמשים יוכלו ליצור רשומות ביומן בכמה שלבים בלבד.
• חילוץ חלק של אנשי קשר. תוכלו ליצור תוסף שיאחזר פרטים ליצירת קשר מאתרים, כדי שיהיה למשתמשים קל יותר ליצור קשר עם עסק או להוסיף פרטים לרשימת אנשי הקשר שלהם.
• סינון דינמי של תוכן. ליצור תוסף ל-Chrome שינתח כתבות חדשותיות ויטשטש או יסתיר תוכן באופן אוטומטי על סמך נושאים שהמשתמשים מגדירים.

אלה רק כמה אפשרויות, אבל אנחנו סקרנים לראות מה יהיו התוצרים שלכם.

שימוש ב-Prompt API בתוספים

יש שתי פונקציות תוסף שזמינות במרחב השמות LanguageModel:

• availability() כדי לבדוק מה המודל מסוגל לעשות ואם הוא זמין.
• create() כדי להתחיל סשן של מודל שפה.

הורדת המודל

ב-Prompt API נעשה שימוש במודל Gemini Nano ב-Chrome. ה-API מובנה ב-Chrome, אבל המודל מוריד בנפרד בפעם הראשונה שתוסף משתמש ב-API.

כדי לבדוק אם המודל מוכן לשימוש, צריך להפעיל את הפונקציה LanguageModel.availability() האסינכרונית. הפונקציה אמורה להחזיר אחת מהתגובות הבאות:

• 'no': הדפדפן תומך ב-Prompt API, אבל אי אפשר להשתמש בו כרגע. יכולות להיות לכך כמה סיבות, למשל, אם אין מספיק מקום פנוי בכונן להורדת המודל.
• 'readily': הדפדפן תומך ב-Prompt API וניתן להשתמש בו באופן מיידי.
• 'after-download': הדפדפן תומך ב-Prompt API, אבל קודם צריך להוריד את המודל.

כדי להפעיל את הורדת המודל וליצור את הסשן של מודל השפה, צריך להפעיל את הפונקציה LanguageModel.availability() האסינכרונית. אם התשובה להודעה availability() היא 'after-download', מומלץ להאזין להתקדמות ההורדה. כך תוכלו להודיע למשתמש אם ההורדה נמשכת זמן רב.

const session = await LanguageModel.create({
  monitor(m) {
    m.addEventListener("downloadprogress", (e) => {
      console.log(`Downloaded ${e.loaded} of ${e.total} bytes.`);
    });
  },
});

יכולות המודל

הפונקציה availability() גם מאפשרת לכם לדעת מהן היכולות של מודל השפה. בנוסף ל-available, באובייקט יש גם את השדות הבאים:

• defaultTopK: ערך ברירת המחדל של top-K (ברירת המחדל: 3).
• maxTopK: הערך של ה-K העליון (8).
• defaultTemperature: טמפרטורת ברירת המחדל (1.0). ערך הטמפרטורה חייב להיות בין 0.0 ל-2.0.

await LanguageModel.availability();
// {available: 'readily', defaultTopK: 3, maxTopK: 8, defaultTemperature: 1}

יצירת סשן

אחרי שאפשר להריץ את Prompt API, יוצרים סשן באמצעות הפונקציה create(). אפשר להנחות את המודל באמצעות הפונקציות prompt() או promptStreaming().

התאמה אישית של הסשן

אפשר להתאים אישית כל סשן באמצעות topK ו-temperature באמצעות אובייקט אופציונלי של אפשרויות. ערכי ברירת המחדל של הפרמטרים האלה מוחזרים מ-LanguageModel.availability().

const capabilities = await LanguageModel.availability();
// Initializing a new session must either specify both `topK` and
// `temperature` or neither of them.
const slightlyHighTemperatureSession = await LanguageModel.create({
  temperature: Math.max(availability.defaultTemperature * 1.2, 2.0),
  topK: capabilities.defaultTopK,
});

אובייקט האפשרויות האופציונלי של פונקציית create() מקבל גם שדה signal, שמאפשר להעביר AbortSignal כדי להשמיד את הסשן.

const controller = new AbortController();
stopButton.onclick = () => controller.abort();

const session = await LanguageModel.create({
  signal: controller.signal,
})

הנחיות ראשוניות

באמצעות הנחיות ראשוניות, אפשר לספק למודל השפה הקשר לגבי אינטראקציות קודמות. לדוגמה, כדי לאפשר למשתמש להמשיך סשן ששמור אחרי הפעלה מחדש של הדפדפן.

const session = await LanguageModel.create({
  initialPrompts: [
    { role: 'system', content: 'You are a helpful and friendly assistant.' },
    { role: 'user', content: 'What is the capital of Italy?' },
    { role: 'assistant', content: 'The capital of Italy is Rome.'},
    { role: 'user', content: 'What language is spoken there?' },
    { role: 'assistant', content: 'The official language of Italy is Italian. [...]' }
  ]
});

מגבלות של פעילות באתר

לכל סשן של מודל שפה יש מספר מקסימלי של אסימונים שהוא יכול לעבד. אפשר לבדוק את השימוש ואת ההתקדמות לקראת המגבלה הזו באמצעות המאפיינים הבאים באובייקט הסשן:

console.log(`${session.tokensSoFar}/${session.maxTokens}
(${session.tokensLeft} left)`);

שמירת נתונים בסשן

בכל סשן מתבצע מעקב אחר ההקשר של השיחה. האינטראקציות הקודמות נלקחות בחשבון באינטראקציות עתידיות עד שחלון ההקשר של הסשן מתמלא.

const session = await LanguageModel.create({
  initialPrompts: [{
    role: "system",
    content: "You are a friendly, helpful assistant specialized in clothing choices."
  }]
});

const result1 = await session.prompt(
  "What should I wear today? It is sunny. I am unsure between a t-shirt and a polo."
);
console.log(result1);

const result2 = await session.prompt(
  "That sounds great, but oh no, it is actually going to rain! New advice?"
);
console.log(result2);

שכפול סשן

כדי לחסוך במשאבים, אפשר לשכפל סשן קיים באמצעות הפונקציה clone(). הקשר של השיחה מתאפס, אבל ההנחיה הראשונית נשארת ללא שינוי. הפונקציה clone() מקבלת אובייקט אופציונלי של אפשרויות עם שדה signal, שמאפשר להעביר AbortSignal כדי להשמיד את הסשן שהועתק.

const controller = new AbortController();
stopButton.onclick = () => controller.abort();

const clonedSession = await session.clone({
  signal: controller.signal,
});

הנחיה למודל

אפשר להנחות את המודל באמצעות הפונקציות prompt() או promptStreaming().

פלט ללא סטרימינג

אם אתם מצפים לתוצאה קצרה, תוכלו להשתמש בפונקציה prompt() שמחזירה את התגובה ברגע שהיא זמינה.

// Start by checking if it's possible to create a session based on the
// availability of the model, and the characteristics of the device.
const {available, defaultTemperature, defaultTopK, maxTopK } =
  await LanguageModel.availability();

if (available !== 'no') {
  const session = await LanguageModel.create();

  // Prompt the model and wait for the whole result to come back.
  const result = await session.prompt("Write me a poem!");
  console.log(result);
}

פלט בסטרימינג

אם התגובה צפויה להיות ארוכה יותר, כדאי להשתמש בפונקציה promptStreaming() שמאפשרת להציג תוצאות חלקיות כשהן מגיעות מהמודל.

const {available, defaultTemperature, defaultTopK, maxTopK } =
  await LanguageModel.availability();

if (available !== 'no') {
  const session = await LanguageModel.create();

  // Prompt the model and stream the result:
  const stream = session.promptStreaming('Write me an extra-long poem!');
  for await (const chunk of stream) {
    console.log(chunk);
  }
}

הפונקציה promptStreaming() מחזירה ReadableStream שהקטעים שלו נבנים זה על גבי זה. לדוגמה, "Hello,", "Hello world,", "Hello world I am,", "Hello world I am an AI.". זו לא ההתנהגות הרצויה. אנחנו מתכוונים להתאים את ה-API לסטרימינג לפלטפורמות אחרות, שבהן הקטעים הם קטעים רצופים של סטרימינג ארוך אחד. כלומר, הפלט יהיה רצף כמו "Hello", " world", " I am", " an AI".

בינתיים, כדי להשיג את ההתנהגות הרצויה, אפשר להטמיע את הפעולות הבאות. האפשרות הזו פועלת גם עם ההתנהגות הרגילה וגם עם ההתנהגות הלא רגילה.

let result = '';
let previousChunk = '';

for await (const chunk of stream) {
  const newChunk = chunk.startsWith(previousChunk)
      ? chunk.slice(previousChunk.length) : chunk;
  console.log(newChunk);
  result += newChunk;
  previousChunk = chunk;
}
console.log(result);

הפסקת ההרצה של הנחיה

גם prompt() וגם promptStreaming() מקבלים פרמטר שני אופציונלי עם שדה signal, שמאפשר להפסיק את ההפעלה של ההנחיות.

const controller = new AbortController();
stopButton.onclick = () => controller.abort();

const result = await session.prompt(
  'Write me a poem!',
  { signal: controller.signal }
);

סיום סשן

אם אתם לא צריכים יותר את הסשן, תוכלו להתקשר למספר destroy() כדי לפנות משאבים. כשסשן נהרס, אי אפשר להשתמש בו יותר וכל ביצוע מתמשך מבוטל. אם אתם מתכוונים להציג למודל הנחיות לעיתים קרובות, כדאי לשמור את הסשן כי יצירת סשן עשויה להימשך זמן מה.

await session.prompt(
  "You are a friendly, helpful assistant specialized in clothing choices."
);

session.destroy();

// The promise is rejected with an error explaining that
// the session is destroyed.
await session.prompt(
  "What should I wear today? It is sunny, and I am unsure between a
  t-shirt and a polo."
);

הדגמה (דמו)

כדי לבדוק את Prompt API בתוספים ל-Chrome, צריך להתקין את תוסף הדגמה. קוד המקור של התוסף זמין ב-GitHub.

להשתתף ולשלוח משוב

המשוב שלכם יכול להשפיע ישירות על האופן שבו אנחנו מפתחים ומטמיעים גרסאות עתידיות של ה-API הזה, ושל כל ממשקי ה-API המובנים של AI.

• כדי לשלוח משוב על ההטמעה ב-Chrome, אפשר לשלוח דיווח על באג או בקשה להוספת תכונה.
• כדי לשתף משוב על צורת ה-API, אפשר להגיב ל-issue קיים או ליצור issue חדש במאגר ב-GitHub של Prompt API.
• מורידים את התוסף לדוגמה של Prompt API ב-GitHub.
• כדי להשתתף במאמץ ליצירת התקנים, אתם יכולים להצטרף לקבוצת הקהילה של Web Incubator.