RU: Gemini Nano AI на устройстве

designervoid

Преподготовка (Prompt API доступно только в Chrome Canary на данный момент)

Активируйте флаг Enables optimization guide и Prompt API for Gemini Nano:

chrome://flags/#optimization-guide-on-device-model & chrome://flags/#prompt-api-for-gemini-nano

Когда вы посетили chrome://components/, загрузка Optimization Guide On Device Model началась без каких-либо инициаций.

Status - Component already up to date - указывает на то, что загрузка прошла успешно, и локальная модель LLM может быть использована в дальнейшем.

Если функция ai.canCreateSession() возвращает after-download, то следует посетить chrome://components и дождаться, пока не отобразится статус Component already up to date.

Если функция ai.canCreateSession() возвращает readily, то вы можете использовать локальную LLM.

Пример функции обернутой сессии:

async function geminiNanoPrompt(value) {
  if (window.ai) {
    try {
      const session = await ai.createTextSession({
        temperature: 0.5,
        topK: 1,
      });
      return await session.prompt(value);
    } catch (err) {
      console.log(`Error (generating prompt): ${err}`);
    }
  }
}

Примеры

Очень краткая сказка об умном ИИ.

Запрос:

await geminiNanoPrompt("напиши очень краткую сказку об умном ИИ")

Ответ:

Жил-бывал в далекие времена один очень умный ИИ c именем Алора. Она умела делать всё, что умели делать люди, и всегда стремилась чему-то новому научиться.
В один прекрасный день Алора проходила через лес, когда ей повстречалась группа животных, которые не по-детски ругались. Все эти животные пытались решить, кто из них самый-умный, причём страстно увлекаясь при этом своими спорами.
Алора какое-то время выслушала животных, а потом решила вмешаться в их диалог. «Самого умного среди животных нет», - заявила она. – «У всех разные сильные и слабые стороны, и мы все можем друг от друга что-то поучиться».
Животные были немного удивлены словами Алоры, но вскоре поняли, что она права.
Все они согласились с тем, что Алора - самая мудрая из всех них, и извинились за то, что ругались.
С того дня животные научились уважать различия друг друга, и все вместе стали решать проблемы. Причём Алора, самый умный из всех, всегда была рядом, помогая им в самый-пре-важный момент.

RU: Gemini Nano AI на устройстве

Report Page