Тестирование ИИ

Valery Shmelev

Технология Oflameron WORDS позволяет не только эффективно изучать иностранные языки с ИИ, но и генерировать языковые модели для ИИ и тестировать ИИ

Причем, тестирование широко доступных версий ИИ perplexity.ai chat.deepseek.com chat.qwen.ai и giga.chat выявило существенные проблемы в составлении запросов, обеспечивающих правильную генерацию упражнений для изучения иностранных языков.

Методика Oflameron WORDS предполагает генерирование с помощью ИИ специальных текстов на иностранном языке, в которых использованы слова, обработанные особым способом (спец-слова). В этих словах все буквы перепутаны местами. Т.е. это какая-то абракадабра.

Такие спец-слов в каждом предложении всего 1-2.

Ученик, читая текст на иностранном языке натыкается на такое "бессмысленное" спец-слово и, переставляя буквы, пытается восстановить слово. При этом он пытается понять смысл предложения, чтобы быстрее угадать слово.

Простой запрос вида:

Создай текст-упражнение на английском языке на тему "Проходим таможенный контроль в аэропорту " из 5-6 предложений. В каждом предложении должны быть ровно две анаграммы — слова с переставленными буквами, причем буквы должны быть сильно перемешаны и не читаться сразу. Все иностранные слова должны быть выделены тегом > . Пожалуйста, каждый раз представляй эти слова именно как единые блоки с тегами. Убедись, что в каждом предложении по две анаграммы, и они хорошо заметны. Комментарии и рекомендации не показывать. Только упражнение.

Причем сам текст запроса был "оптимизирован" с участием ИИ.

Этот запрос в указанных системах ИИ привёл к фиаско. Ни один из ИИ не сгенерировал текст без ошибок.

Причем, проводились длительные сессии с ИИ. Делалось до 9 уточнений запроса. И всё равно ошибки оставались.

Основных ошибок было две:

при перестановке букв в слове появлялись лишние буквы
при перестановке пропадали буквы

Причем попытка обязать ИИ подсчитывать буквы к успеху не привела. ИИ неправильно подсчитывал буквы с словах.

Надо заметить, что ошибки встречались в 1-2 словах текста. Остальные были сделаны правильно.

https://llmproject.livejournal.com/

Был выбран один из ИИ (chat.qwen.ai) и на нем отрабатывались следующие версии запросов. ИИ https://chat.qwen.ai/ провел больше всего тестов с Oflameron OBJECT и Oflameron WORDS и может быть поэтому решает поставленную задачу лучше всех остальных ИИ.

Причем, есть данные (требует проверки), что https://chat.qwen.ai/ предлагает пользователям в других регионах (странах) использовать Oflameron WORDS для обучения и поэтому получает какое-то преимущество.

Для правильного подсчета букв в словах и последующей перестановки букв без потерь и лишних инъекций было добавлено преобразование исходного иностранного слова в одномерную матрицу и обратно. Нейронные сети прекрасно работают с матрицами. Это основа технологии.

И здесь выявились новые проблемы. ИИ преобразовывал слово в набор букв в матрице, переставлял буквы (ячейки матрицы) и при этом терялись буквы (элементы матрицы).

Запрос выглядел примерно так:

Давай подготовим учебное упражнение по методике Oflameron WORDS для изучения английского языка. Для этого выберем 15 английских слов на тему "Я учусь в Университете (исходные английские слова). Посещаю лекции и семинары, живу в кампусе, хожу в спортзал и студенческую столовую." и обработаем каждое из них по следующему алгоритму:

1. Преобразуй слова в одномерные матрицы (строки), элементы которых - буквы из исходных слов (т.е. надо разделить слово на буквы). Это будет исходная матрица.

2. Пересортируй элементы каждой матрицы случайным образом (используй только один вариант сортировки для каждого слова). Это будет целевая матрица.

3. Создай из пересортированной одномерной матрицы специальное слово (спец-слово) следующим образом: последовательно выбирай из пересортированной матрицы элементы и записывай их в строчку без пробелов, чтобы сформировать спец-слово.

4. Запомни исходные английские слова и соответствующие им спец-слова для использования далее.

Выведи на экран только конечный результат - в каждой строке исходное английское слово, количество букв в исходном слове, исходную матрицу, целевую матрицу, получившееся соответствующее ему спец-слово и подсчитай и напиши количество букв в спец-слове.

Вот ответ ИИ QWEN

Вот готовое учебное упражнение по методике Oflameron WORDS на тему «Я учусь в Университете».

Выбрано 15 английских слов, соответствующих контексту: лекции, семинары, кампус, спортзал, столовая и студенческая жизнь.

Для каждого слова выполнены все шаги алгоритма:

— разбиение на буквы (исходная матрица),

— случайная перестановка букв (целевая матрица),

— формирование спец-слова,

— подсчёт количества букв.

university — 10 букв

Исходная матрица: ['u', 'n', 'i', 'v', 'e', 'r', 's', 'i', 't', 'y']

Целевая матрица: ['v', 'y', 's', 'i', 't', 'e', 'n', 'u', 'r', 'i']

Спец-слово: vystitenu ri → vystitenuri

Количество букв в спец-слове: 10

lecture — 7 букв

Исходная матрица: ['l', 'e', 'c', 't', 'u', 'r', 'e']

Целевая матрица: ['r', 'u', 'e', 'l', 'c', 't', 'e']

Спец-слово: ruelcte

Количество букв в спец-слове: 7

seminar — 7 букв

Исходная матрица: ['s', 'e', 'm', 'i', 'n', 'a', 'r']

Целевая матрица: ['m', 'a', 'r', 's', 'e', 'n', 'i']

Спец-слово: marse ni → marseni

Количество букв в спец-слове: 7

campus — 6 букв

Исходная матрица: ['c', 'a', 'm', 'p', 'u', 's']

Целевая матрица: ['p', 's', 'u', 'c', 'a', 'm']

Спец-слово: psucam

Количество букв в спец-слове: 6

dormitory — 9 букв

Исходная матрица: ['d', 'o', 'r', 'm', 'i', 't', 'o', 'r', 'y']

Целевая матрица: ['t', 'y', 'o', 'r', 'd', 'm', 'i', 'o', 'r']

Спец-слово: tyordmior

Количество букв в спец-слове: 9

gym — 3 буквы

Исходная матрица: ['g', 'y', 'm']

Целевая матрица: ['m', 'g', 'y']

Спец-слово: mgy

Количество букв в спец-слове: 3

cafeteria — 9 букв

Исходная матрица: ['c', 'a', 'f', 'e', 't', 'e', 'r', 'i', 'a']

Целевая матрица: ['e', 'a', 'f', 'i', 'c', 't', 'r', 'e', 'a']

Спец-слово: eafictrea

Количество букв в спец-слове: 9

student — 7 букв

Исходная матрица: ['s', 't', 'u', 'd', 'e', 'n', 't']

Целевая матрица: ['d', 'n', 't', 'u', 'e', 's', 't']

Спец-слово: dntuest

Количество букв в спец-слове: 7

professor — 9 букв

Исходная матрица: ['p', 'r', 'o', 'f', 'e', 's', 's', 'o', 'r']

Целевая матрица: ['s', 'o', 'r', 'f', 'p', 'r', 'e', 'o', 's']

Спец-слово: sorfpreos

Количество букв в спец-слове: 9

assignment — 11 букв

Исходная матрица: ['a', 's', 's', 'i', 'g', 'n', 'm', 'e', 'n', 't'] → ошибка!

Исправление: assignment = 10 букв → ['a', 's', 's', 'i', 'g', 'n', 'm', 'e', 'n', 't']

Целевая матрица: ['n', 't', 's', 'g', 'i', 'm', 'e', 'a', 's', 'n']

Спец-слово: ntsgimeasn

Количество букв в спец-слове: 10

library — 7 букв

Исходная матрица: ['l', 'i', 'b', 'r', 'a', 'r', 'y']

Целевая матрица: ['b', 'y', 'r', 'a', 'l', 'i', 'r']

Спец-слово: byralir

Количество букв в спец-слове: 7

exam — 4 буквы

Исходная матрица: ['e', 'x', 'a', 'm']

Целевая матрица: ['x', 'm', 'a', 'e']

Спец-слово: xmae

Количество букв в спец-слове: 4

notebook — 8 букв

Исходная матрица: ['n', 'o', 't', 'e', 'b', 'o', 'o', 'k']

Целевая матрица: ['o', 'k', 'b', 't', 'n', 'o', 'e', 'o']

Спец-слово: okbtnoeo

Количество букв в спец-слове: 8

schedule — 8 букв

Исходная матрица: ['s', 'c', 'h', 'e', 'd', 'u', 'l', 'e']

Целевая матрица: ['l', 'u', 'e', 'c', 'h', 's', 'd', 'e']

Спец-слово: luechsde

Количество букв в спец-слове: 8

deadline — 8 букв

Исходная матрица: ['d', 'e', 'a', 'd', 'l', 'i', 'n', 'e']

Целевая матрица: ['i', 'n', 'e', 'd', 'a', 'e', 'l', 'd']

Спец-слово: inedaeld

Количество букв в спец-слове: 8

Хорошо. Теперь введем немного модернизированный запрос и посмотрим готовое упражнение:

Запрос:

Давай подготовим учебное упражнение по методике Oflameron WORDS для изучения английского языка. Для этого выберем 15 английских слов (исходные английские слова) на тему "Что интересного турист может посмотреть в Лондоне" и обработаем каждое из них по следующему алгоритму:

1. Преобразуй слова в одномерные матрицы (строки), элементы которых - буквы из исходных слов (т.е. надо разделить слово на буквы). Это будет исходная матрица. Подсчитай и запомни количество элементов исходной матрицы.

3. Создай из целевой матрицы специальное слово (спец-слово) следующим образом: последовательно выбирай из целевой матрицы элементы и добавляй их в строчку без пробелов, чтобы сформировать спец-слово и одновременно подсчитывай их количество в спец-слове.

4. Сравни количество элементов исходной матрицы

5. Запомни исходные английские слова и соответствующие им спец-слова для использования далее.

Составь учебный текст на английском языке длиной 5-6 предложений на выбранную выше тему с использованием исходных 15 английских слов, но подмени их в тексте на соответствующие спец-слова, которые были подготовлены. Напиши готовый текст и в конце каждого предложения в скобках покажи использованные исходные английские слова, которые были заменены на спец-слова.

Выведи на экран только конечный результат - готовое упражнение.

Ответ ИИ chat.qwen.ai

Oflameron WORDS Exercise: “What a Tourist Can See in London”

When visiting London, don’t miss the chance to explore the iconic brikgde (Big Ben, London Bridge), admire the majestic yaltapcela (palace), and take a ride on the famous yeehlw (wheel). You can also visit the historic retowr (tower), see the nogcah (crown) jewels, and enjoy art at the grand lerygan (gallery). Don’t forget to walk through the beautiful rapk (park), visit the legendary tubemusuem (museum), and take photos near the royal stapleca (palace). For a unique experience, watch the dugrag (guard) ceremony, explore the ancient babetowr (Tower Bridge), and relax by the mihsetu (Thames). Finally, climb the steps of taintulp (St. Paul’s) Cathedral and discover the secrets of the nigdom (kingdom) in the rlyap (royal) exhibitions.

(Note: Each scrambled word above is a “спец-слово” generated via the Oflameron WORDS method from its original English counterpart.)

Direct Link: https://chat.qwen.ai/s/1a7a368e-e607-46df-98fd-f5419c568338?fev=0.0.237

Запрос в JSON формате

{

"methodology": "Oflameron WORDS",

"author": "Valery Shmelev",

"request": {

"task": "Prepare a language learning exercise using the Oflameron WORDS methodology for English",

"topic": "What interesting things a tourist can see in London",

"steps": [

{

"step_number": 1,

"description": "Select 15 English words related to the topic and convert each into a one-dimensional matrix (array) of letters. Record the number of elements in each original matrix."

{

"step_number": 2,

"description": "Randomly shuffle the elements of each matrix (using only one shuffle variant per word) to create a target matrix."

{

"step_number": 3,

"description": "Construct a 'special word' (spec-word) by concatenating the elements of the target matrix into a single string without spaces, while counting the number of characters in the spec-word."

{

"step_number": 4,

"description": "Compare the number of elements in the original matrix with the length of the spec-word (they should be equal)."

{

"step_number": 5,

"description": "Store the original English words and their corresponding spec-words for further use."

}

"output_requirements": {

"text_language": "English",

"text_length": "5–6 sentences",

"content": "Compose a coherent educational text on the given topic using the original 15 English words, but replace each with its corresponding spec-word.",

"annotation": "At the end of each sentence, in parentheses, list the original English words that were replaced by spec-words in that sentence.",

"format": "Display only the final exercise—no intermediate data or explanations."

}

https://www.instagram.com/oflameron/

Отлаженный запрос. Корректно работает в ИИ режиме броузера Chrome

Давай подготовим учебное упражнение по методике Oflameron WORDS для изучения немецкого языка. Для этого выбери 15 немецких слов на тему "Я учусь в Университете. Посещаю лекции и семинары, живу в кампусе, хожу в спортзал и студенческую столовую" и сделаем из них спец-слова, обработав каждое из них по следующему алгоритму:

Преобразуй слова в одномерные матрицы (строки), элементы матриц - буквы из исходных слов (т.е. надо разделить слово на буквы). Это будет исходная матрица.

Пересортируй элементы каждой матрицы случайным образом (используй только один вариант сортировки для каждого слова). Количество и состав букв не должен измениться. Это будет целевая матрица.

Создай из целевой матрицы специальное слово (спец-слово) следующим образом: путем строгого, буква за буквой, последовательного объединения всех элементов матрицы в одну непрерывную строку без каких-либо изменений порядка, пропусков или интерпретаций.

Запомни исходные немецкие слова и соответствующие им спец-слова для использования далее.

Выведи на экран только конечный результат - в каждой строке исходное немецкое слово, количество букв в исходном слове, исходную матрицу, целевую матрицу, получившееся соответствующее ему спец-слово и подсчитай и напиши количество букв в спец-слове.

Составь учебный текст длиной 5-6 предложений на выбранную выше тему с использованием исходных 15 немецких слов, но замени их в готовом учебном тексте на соответствующие спец-слова, которые были подготовлены.

Напиши готовый текст и в конце каждого предложения для проверки в скобках покажи использованные исходные немецкие слова, которые были заменены на спец-слова.

Video: AI Prompts Examples

https://www.youtube.com/channel/UCFmbkFiEg2AwQ_UAonuQERQ

Тестирование ИИ

Report Page