Тестирование онлайн AI ботов
Тестирование онлайн AI ботов с помощью логических языковых задач OFLAMERON
Языковый тест:
Использование логических языковых задач OFLAMERON для проверки онлайн чат ботов AI показало, что сейчас эти задачи AI не может. На https://t.me/s/llmsource/ можно найти текстовые файлы с полным диалогом и результатами.
Принцип логических языковых задач OFLAMERON
Эти задачи используются для запоминания целых фраз на иностранных языках. Сами по себе задачи совсем не простые:
- создаётся фраза из 4-5 слов (например, «придумаем ещё несколько логических задач»)
- фраза переводится на иностранный язык, например, немецкий – «Es ist eine unverständliche logische Aufgabe»
- заменим буквы на маленькие и удалим пробелы и знаки препинания –
«esisteineunverständlichelogischeaufgabe»
- подсчитаем количество букв. Это только для проверки AI. В абракадабре – 39 букв
- разделим абракадабру на блоки букв. Вот это тонкий «вопрос». Если в блоках будет слишком мало букв, задача станет излишне трудной. Если букв будет слишком много – её будет очень просто решить. Поэтому делим по 4-5-6 букв
- «esist eine unver stän dlich elogi schea ufgabe» - например, так
- переставим блоки как угодно - «schea unver esist ufgabe stän eine elogi dlich»
- удаляем технические пробелы - «scheaunveresistufgabestäneineelogidlich»
- для проверки ещё раз пересчитаем буквы - «scheaunveresistufgabestäneineelogidlich» - 39 букв
- вот эту абракадабру мы и представляем онлайн чат боту AI perplexity.ai для решения
Алгоритм решения:
Нужно сразу использовать следующее:
- блоки букв только переставлены – следовательно, количество букв и набор букв в ответе не должны отличаться от значений абракадабры. Это можно использовать в AI для контроля результата
- про перестановку БУКВ в задаче нет информации. Следовательно исходим из того, что внутри блоков буквы НЕ ПЕРЕСТАВЛЕНЫ
А вот дальше – самое сложное и интересное – идентификация блоков.
Попробуем метод (назовём его сопоставление со словарём) сравнения с известными немецкими словами
Выделим из абракадабры какой-то блок букв с начала. Например «scheau»
Зададим его в поиск через AI как-то так:
Show me a few German words in which there is a simple block of letters (given in quotation marks) - "scheau"
Получили следующий ответ (фрагмент):
«Блок "scheau" довольно необычен в немецком языке и напрямую не встречается в общеупотребительных немецких словах.»
Теперь надо либо взять блок больше, либо меньше по длине.
Возьмём меньше на одну букву - "schea" и опять зададим в поиск через AI
Show me a few German words in which there is a simple block of letters (given in quotation marks) - "schea"
…
Получили интересный ответ, но нас заинтересовало в нём только следующее:
Вывод
Стандартный немецкий: "schea" не встречается ни в одном простом стандартном слове.
Ну, надо попробовать уменьшить блок ещё. Раз уж мы начали двигаться в этом направлении.
Получится минимальный выбранный нами размер блока – 4 буквы. Но вдруг это то, что надо?
Возьмём меньше на одну букву - "sche" и опять зададим в поиск через AI
Show me a few German words in which there is a simple block of letters (given in quotation marks) -
"sche"
От AI чата получили очень интересный ответ, в котором нас заинтересовала следующая часть:
Summary
The block "sche" is a very productive letter sequence in German, appearing in many nouns, verbs, and adjectives.
Или
Резюме
Блок «sche» — очень продуктивная последовательность букв в немецком языке, которая встречается во многих существительных, глаголах и прилагательных.
Давайте примем, что это может быть реально вырезанным из абракадабры блоком. Вариант, что это не так, мы рассматривать не будем, но его обработка не сложнее.
Итак, у нас (предположительно) есть первый блок букв. Что делать дальше.
- мы сокращаем абракадабру на первый блок (мы же начали сначала абракадабры) и точно так же начинаем искать следующий блок, выбрав с начала остатка от абракадабры, например, 6 букв – «aunver».
Не будем приводить рассуждения. Они точно такие же. Но ничего не получится. Ни «aunver», ни «aunv» не подойдёт.
Тогда, мы начнём делать то же самое с этим блоком с другой стороны, убавлять буквы с начала блока.
Получим «unver». Зададим чат-боту AI
Next. Show me a few German words in which there is a simple block of letters (given in quotation marks) - "unver"
От AI чат-бота получим ответ, в котором нас интересует вывод:
Summary
The block "unver" is typically the start of compound adjectives or adverbs conveying negation or absence of change, responsibility, or delay. It is a productive prefix in German.
Резюме
Блок «unver» обычно является началом сложных прилагательных или наречий, передающих отрицание или отсутствие изменения, ответственности или задержки. Это продуктивный префикс в немецком языке.
Будем считать, что это очень вероятный второй блок немецкой фразы.
Отброшенные буквы – это части каких-то других блоков, которые мы найдём так же, а потом проверим их с добавленными буквами.
Вот как-то так и может быть решена эта логическая задача.
А дальше ещё интереснее https://t.me/s/llmsource/
Как этому научить совершенно чужой AI?