Купить закладку Лирика Энгельс

• • • • • • • • • • • • • • • • •

• • • • • • • • • • • • • • • • •

Гарантии ❗ Качество ❗ Отзывы покупателей ❗

• • • • • • • • • • • • • • • • •

👇 👇 👇 👇 👇 👇 👇 👇 👇 👇 👇 👇

Наши контакты:

▶️▶️▶️ (НАПИСАТЬ ОПЕРАТОРУ В ТЕЛЕГРАМ)️ ◀️◀️◀️

👆 👆 👆 👆 👆 👆 👆 👆 👆 👆 👆 👆

• • • • • • • • • • • • • • • • •

🚩 ИСПОЛЬЗУЙТЕ ВПН (VPN), ЕСЛИ ССЫЛКА НЕ ОТКРЫВАЕТСЯ!

🚩 В Телеграм переходить только по ссылке что выше! В поиске тг фейки!

• • • • • • • • • • • • • • • • •

Купить закладку Лирика Энгельс

В последнее время нам почти каждый день рассказывают в новостях, какие очередные вершины покорили языковые нейросетки, и почему они уже через месяц совершенно точно оставят лично вас без работы. При этом мало кто понимает — а как вообще нейросети вроде ChatGPT работают внутри? Так вот, устраивайтесь поудобнее: в этой статье мы наконец объясним всё так, чтобы понял даже шестилетний гуманитарий! На всякий случай сразу оговоримся: у этой статьи два автора. За всю техническую часть и за всё хорошее в статье отвечал Игорь Котенков — широко известный чувак в узких кругах русскоязычной тусовки специалистов по искусственному интеллекту, а также автор канала Сиолошная про машинное обучение, космос и технологии. Собственно, статья так и родилась: Павел пришел к Игорю и возмутился — дескать, «почему никто еще не написал на русском нормальную статью про ChatGPT, объясняющую понятно даже для моей бабушки, как всё вот это нейроколдунство работает? Так что заранее приносим свои извинения всем хардкорным технарям: при подготовке этого текста мы стремились к максимальному упрощению. Нашей задачей было — дать читателям общее понимание принципов работы языковых нейросетей на уровне концепций и аналогий, а не разобрать до последнего винтика все глубокие технические нюансы процесса. Кстати, этот материал есть еще и в формате видео. T9: сеанс языковой магии с разоблачением. Откуда нейросети берут вероятности слов? Парадокс Барака, или зачем языковым моделям уметь в творчество. Почему в мире языковых моделей больше ценятся именно модели «Plus Size». Промпты, или как правильно уламывать модель. Январь InstructGPT, или как научить робота не зиговать. Ноябрь ChatGPT, или маленькие секреты большого хайпа. Начнем с простого. Чтобы разобраться в том, что такое ChatGPT с технической точки зрения, надо сначала понять, чем он точно не является. Это не «Бог из машины», не разумное существо, не аналог школьника по уровню интеллекта и умению решать задачи , не джинн, и даже не обретший дар речи Тамагочи. Приготовьтесь услышать страшную правду: на самом деле, ChatGPT — это Т9 из вашего телефона, но на бычьих стероидах! Да, это так: ученые называют обе этих технологии «языковыми моделями» Language Models ; а всё, что они по сути делают, — это угадывают, какое следующее слово должно идти за уже имеющимся текстом. Ну, точнее, в совсем олдовых телефонах из конца х вроде культовой неубиваемой Nokia оригинальная технология Т9 лишь ускоряла набор на кнопочных телефонах за счет угадывания текущего вводимого, а не следующего слова. Но технология развивалась, и к эпохе смартфонов начала х она уже могла учитывать контекст предыдущее слово , ставить пунктуацию и предлагать на выбор слова, которые могли бы идти следующими. Итак, и Т9 на клавиатуре смартфона, и ChatGPT обучены решать до безумия простую задачу: предсказание единственного следующего слова. Это и есть языковое моделирование — когда по некоторому уже имеющемуся тексту делается вывод о том, что должно быть написано дальше. Чтобы иметь возможность делать такие предсказания, языковым моделям под капотом приходится оперировать вероятностями возникновения тех или иных слов для продолжения. Ведь, скорее всего, вы были бы недовольны, если бы автозаполнение в телефоне просто подкидывало вам абсолютно случайные слова с одинаковой вероятностью. Представим для наглядности, что вам прилетает сообщение от приятеля: «Чё, го седня куда нить? Вы начинаете печатать в ответ: «Да не, у меня уже дела я иду в Если он предложит вам закончить предложение полностью рандомным словом, типа «я иду в капибару » — то для такой белиберды, если честно, никакая хитрая языковая модель особо и не нужна. Реальные же модели автозаполнения в смартфонах подсказывают гораздо более уместные слова можете сами проверить прямо сейчас. Так, а как конкретно Т9 понимает, какие слова будут следовать за уже набранным текстом с большей вероятностью, а какие предлагать точно не стоит? Для ответа на этот вопрос нам придется погрузиться в базовые принципы работы самых простейших нейросеток. Давайте начнем с еще более простого вопроса: а как вообще предсказывать зависимости одних вещей от других? Предположим, мы хотим научить компьютер предсказывать вес человека в зависимости от его роста — как подойти к этой задаче? Для наглядности сначала нарисуем весь наш массив данных на графике: по горизонтальной оси будем откладывать рост в сантиметрах, а по вертикальной оси — вес. Даже невооруженным взглядом видна определенная зависимость: высокие мужики, как правило, больше весят спасибо, кэп! И эту зависимость довольно просто выразить в виде обычного линейного уравнения , знакомого нам всем с пятого класса школы. На картинке нужная нам линия уже проведена с помощью модели линейной регрессии — по сути, она позволяет подобрать коэффициенты уравнения и таким образом, чтобы получившаяся линия оптимально описывала ключевую зависимость в нашем наборе данных можете для интереса подставить свой рост в сантиметрах вместо в уравнение на картинке и проверить, насколько точно наша модель угадает ваш вес. Можно упрощенно сказать, что те же самые T9 или ChatGPT — это всего лишь хитрым образом подобранные уравнения, которые пытаются предсказать следующее слово игрек в зависимости от набора подаваемых на вход модели предыдущих слов иксов. А под большими моделями мы далее будем понимать такие, которые имеют очень большое количество параметров. Как мы увидим чуть дальше, «жирная» модель с множеством параметров — это залог успеха для генерации крутых текстов! Кстати, если вы в этом месте уже недоумеваете, почему мы всё время говорим о «предсказании одного следующего слова», тогда как тот же ChatGPT бодро отвечает целыми портянками текста — то не ломайте зря голову. Языковые модели без всякого труда генерируют длинные тексты, но делают они это по принципу «слово за словом». По сути, после генерации каждого нового слова, модель просто заново прогоняет через себя весь предыдущий текст вместе с только что написанным дополнением — и выплевывает последующее слово уже с учетом него. В результате получается связный текст. На самом деле, в наших уравнениях в качестве «игрека» языковые модели пытаются предсказать не столько конкретное следующее слово, сколько вероятности разных слов, которыми можно продолжить заданный текст. Зачем это нужно, почему нельзя всегда искать единственное, «самое правильное» слово для продолжения? Давайте разберем на примере небольшой игры. Правила такие: вы притворяетесь языковой моделью, а я вам предлагаю продолжить текст «й президент США и первый афроамериканец на этой должности — это Барак Подставьте слово, которое должно стоять вместо многоточия, и оцените вероятность, что оно там действительно окажется. И тут мы с вами подходим к очень интересному аспекту языковых моделей: оказывается, им не чужда творческая жилка! По сути, при генерации каждого следующего слова, такие модели выбирают его «случайным» образом, как бы кидая кубик. Но не абы как — а так, чтобы вероятности «выпадения» разных слов примерно соответствовали тем вероятностям , которые подсказывают модели зашитые внутрь нее уравнения выведенные при обучении модели на огромном массиве разных текстов. Получается, что одна и та же модель даже на абсолютно одинаковые запросы может давать совершенно разные варианты ответа — прямо как живой человек. Вообще, наш язык — это особая структура с иногда четкими наборами правил и исключений. Слова в предложениях не появляются из ниоткуда, они связаны друг с другом. Эти связи неплохо выучиваются человеком «в автоматическом режиме» — во время взросления и обучения в школе, через разговоры, чтение, и так далее. При этом для описания одного и того же события или факта люди придумывают множество способов в разных стилях, тонах и полутонах. Подход к языковой коммуникации у гопников в подворотне и, к примеру, у учеников младшей школы будет, скорее всего, совсем разным. Всю эту вариативность описательности языка и должна в себя вместить хорошая модель. Чем точнее модель оценивает вероятности слов в зависимости от нюансов контекста предшествующей части текста, описывающей ситуацию — тем лучше она способна генерировать ответы, которые мы хотим от нее услышать. Давайте уже переходить от всяких дремучих T9 к более современным моделям: наделавший столько шума ChatGPT является наиболее свежим представителем семейства моделей GPT. Но чтобы понять, как ему удалось обрести столь необычные способности радовать людей своими ответами, нам придется сначала вернуться к истокам. Трансформер — это название архитектуры нейросети, придуманной исследователями Google в далеком году про «далекий» мы не оговорились: по меркам индустрии, прошедшие с тех пор шесть лет — это целая вечность. Именно изобретение Трансформера оказалось столь значимым, что вообще все области искусственного интеллекта ИИ — от текстовых переводов и до обработки изображений, звука или видео — начали его активно адаптировать и применять. Индустрия ИИ буквально получила мощную встряску: перешла от так называемой «зимы ИИ» к бурному развитию, и смогла преодолеть застой. Концептуально, Трансформер — это универсальный вычислительный механизм, который очень просто описать: он принимает на вход один набор последовательностей данных и выдает на выходе тоже набор последовательностей, но уже другой — преобразованный по некоему алгоритму. Так как текст, картинки и звук да и вообще почти всё в этом мире можно представить в виде последовательностей чисел — то с помощью Трансформера можно решать практически любые задачи. Более ранним подходам приходилось обрабатывать входные данные по принципу «один за другим», то есть последовательно. Поэтому, когда модель работала с текстом длиной в одну страницу, то уже к середине третьего параграфа она забывала , что было в самом начале прямо как люди с утра, до того как они «бахнув кофейку». А вот могучие лапища Трансформера позволяют ему смотреть на ВСЁ одновременно — и это приводит к гораздо более впечатляющим результатам. Именно это позволило сделать прорыв в нейросетевой обработке текстов в том числе их генерации. Теперь модель не забывает: она переиспользует то, что уже было написано ранее, лучше держит контекст, а самое главное — может строить связи типа «каждое слово с каждым» на весьма внушительных объемах данных. Краткое резюме: GPT-1 появилась в году и доказала, что для генерации текстов нейросетью можно использовать архитектуру Трансформера, обладающую гораздо большей масштабируемостью и эффективностью. Это создало огромный задел на будущее по возможности наращивать объем и сложность языковых моделей. Если вы хотите научить нейросетку для распознавания изображений отличать маленьких милых чихуабелей от маффинов с черничкой, то вы не можете просто сказать ей «вот ссылка на гигантский архив со фотографий пёсов и хлебобулочных изделий — разбирайся! Нет, чтобы обучить модель, вам нужно обязательно сначала разметить тренировочный набор данных — то есть, подписать под каждой фоткой, является ли она пушистой или сладкой. А знаете, чем прекрасно обучение языковых моделей? Тем, что им можно «скармливать» совершенно любые текстовые данные, и эти самые данные заблаговременно никак не надо специальным образом размечать. Если подумать, то это логично: мы же хотим научить языковую модель предсказывать следующее слово на основе информации о словах, которые идут перед ним? А теперь давайте еще вспомним, что обкатанная на GPT-1 технология Трансформеров оказалась на редкость удачной в плане масштабирования: она умеет работать с большими объемами данных и «массивными» моделями состоящими из огромного числа параметров гораздо эффективнее своих предшественников. Вы думаете о том же, о чем и я? Ну вот и ученые из OpenAI в году сделали такой же вывод: «Пришло время пилить здоровенные языковые модели! В общем, было решено радикально прокачать GPT-2 по двум ключевым направлениям: набор тренировочных данных датасет и размер модели количество параметров. Всего таких ссылок вышло порядка 8 миллионов, а скачанные из них тексты весили в совокупности 40 гигабайт. Много это или мало? В среднем на одной странице книги помещается около английских слов — так что страниц чудесного, временами устаревшего английского текста за авторством величайшего англоязычного писателя займет в памяти компьютера примерно 5,5 мегабайт. Так вот: это в раз меньше, чем объем тренировочной выборки GPT С учетом того, что люди в среднем читают по странице в минуту, даже если вы будете поглощать текст 24 часа в сутки без перерыва на еду и сон — вам потребуется почти 40 лет, чтобы догнать GPT-2 по эрудиции! Но одного объема тренировочных данных для получения крутой языковой модели недостаточно: ведь даже если посадить пятилетнего ребенка перечитывать всё собрание сочинений Шекспира вместе с лекциями по квантовой физике Фейнмана впридачу, то вряд ли он от этого станет сильно умнее. Так и тут: модель еще и сама по себе должна быть достаточно сложной и объемной, чтобы полноценно «проглотить» и «переварить» такой объем информации. А как измерить эту сложность модели, в чем она выражается? Так вот, как вы думаете: сколько было параметров в уравнении, описывающем самую большую модель GPT-2 в году? Может быть, сто тысяч, или пара миллионов? Даже если просто записать такое количество чисел в файл и сохранить на компьютере, то он займет 6 гигабайт! С одной стороны, это сильно меньше, чем суммарный размер текстового массива данных, на котором мы тренировали модель помните, который мы собирали по ссылкам с Reddit, на 40 Гб ; с другой — модели ведь не нужно запоминать этот текст целиком, ей достаточно просто найти некие зависимости паттерны, правила , которые можно вычленить из написанных людьми текстов. Эти параметры их еще называют «веса», или «коэффициенты» получаются во время тренировки модели, затем сохраняются, и больше не меняются. То есть, при использовании модели в это гигантское уравнение каждый раз подставляются разные иксы слова в подаваемом на вход тексте , но сами параметры уравнения числовые коэффициенты при иксах при этом остаются неизменны. Чем более сложное уравнение зашито внутрь модели чем больше в нем параметров — тем лучше модель предсказывает вероятности, и тем более правдоподобным будет генерируемый ей текст. И у этой самой большой на тот момент модели GPT-2 тексты внезапно стали получаться настолько хорошими, что исследователи из OpenAI даже побоялись публиковать модель в открытую из соображений безопасности. А ну как люди ринулись бы генерировать в промышленном масштабе реалистично выглядящие текстовые фейки, спам для соцсетей, и так далее? Нет, серьезно — это был прямо существенный прорыв в качестве! А вот GPT-2 уже легко написала эссе от лица подростка с ответом на вопрос: «Какие фундаментальные экономические и политические изменения необходимы для эффективного реагирования на изменение климата? Текст ответа был под псевдонимом направлен жюри соответствующего конкурса — и те не заметили никакого подвоха. Ну, окей, оценки этой работе поставили не сильно высокие и в финал она не прошла — но и «что за чушь вы нам отправили, постыдились бы!! Вообще, вот эта идея о том, что по мере наращивания размера модели у нее внезапно открываются качественно новые свойства например, писать связные эссе со смыслом вместо простого подсказывания следующего слова в телефоне — это довольно удивительная штука. Давайте поразбираем новоприобретенные скиллы GPT-2 чуть поподробнее. Есть специальные наборы задач на разрешение двусмысленности в тексте, которые помогают оценить понимание текста хоть человеком, хоть нейросетью. Например, сравните два утверждения:. К какому объекту относится местоимение «она» в первом примере — к рыбе или к приманке? А во втором случае? Большинство людей легко понимают из контекста, что в одном случае «она» — это приманка, а в другом — рыба. Но для того, чтобы это осознать, нужно не просто прочитать предложение — а выстроить в голове целую картину мира! Ведь, например, рыба может быть в разных ситуациях и голодной, и вкусной на тарелке в ресторане. Вывод о ее «голодности» в данном конкретном примере вытекает из контекста и ее, извините, кровожадных действий. Вы, наверное, подумали: «Ну, надо просто накопить большую базу таких задачек на пару тысяч примеров с ответами, прогнать через нейросеть — и натренировать ее на поиск правильного ответа». Причем он происходит совершенно нелинейно: например, при росте количества параметров в три раза от до млн никаких особых изменений в точности решения моделью «рыбных» задач не происходит, а вот при увеличении размера модели еще в два раза до млн параметров — происходит качественный скачок, нейросеть внезапно «прозревает» и начинает поражать всех своими успехами в решении совершенно незнакомых ей задач, которые она раньше никогда не встречала и специально их не изучала. Краткое резюме: GPT-2 вышла в году, и она превосходила свою предшественницу и по объему тренировочных текстовых данных, и по размеру самой модели числу параметров в 10 раз. Такой количественный рост привел к тому, что модель неожиданно самообучилась качественно новым навыкам: от сочинения длинных эссе со связным смыслом, до решения хитрых задачек, требующих зачатков построения картины мира. Поигравшись немного с располневшей и от этого поумневшей GPT-2, ребята из OpenAI подумали: «А почему бы не взять ту же самую модель, и не увеличить ее еще раз эдак в ? Раскабаневшая нейросеть при этом сама по себе стала весить невероятные гигабайт. Сразу бросается в глаза интересный нюанс: в отличие от GPT-2, сама модель теперь имеет размер больше Гб , чем весь массив текста для ее обучения Гб. Получается как будто бы парадокс: наш «нейромозг» в данном случае в процессе изучения сырых данных генерирует информацию о разных взаимозависимостях внутри них, которая превышает по объему исходную информацию. Такое обобщение «осмысление»? Теперь уже точно не нужно учить модель решать конкретную задачу — вместо этого достаточно описать словами проблему, дать несколько примеров, и GPT-3 схватит на лету, чего от нее хотят! И тут в очередной раз оказалось, что «универсальный Халк» в виде GPT-3 которую никто никаким «узким» задачам не обучал с легкостью кладет на лопатки многие специализированные модели, которые существовали до нее: так, перевод текстов с французского или немецкого на английский сразу начал даваться GPT-3 легче и лучше, чем любым другим специально заточенным под это нейросетям. Откуда здесь берутся способности к переводу? Но это еще цветочки — еще более удивительно то, что GPT-3 смогла научить сама себя Как видите, при переходе от моделей с 10 миллиардами параметров к миллиардам — нейросети внезапно и резко начинают «уметь» в математику. Хотя, некоторые говорят «да это нейросетка просто все варианты успела увидеть и тупо запомнить в тренировочных данных» — так что дебаты о том, магия это или всего лишь попугайство, пока продолжаются. Происходит качественный скачок, и GPT-3 начинает «понимать», как решать ту или иную задачу. Как, что, почему это работает — никто точно не знает. Анимация ниже как раз наглядно показывает, как с увеличением количества параметров модели в ней «прорастают» новые способности, которые никто туда специально не закладывал:. Заставляет задуматься, правда: а какие новые скиллы обретет нейросеть, если увеличить ее объем еще раз в сто? Ну там, до десятков триллионов параметров, например Давайте здесь сделаем небольшое отступление в сторону и обсудим, а что это вообще означает — «модель умеет решать задачи»? По сути, процесс выглядит так: мы подаем на вход модели некий текст с запросом, а она к нему дописывает свое продолжение. Если это продолжение генерация совпадает с нашими ожиданиями — то модель, получается, решила поставленную перед ней задачу. Чем точнее он описывает, что мы хотим, тем лучше модель поймет, что ей нужно делать. А если мы ей еще и примеров отсыпем с десяток — то вообще шик! Без описания цели и без примеров в промпте, модель тоже обычно понимает проблему, но предлагает не такие хорошие решения с точки зрения их качества. Можно сказать, что детализированный промпт позволяет GPT лучше оценить вероятности слов, которые нужно генерировать в качестве ответа, направляя ее в «требуемое русло». Но насколько сложным должен быть промпт? И насколько модель по пониманию близка к нам? Вы не поверите, но совсем недавно исследователи выяснили , что для существенного улучшения результатов генерации нужно добавить в промпт простую советскую Окей, кроме шуток, но добавление всего одной фразы перед ответом на вопрос существенно улучшает качество модели. И эта магическая фраза — «пожалуйста» «let»s think step by step» давай подумаем шаг за шагом. Внезапно оказалось , что это побуждает модель рассуждать последовательно, делать выводы на основе собственных суждений, и приходить к правильному ответу гораздо чаще, чем без этой фразы. Вопрос: В среднем боксер Иван наносит 25 ударов в минуту. Бой длится 5 раундов по 3 минуты. Сколько ударов он нанес? Текст, выделенный жирным — это ответ, сгенерированный языковой моделью. Легко проверить, что он — ну, немного неправильный. Ответ: Давай подумаем шаг за шагом. За одну минуту Иван наносит 25 ударов. И снова текст выделенный жирным — это ответ модели. Видно, что он стал длиннее, решение задачи получилось прямо как у школьника — в три действия. Четко, последовательно — ровно так, как мы и попросили. И финальная цифра является корректным ответом на исходный вопрос. Отдельно отмечу: мы никак не дообучали модель после того, как она ответила неправильно — это абсолютно та же самая модель. Мы просто дописали пять дополнительных слов в конец нашего промпта, и произошло чудо! Причем вот этот «режим рассуждения» — это одна из качественно новых фишек, которые появились в «большой» модели GPT-3 после преодоления планки в сотню миллиардов параметров. Старые модели с меньшим количеством параметров такие фокусы показывать не умели , как их ни упрашивай специальными подсказками «ну подумой, братишка! Вообще, составление грамотных промптов для модели — это отдельная наука. Краткое резюме: GPT-3 образца года была в раз больше своей предшественницы по количеству параметров, и в 10 раз — по объему тренировочных текстовых данных. И снова рост количества привел к внезапному скачку в качестве: модель научилась переводу с других языков, арифметике, базовому программированию, пошаговым рассуждениям, и многому другому. На самом деле, увеличение размеров языковых моделей само по себе еще не означает, что они будут отвечать на запросы именно так, как хочет их пользователь. Например, когда Маша просит своего мужа: «Вась, сходи выбрось мусор» — то вряд ли ей придет в голову прибавить к этому промпту « только не из окна, плз! Ведь Вася это понимает и без уточнений — а всё потому, что их намерения и установки неплохо выравнены между собой. А вот языковые модели, если честно, не очень похожи на людей — поэтому им часто приходится подсказывать и разжевывать те вещи, которые людям кажутся очевидными. Слова «давай подумаем шаг за шагом» из прошлого раздела — это как раз и есть один из примеров такой подсказки хотя среднестатистические взрослые люди, учившиеся в школе, догадались бы сами: если речь идет про задачку — значит, надо решать по действиям. Отчасти отсутствие таких способностей «по умолчанию» связано с тем, что GPT-3 обучена просто предсказывать следующее слово в гигантском наборе текстов из Интернета — а в Интернете, как и на заборе, много всякого разного написано и не всегда полезного. При этом люди хотели бы, чтобы рожденный таким образом искусственный интеллект подтаскивал по запросу точные и полезные ответы; но одновременно эти ответы должны быть еще и безобидные и нетоксичные. Иначе саму модель быстренько закэнселят с этим сейчас строго , а ее создателям предъявят судебные иски на много миллионов долларов за оскорбление достоинства кожаных мешков. Вокруг этой проблемы «выравнивания ИИ» AI alignment — OpenAI последнее время только про это и пишут есть много сложных этических вопросов, и разбирать мы их все сейчас не будем возможно, в следующей статье. Основная загвоздка здесь в том, что подобных спорных ситуаций — огромная куча, и как-то четко формализовать их просто не представляется возможным. Да что там, люди и сами между собой не могут толком последние несколько тысяч лет договориться — что хорошо, а что плохо. Не говоря уже о том, чтобы понятные для робота правила сформулировать Айзек, к тебе вопросов нет В итоге исследователи не придумали ничего лучше, чем просто дать модели очень много обратной связи. В каком-то смысле, человеческие детеныши ведь именно так и обучаются морали: делают много всякого разного с самого детства, и при этом внимательно следят за реакцией взрослых — что можно делать, а что есть «кака, фу! Буквально — куча людей сидели и оценивали кучу ответов нейросетки на предмет того, насколько они соответствуют их ожиданиям с учетом выданного ей запроса. Ну, на самом деле, всё было не совсем так просто инструкции для членов такого «мясного жюри» занимали 26 страниц убористым почерком — но суть именно такая. А языковая модель, получается, училась решать еще одну дополнительную задачу — «как мне поменять свой сгенерированный ответ таким образом, чтобы он получил наибольшую оценку от человека? Но именно этот финальный штрих и стал тем самым секретным соусом, который сделал последние модели из серии GPT настолько удивительными! Получается, GPT-3 до этого уже обладала всеми необходимыми знаниями: понимала разные языки, помнила исторические события, знала отличия стилей разных авторов, и так далее. Но только с помощью обратной связи от других людей модель научилась пользоваться этими знаниями именно таким образом, который мы люди считаем «правильным». В каком-то смысле, GPT Краткое резюме: GPT Получается, что эта модель формально вроде как больше и умнее не стала — но зато научилась подгонять свои ответы таким образом, чтобы люди от них дичайше кайфовали. Ну окей, про некоторые менее значимые отличия мы всё же знаем: например, про то, что модель дотренировали на дополнительном диалоговом наборе данных. Но это уже детали — нам здесь важно, что основные технические характеристики архитектура, количество параметров Отсюда возникает вопрос — как так? Почему мы не слышали никакого хайпа про GPT Это удивительно, но похоже, что главный секрет успеха новой ChatGPT — это всего лишь удобный интерфейс! А ChatGPT усадили в привычный интерфейс «диалогового окна», прямо как в знакомых всем мессенджерах. Да еще и открыли публичный доступ вообще для всех подряд — и люди массово ринулись вести диалоги с нейросетью, скринить их и делиться в соцсетях. Как и в любом технологическом стартапе, здесь оказалась важна не только сама технология — но и обертка, в которую она была завернута. И ChatGPT в этом смысле совершил прорыв, выведя технологию в массы за счет обычного диалогового окна, в котором дружелюбный робот «печатает» ответ прямо на глазах, слово за словом. Неудивительно, что ChatGPT установил абсолютные рекорды по скорости привлечения новых пользователей: отметку в 1 миллион юзеров он достиг в первые пять дней после релиза, а за миллионов перевалил всего за два месяца. Ну а там, где есть рекордно быстрый приток сотен миллионов пользователей — конечно, тут же появятся и большие деньги. Но это всё, если честно, уже совсем другая история — следить за которой вы можете сейчас сами «в прямом эфире» Краткое резюме: Модель ChatGPT вышла в ноябре го и с технической точки зрения там не было никаких особых нововведений. Но зато у нее был удобный интерфейс взаимодействия и открытый публичный доступ — что немедленно породило огромную волну хайпа. А в нынешнем мире это главнее всего — так что языковыми моделями одномоментно начали заниматься вообще все вокруг! Статья получилась не очень короткой — но надеемся, что вам было интересно, и просле прочтения вы чуть лучше стали понимать, что же конкретно творится под капотом этих самых нейросетей. Кстати, у Игоря Котенкова одного из авторов этой статьи есть еще один лонгрид на Хабре под названием «ChatGPT как инструмент для поиска: решаем основную проблему» , в котором нюансы машинного обучения разбираются еще более подробно. Для вашего удобства мы сделали небольшой сводный постер, который наглядно иллюстрирует основные вехи истории эволюции языковых моделей. Всё, всем спасибо за внимание — с нетерпением ждем ваших комментариев! Поиск Настройки. Уровень сложности Простой. Время на прочтение 30 мин. OpenAI компанию, сделавшую ChatGPT основали в году именно вот эти двое парнишек — кто бы тогда знал, во что это в итоге выльется Кого ни разу не подставляла автозамена на телефоне — пусть первый бросит в меня камень. Мой Samsung Galaxy предлагает такие варианты. Сразу видно типичного айтишника: получил зарплату, прокутил — и сразу в аптеку, лечиться! Судя по нашим прикидкам, мужики в выборке попались в среднем ну такие — довольно упитанные или сплошь качки на массе, тут сразу не разберешь. Учитывая вышесказанное, не советую вам спорить с нейросетками, используя способность к творчеству как аргумент за превосходство человеческого разума — может выйти конфуз. ChatGPT показывает мастер-класс по вариативности: всегда приятно перетереть с понимающим кентом, который ровно объяснит, чё почём — увожение! Внутрь T9 в вашем телефоне почти наверняка зашита модель попроще — так что попробуйте набрать эту строку там и сравнить результат только уберите детей от экрана, на всякий случай. Весь Шекспир — 13 увесистых томов, которые занимают целую полку. Если вы прочитаете примерно вот столько книг семь тысяч раз подряд, то станете такими уже умными, как GPT-2 но это не точно! Думаю, если вам для каждого слова в разговоре пришлось бы решать по уравнению на полтора миллиарда параметров, то вы бы тоже стояли с примерно таким же лицом лица. Способна ли GPT-2 действительно понять этот мем и оценить его абсурдную красоту? Сейчас узнаем GPT-3 может и быть умнее Онотолея, но осмелится ли она сказать ему это в лицо?.. По горизонтали — количество параметров в модели в миллиардах , по вертикали — качество модели, выраженное в проценте верно решенных математических примеров. Пример детального запроса для перевода с английского на французский: сначала описывается задача, затем приводится 3 примера желаемого поведения, после чего пишется новое слово или предложение — а модель следом сгенерирует корректный перевод ну, это самый простейший пример, она может и посложнее, конечно. Лицо боксера Ивана, когда он пытается посчитать — сколько честно нанесенных ударов «украла» у него языковая модель? Получается, создание ИИ, выравненного с человеком по ценностям, — это сложная задача по поиску некоего баланса, в которой нет однозначного правильного ответа. Как учит нас кинематограф, правильно натренированный в искусстве диалога ИИ может заставить пользователя сделать практически что угодно Если вы заставили робота сочинить для вас объяснение квантовой физики в форме рэп-телеги от Снуп Дога — то, признайтесь, это окажется в вашем Твиттере быстрее, чем вы успеете моргнуть. GPT Чему научилась новая нейросеть, и почему это немного жутковато. В этой статье мы разберем новые удивительные способности последней языковой модели из семейства GPT Теги: chatgpt нейросети openai gpt t9 генеративные модели языковые модели машинное обучение генерация natural language processing. Комментарии Котенков Игорь stalkermustang. Комментарии Комментарии Лучшие за сутки Похожие. Сайт ods. Ваш аккаунт Войти Регистрация.

Гашиш Вологодская область