Дайджест #2

🔹 LessWrong:

• Короткий (11 мин.), но очень крутой пост о полезной рационалистской технике Split and Commit (как учесть в своих суждениях, что любые наблюдения свидетельствуют в пользу нескольких гипотез) написал Duncan_Sabien (это автор CFAR Handbook'а).

• Длинный (24 мин.), но тоже очень крутой Study Guide (как учиться по-настоящему хорошо, чтобы решать задачи на самом острие науки, и что для этого делать) написал johnswentworth (независимый исследователь AI Safety). Также Джон написал пост (18 мин.) How To Get Into Independent Research On Alignment/Agency (это пост ровно о том, о чём вы подумали).

• Сочетающий в себе убедительную художку, твердый sci-fi и иллюстрацию концепций из информатики пост (23 мин.) Feature Selection написал Zack_M_Davis (программист из Беркли, который ведёт блог An Algorithmic Lucidity).

• Короткий (4 мин.) пост с кучей ссылок про Ассоциацию Рационалистов (основанную 1885 в Англии организацию, публиковавшую книги о науке и атеизме, например, труды Дарвина, Рассела и Поппера) The Rationalists of the 1950s (and before) also called themselves “Rationalists” написал Owain_Evans (ученый-исследователь из Future of Humanity Institute, University of Oxford).

• Пост об удивительной истории (14 мин.), в которой «система оказалась способной заметить глупое, разрушительное правило, не приносившее никакой пользы и не имевшее никаких защитников, и отказаться от него» An Unexpected Victory: Container Stacking at the Port of Long Beach был опубликован Zvi (автор блога Don't Worry About The Vase) и вызвал активное обсуждение. По его следам был написан (16 мин.) пост-резюме пятилетнего опыта работы в портовой индустрии A Brief Introduction to Container Logistics (Vitor).

• Вышел препринт статьи про лечение сезонной депрессии с помощью света, исследование основывалось на идее Юдковского из «Неадекватного равновесия» и финансировалось при поддержке ЭА.

🔹 AI Safety:

• Скоро начнётся открытый онлайн-курс по безопасному ИИ в Кембридже: набор продолжается до 15 декабря. Участвовать может каждый: всех разобьют на группы по 4-6 человек в соответствии с бэкграундом. Курс продлится 8 недель: каждую неделю проходят встречи в группах по 1.5 часа AGI Safety Fundamentals curriculum and application.

• Большой и исчерпывающий (43 мин.) пост об устройстве и работе EfficientZero (RL-алгоритма/агента, который умеет превосходить человека в 26 разных играх Atari спустя 2 часа игры/обучения в любой из них) EfficientZero: How It Works написал 1a3orn (анонимный чел из северного полушария со своим сайтом).

• MIRI выкладывает логи из своих приватных чатов между Юдковским и разными другими исследователями (по большей части с Richard Ngo и Paul Christiano), это довольно уникальные материалы (хотя несколько пространные). MIRI выложили серию кратких резюме этих дискуссий.

• Обсуждение Элиезера Юдковского и нескольких участников текущей ситуации в AI Safety (ситуация очень мрачная) по правилам анонимного клуба (Chatham House Rule) из цепочки выше было переведено на русский (50 мин.).

• Ajeya Cotra подготовил доклад Forecasting TAI with biological anchors на грант Open Philantropy, в связи с чем Элиезер Юдковский опубликовал основательный (97 мин.) пост в форме последовательного диалога c Imaginary Hans Moravec, Actual Ray Kurzweil, Somebody on the Internet и, наконец, Imaginary Open Philantropy: Biology-Inspired AGI Timelines: The Trick That Never Works.

• MIRI анонсировали новый проект (Visible Thoughts Project) по сбору большого датасета для исследований и предлагают 1.2 миллиона долларов в виде призов и грантов.

Комментарии по содержанию и формату, а также ссылки, которые стоит включить в будущие выпуски, приветствуются.