Прогнозирование фондовых рынков

✅ ️Нужны деньги? Хочешь заработать? Ищешь возможность?✅ ️

✅ ️Заходи к нам в VIP телеграм канал БЕСПЛАТНО!✅ ️

✅ ️Это твой шанс! Успей вступить пока БЕСПЛАТНО!✅ ️

======================

>>>🔥🔥🔥(Вступить в VIP Telegram канал БЕСПЛАТНО)🔥🔥🔥<<<

======================

✅ ️ ▲ ✅ ▲ ️✅ ▲ ️✅ ▲ ️✅ ▲ ✅ ️

Прогнозирование фондового рынка на Python с помощью Stocker

Прогнозирование фондовых рынков

Прогноз цены: как применять технический и фундаментальный анализ рынка

Home Использование последних достижений в области глубокого обучения для прогнозирования движения цены акций. Дата публикации Jan 10, В этой записной книжке я создам полный процесс прогнозирования движения цены акций. Следуйте и мы добьемся довольно хороших результатов. Мы используем LSTM по очевидной причине, что мы пытаемся предсказать данные временных рядов. Это хороший вопрос: есть специальные разделы по этому вопросу позже. Конечно, мы будем вдаваться в подробности для каждого шага, но самая трудная часть - это GAN: очень сложная часть успешного обучения GAN - это получение правильного набора гиперпараметров. По этой причине мы будем использовать Байесовская оптимизация наряду с гауссовскими процессами и Глубокое обучение DRL для принятия решения, когда и как изменить гиперпараметры GAN дилемма исследования и эксплуатации. В создании обучения подкрепления я буду использовать самые последние достижения в этой области, такие как радуга а также РРО ,. Мы будем использовать много разных типов входных данных. Наряду с историческими данными о торговле акциями и техническими индикаторами, мы будем использовать новейшие достижения в NLP используя «Двунаправленные представления вложения от трансформаторов», БЕРТ своего рода трансферное обучение для НЛП для создания анализа настроений в качестве источника для фундаментального анализа , преобразования Фурье для извлечения общих направлений тренда, сложенные автоэнкодеры для выявления других функций высокого уровня, Собственные портфели для нахождения коррелированных активов, авторегрессионная интегрированная скользящая средняя ARIMA для приближения биржевой функции и многое другое, чтобы собрать как можно больше информации, шаблонов, зависимостей и т. Как мы все знаем, чем больше данных , тем лучше. Прогнозирование движения цены акций - чрезвычайно сложная задача, поэтому чем больше мы знаем об акции с разных точек зрения , тем выше наши изменения. Для создания всех нейронных сетей мы будем использовать MXNet и его высокоуровневый API - Gluon, и обучите их на нескольких графических процессорах. Цель состоит скорее в том, чтобы показать, как мы можем использовать различные методы и алгоритмы с целью точного прогнозирования движения цены акций, а также дать обоснование причины и полезности использования каждого метода на каждом этапе. Точное прогнозирование фондовых рынков - сложная задача, поскольку существуют миллионы событий и предварительных условий для движения определенных акций в определенном направлении. Таким образом, мы должны быть в состоянии охватить как можно больше таких предварительных условий. И, пожалуйста, прочитайте заявление об отказе внизу. Для этой цели мы будем использовать ежедневную цену закрытия с 1 января года по 31 декабря года семь лет для целей обучения и два года для целей проверки. Мы будем использовать термины «Goldman Sachs» и «GS» взаимозаменяемо ,. Нам нужно понять, что влияет на то, будет ли цена акций GS двигаться вверх или вниз. Это то, что думают люди в целом. Следовательно, нам необходимо включить как можно больше информации изображающей акции с разных сторон и углов. Затем мы сравним прогнозируемые результаты с данными теста задержки. Каждый тип данных мы будем ссылаться на него как характерная черта более подробно объясняется в последующих разделах, но в качестве общего обзора мы будем использовать следующие функции:. На заключительном этапе подготовки данных мы также создадим Собственные портфели с использованием анализа главных компонентов PCA , чтобы уменьшить размерность объектов, созданных из автоэнкодеров. Давайте представим акцию за последние девять лет. Пунктирная вертикальная линия представляет собой разделение между данными обучения и испытаний. Итак, какие еще активы могут повлиять на движение акций GS? Хорошее понимание компании, ее направлений деятельности, конкурентной среды, зависимостей, поставщиков и типа клиентов и т. Очень важно для выбора правильного набора взаимосвязанных активов:. Мы уже рассмотрели, что такое технические индикаторы и почему мы их используем, поэтому давайте сразу перейдем к коду. Мы будем создавать технические индикаторы только для GS. Для каждого торгового дня. Всего у нас 12 технических индикаторов. Для фундаментального анализа мы проведем анализ настроений во всех ежедневных новостях о GS. Используя сигмоид в конце, результат будет между 0 и 1. Чем ближе оценка к 0 - тем более негативны новости чем ближе к 1, тем лучше настроение. Для каждого дня мы создадим среднесуточную оценку число от 0 до 1 и добавим ее в качестве функции. Для классификации новостей как положительных или отрицательных или нейтральных мы будем использовать БЕРТ , который является предварительно обученным языковым представлением. Нам просто нужно их создать и добавить два произвольное число Dense Слои, идущие к Softmax - оценка от 0 до 1. Подробное описание BERT и части NLP не входит в сферу этой записной книжки, но у вас есть интерес, дайте мне знать - я создам новое репо только для BERT, поскольку оно определенно многообещающе, когда речь заходит о языковой обработке. Преобразования Фурье возьмите функцию и создайте серию синусоидальных волн с разными амплитудами и кадрами. В сочетании эти синусоиды приближаются к исходной функции. Математически говоря, преобразования выглядят так:. Мы будем использовать преобразования Фурье для извлечения глобальных и локальных трендов в акциях GS, а также для того, чтобы немного понизить их шум Итак, давайте посмотрим, как это работает. Как видно на рисунке 3, чем больше компонентов из преобразования Фурье мы используем, тем ближе функция приближения к реальной цене акций преобразование в компонентов практически идентично исходной функции - красные и фиолетовые линии почти перекрываются. Мы используем преобразования Фурье с целью извлечения долгосрочных и краткосрочных трендов, поэтому мы будем использовать преобразования с 3, 6 и 9 компонентами. Можно сделать вывод, что преобразование с 3 компонентами служит долгосрочной тенденцией. Другая техника, используемая для удаления данных, называется вейвлеты , Вейвлеты и преобразование Фурье дали схожие результаты, поэтому мы будем использовать только преобразования Фурье. ARIMA методика прогнозирования данных временных рядов Мы покажем, как его использовать, и в то же время ARIMA не будет служить нашим окончательным прогнозом, мы будем использовать его в качестве техники, чтобы немного снизить шум и возможно извлечь некоторые новые шаблоны или функции. Мы тестируем MSE среднеквадратическая ошибка 10,, что само по себе неплохой результат учитывая, что у нас много тестовых данных , но, тем не менее, мы будем использовать его только как функцию в LSTM. Обеспечение хорошего качества данных очень важно для наших моделей. Чтобы убедиться, что наши данные пригодны, мы выполним пару простых проверок, чтобы убедиться, что результаты, которые мы достигаем и наблюдаем, действительно реальны, а не скомпрометированы из-за того, что основное распределение данных страдает от фундаментальных ошибок. Мы не будем вдаваться в код здесь, так как он прост, и наше внимание больше сосредоточено на деталях глубокого обучения, но данные качественные ,. Таким образом, после добавления всех типов данных соотнесенные активы, технические индикаторы, фундаментальный анализ, Фурье и Арима мы имеем в общей сложности функций за дней как уже упоминалось ранее, однако только дней предназначены для данных обучения ,. Имея так много функций, мы должны рассмотреть, действительно ли все они указывают направление, в котором пойдут акции GS. Но нам нужно проверить. Есть много способов проверить важность функций, но тот, который мы применим, использует XGBoost, потому что он дает один из лучших результатов в задачах классификации и регрессии. Поскольку набор данных функций довольно большой, для целей презентации здесь мы будем использовать только технические индикаторы. Во время тестирования важности реальных функций все выбранные функции оказались несколько важными, поэтому мы не будем ничего исключать при обучении GAN. Я следовал той же логике для выполнения важности функций для всего набора данных - просто обучение заняло больше времени, а результаты стали немного сложнее для чтения, по сравнению с несколькими функциями. Джелу Недавно было предложено линейное объединение гауссовских ошибок. Это не фактическая реализация как функция активации. Заметка : В будущих версиях этого ноутбука я буду экспериментировать, используя U-Net ссылка и попытаться использовать сверточный слой и извлечь и создать еще больше функций о базовых моделях движения акций Сейчас мы просто будем использовать простой автоэнкодер, сделанный только из Dense слои. В порядке, вернуться к автоэнкодерам , изображенный ниже изображение является только схематическим, оно не представляет действительное количество слоев, единиц и т. Заметка : Одна вещь, которую я расскажу в более поздней версии, это удаление последнего слоя в декодере. Однако мы хотим извлечь объекты более высокого уровня а не создавать один и тот же вход , чтобы мы могли пропустить последний слой в декодере. Мы достигаем этого, создавая кодер и декодер с одинаковым количеством слоев во время обучения, но когда мы создаем вывод, мы используем слой рядом с единственным, так как он будет содержать функции более высокого уровня. Мы создали еще функций из автоэнкодера. Поскольку мы хотим иметь только высокоуровневые функции общие шаблоны , мы создадим портфель Eigen для вновь созданных функций с использованием анализа основных компонентов PCA. Это уменьшит размерность количество столбцов данных. Описательные возможности портфеля Eigen будут такими же, как и у оригинальных функций. Заметка Еще раз, это чисто экспериментально. Как и все остальное в искусственном интеллекте и глубоком обучении, это искусство и требует экспериментов. Как упоминалось ранее, цель этой записной книжки состоит не в том, чтобы подробно объяснить математику глубокого обучения, а в том, чтобы показать ее применение. Конечно, тщательное и очень твердое понимание от основ до мельчайших деталей, на мой взгляд, крайне необходимо. Следовательно, мы попытаемся сбалансировать и дать общий обзор того, как работают GAN, чтобы читатель мог полностью понять смысл использования GAN для прогнозирования движения цены акций. Не стесняйтесь пропустить этот и следующий раздел, если у вас есть опыт работы с GAN и проверьте раздел 4. Шаги в обучении ГАН:. Однако, разделив функции потерь, неясно, как они могут сходиться вместе поэтому мы используем некоторые улучшения по сравнению с простыми GAN, такими как Wasserstein GAN. В целом, функция комбинированных потерь выглядит так:. Заметка : Я не буду включать полный код за GAN и Усиление обучения части в этой записной книжке - будут показаны только результаты выполнения выходные данные ячейки. Сделайте запрос на удаление или свяжитесь со мной для получения кода. Генеративные Состязательные Сети GAN в последнее время используются в основном для создания реалистичных изображений, картин и видеоклипов. Существует не так много приложений GAN, используемых для прогнозирования данных временных рядов, как в нашем случае. Основная идея, однако, должна быть такой же - мы хотим предсказать будущие движения акций В будущем структура и поведение акций ГЦБ должны быть более или менее одинаковыми если только они не начнут работать совершенно иначе, или экономика резко изменится. Следовательно, мы хотим «сгенерировать» данные для будущего, которые будут иметь такое же не совсем то же самое распределение, как и у нас, - исторические торговые данные. Так что по идее это должно работать. Заметка: Следующая пара разделов предполагает некоторый опыт работы с GAN. Идея, лежащая в основе подхода Uber, как они утверждают в некоторой степени похожа на другой подход, созданный Google и Калифорнийским университетом, назвал Беркли. Выборка отклонения дискриминатора DRS. Часто после обучения GAN мы больше не используем D. Последний сохраненный результат считается реальным результатом G. Обучение ГАНов довольно сложно. Модели могут никогда не сходиться и легко может произойти коллапс моды. RNN используются для данных временных рядов, поскольку они отслеживают все предыдущие точки данных и могут фиксировать закономерности, развивающиеся во времени. Из-за своей природы РНН много раз страдают от исчезающий градиент - то есть, изменения, которые веса получают во время обучения, становятся настолько малыми, что они не изменяются, что делает сеть неспособной сходиться к минимальным потерям Противоположная проблема также может наблюдаться иногда - когда градиенты становятся слишком большими. LSTM, однако, и многое другое используется. Архитектура LSTM очень проста - одна LSTM слой со входными единицами как у нас есть объектов в наборе данных и скрытыми единицами, и один Dense Слой с 1 выходом - цена за каждый день. Инициализатором является Xavier, и мы будем использовать потери L1 что означает абсолютную потерю ошибок при L1 регуляризация - см. Заметка - В коде, который вы видите, мы используем Adam с learning rate. Не обращайте на это слишком много внимания - есть раздел, специально посвященный объяснению, какие гиперпараметры мы используем скорость обучения исключена, поскольку у нас есть планировщик скорости обучения - раздел 3. И как мы оптимизируем эти гиперпараметры - раздел 3. Для регуляризации мы будем использовать L1. Затем мы перемещаем окно 17 дней на один день и снова предсказываем е. Подобным образом мы повторяем весь набор данных конечно, пакетами. Одним из наиболее важных гиперпараметров является скорость обучения. Установка скорости обучения практически для каждого оптимизатора например, SGD , Адам , или RMSProp имеет решающее значение при обучении нейронных сетей, поскольку она контролирует как скорость сходимости, так и конечную производительность сети. Одна из самых простых стратегий обучения - это фиксированная скорость обучения на протяжении всего процесса обучения. Выбор небольшой скорости обучения позволяет оптимизатору находить хорошие решения, но это происходит за счет ограничения начальной скорости сходимости. Изменение скорости обучения с течением времени может преодолеть этот компромисс. Последние документы, такие как это Во-первых, показать преимущества изменения глобальной скорости обучения во время обучения с точки зрения как конвергенции, так и времени. Давайте наметим темпы обучения, которые мы будем использовать для каждой эпохи. Имея множество функций и нейронных сетей, мы должны убедиться, что мы предотвращаем переоснащение и помнить об общих потерях. Другим важным фактором при построении сложных нейронных сетей является компромисс между отклонениями. Обычно мы используем CNN для работы, связанной с изображениями классификация, извлечение контекста и т. Они очень эффективны при извлечении элементов из элементов из элементов и т. Например, в изображении собаки первый сверточный слой обнаружит края, второй начнет обнаруживать круги, а третий обнаружит нос. В нашем случае точки данных формируют маленькие тренды, маленькие тренды формируют большие, тренды в свою очередь формируют шаблоны. Способность CNN обнаруживать функции может использоваться для извлечения информации о шаблонах в изменениях цены акций GS. Другая причина использования CNN заключается в том, что CNN хорошо работают с пространственными данными - это означает, что точки данных, которые находятся ближе друг к другу, больше связаны друг с другом, чем точки данных, разбросанные по всему. Это должно сохраняться для данных временных рядов. В нашем случае каждая точка данных для каждой функции относится к каждому последующему дню. Естественно предположить, что чем ближе два дня друг к другу, тем больше они связаны друг с другом. Одна вещь, чтобы рассмотреть хотя не покрытый этой работой , является сезонность и как это могло изменить если вообще работу CNN. Заметка : Как и во многих других частях этой записной книжки, использование CNN для данных временных рядов является экспериментальным. Мы проверим результаты, не предоставляя математических или других доказательств. И результаты могут отличаться, используя разные данные, функции активации и т. После того, как GAN обучается в эпохах, он запишет MAE которая является функцией ошибки в LSTM, GG и передаст ее в качестве значения вознаграждения обучению по подкреплению, которое решит, следует ли изменить гиперпараметры продолжительного обучения с тот же набор гиперпараметров. Как будет описано позже, этот подход предназначен исключительно для экспериментов с RL. Если RL решит, что он обновит гиперпараметры, он вызовет байесовскую библиотеку оптимизации обсуждается ниже , которая даст следующий наилучший ожидаемый набор гиперпарамов. Почему мы используем обучение с подкреплением в оптимизации гиперпараметров? Фондовые рынки постоянно меняются. Даже если нам удастся обучить наши GAN и LSTM создавать чрезвычайно точные результаты, результаты могут быть действительными только в течение определенного периода. То есть нам нужно постоянно оптимизировать весь процесс. Для оптимизации процесса мы можем:. Заметка Цель всего учебного пособия по подкреплению в этой тетради больше ориентирована на исследования. Есть много способов, которыми мы можем успешно выполнить оптимизацию гиперпараметров на наших моделях глубокого обучения без использования RL. Но почему нет. Заметка В следующих нескольких разделах предполагается, что у вас есть некоторые знания о RL, особенно о методах политики и Q-learning. Не объясняя основ RL, мы углубимся в детали конкретных подходов, которые мы реализуем здесь. Мы будем использовать безрежимные алгоритмы RL по очевидной причине, что мы не знаем всей среды, следовательно, не существует определенной модели того, как работает среда - если бы существовала такая ситуация, нам не нужно было бы предсказывать движения цен на акции - они просто Следуй модели. Мы будем использовать два подразделения безмодельной RL - оптимизация политики и Q-learning. Одним из важных аспектов построения алгоритма RL является точная установка вознаграждения. Он должен охватывать все аспекты окружающей среды и взаимодействие агента с окружающей средой. Мы определяем награду, р , как:. Действие, которое могут выполнять разные агенты, - это изменение гиперпараметров сетей G и D. Преимущества иногда используются, когда «неправильное» действие не может быть оштрафовано с отрицательным вознаграждением. Так преимущество постараюсь в дальнейшем поощрять хорошие действия от обычных действий. Проксимальная политика оптимизации РРО - это не требующий моделирования метод усиления обучения. Гораздо проще реализовать эти другие алгоритмы и дает очень хорошие результаты. Почему мы используем PPO? Одним из преимуществ PPO является то, что он непосредственно изучает политику, а не косвенно через значения способ, которым Q Learning использует Q-значения для изучения политики. Он может хорошо работать в пространствах непрерывного действия, что подходит в нашем случае использования и может выучить через среднее и стандартное отклонение вероятности распределения если Softmax добавляется как выход. Проблема методов градиента политики заключается в том, что они чрезвычайно чувствительны к выбору размера шага - если он небольшой, то прогресс занимает слишком много времени скорее всего, в основном из-за необходимости матрицы производных второго порядка ; если он большой, то много шума, что значительно снижает производительность. Входные данные являются нестационарными из-за изменений в политике также распределение вознаграждений и изменений наблюдений. По сравнению с контролируемым обучением, плохо выбранный шаг может быть гораздо более разрушительным, поскольку он влияет на распределение последующих посещений. PPO может решить эти проблемы. Более того, по сравнению с некоторыми другими подходами, PPO:. Заметка : Для целей нашего упражнения мы не будем слишком углубляться в исследования и оптимизацию подходов RL, включая PPO и другие. Код, который мы будем использовать и настраивать, создан OpenAI и доступен Вот ,. Вместо поиска по сетке, который может занять много времени, чтобы найти лучшую комбинацию гиперпараметров, мы будем использовать Байесовская оптимизация , Библиотека, которую мы будем использовать, уже реализована - ссылка ,. Наконец, мы сравним выходные данные LSTM, когда невидимые тестовые данные используются в качестве входных данных после различных фаз процесса. RL работает для десяти эпизодов мы определяем эпозид как одно полное обучение GAN на эпохах. Этот блокнот полностью информативен. Никакой контент, представленный в этом блокноте, не является рекомендацией о том, что какая-либо конкретная ценная бумага, портфель ценных бумаг, транзакция или инвестиционная стратегия подходят для какого-либо конкретного человека. Торговля фьючерсами, акциями и опционами сопряжена с существенным риском убытков и подходит не каждому инвестору. Оценка фьючерсов, акций и опционов может колебаться, и в результате клиенты могут потерять больше, чем их первоначальные инвестиции. Есть еще много других деталей, которые нужно изучить - при выборе функций данных, при выборе алгоритмов, при настройке алгоритмов и т. На создание этой версии самого ноутбука у меня ушло 2 недели. Я уверен, что есть много неотвеченных частей процесса. Итак, любые комментарии и предложения - пожалуйста, поделитесь. Я был бы рад добавить и протестировать любые идеи в текущем процессе. Оригинальная статья. Фреймворки и библиотеки большая подборка ссылок для разных языков программирования Список бесплатных книг по машинному обучению, доступных для скачивания. Список блогов и информационных бюллетеней по науке о данных и машинному обучению Список в основном бесплатных курсов машинного обучения, доступных в Интернете.

Реальный заработок через интернет без вложений