Thin Dick
👉🏻👉🏻👉🏻 ALL INFORMATION CLICK HERE 👈🏻👈🏻👈🏻
Удаленная работа для IT-специалистов
В этом году исполняется 10 лет с момента продажи первой системы хранения данных 3PAR с технологией Thin Provisioning. И несмотря на то что технология стала очень популярной и востребованной, толкового описания того как же это работает на низком уровне мне встретить до сих пор не удалось. В этой статье я попробую осветить наиболее «темные», на мой взгляд, стороны thin provisioning – технические основы данной технологии. То есть, то как именно хост взаимодействует с системой хранения данных. Эти технологии сейчас уже не являются эксклюзивом 3PAR, так как теперь это индустриальные стандарты, но так как технология thin provisioning впервые появилась в 3PAR, то позволю себе отдать все лавры именно этим массивам.
Зачем нужен thin provisioning
Для тех, кто пропустил предыдущие 10 лет, я всё же вкратце напомню, что такое thin provisioning и для чего он нужен, а остальные могут с чистой совесть пропустить этот раздел.
Thin provisioning – это технология виртуализации систем хранения данных, которая позволяет увеличить эффективность использования ресурсов системы хранения. Эта технология необходима для уменьшения использования дискового пространства, которое непосредственно не используется для хранения данных приложений. В частности файловые системы никогда в нормальных условиях не бывают заполнены на 100%. Однако всегда нужно иметь некий запас свободного места для обеспечения нормального функционирования файловой системы и для обеспечения готовности к росту данных. Это фактически не используемое пространство выделяют для всех логических томов на системе хранения данных. Логические тома, дисковое пространство для которых выделяется в полном объеме в момент создания на системе хранения, называют «тостыми». Такая модель использования дисковых ресурсов появилась вместе с первыми устройствами для хранения данных и жива до сих пор.
Она обладает следующими минусами:
Выделенное одному логическому тому (но не используемое) пространство не может использоваться другим томом. При стремительном росте объема данных на одном логическом томе мы рано или поздно упремся в его размер и тот факт, что на других логических томах есть достаточно много неиспользуемого дискового пространства нам никак не поможет. То есть свободное дисковое пространство не представлено общим пулом из которого любой том может брать ёмкости при необходимости, а по сути жестко привязано к каждому тому. Кроме того, что это жутко расточительно, эта схема ещё и неудобна в том случае, если нужно перераспределить емкости между томами.
Так как точно предсказать рост данных приложения чаще всего весьма сложно, то обычно размеры толстых томов выбирают с солидным запасом. По различным исследованиям коэффициент использования систем хранения данных с толстыми томами колеблется от 30 до 50 процентов. Однако неиспользуемое под данные приложений дисковое пространство стоит определенную сумму денег, которые можно было бы направить на куда более полезные вещи.
При репликации или использовании снапшотов на толстых томах дисковый массив работает с неиспользуемыми хостом блоками, так же как и с использованными. Хотя при репликации можно было бы копировать только занятые блоки, а при использовании снапшотов не копировать (см. copy-on-write) свободный блок в снапшот, а просто пометить его там не занятым. Подобная технология репликации реализована в массивах 3PAR.
Для решения подобных проблем и были придуманы thin provisioning и thin reclamation о которых мы и поговорим более подробно.
Как работает thin provisioning
Концепция thin provisioning проста и заключается в следующем:
В момент создания логического тома (LUN) на дисковом массиве не происходит полное выделение всего объёма тома. Инициализируется таблица соответствия LUN LBA -> Backend physical address. Администратор системы хранения указывает максимальный возможный размер тома и порог заполненности тома, при котором он получит предупреждение.
Выделение новых блоков данных для логического тома происходит по мере заполнения тома.
При освобождении сервером блоков данных он должен сообщить о освободившихся блоках системе хранения для возврата их в общий пул. Технология называется thin reclamation и описана далее.
При запросе сервером размера тома (SCSI Read Capacity) система хранения отдаёт максимальный размер тома, который установил администратор СХД.
Сумма максимальных объемов всех томов на системе хранения может превышать физически доступное пространство на системе хранения.
Исходя из вышесказанного, представить схему работы thin provisioning не составляет труда. При получении системой хранения команды SCSI Write (инкапсулированной в стек FC, SAS, iSCSI и пр.) она выделяет очередную порцию данных и записывает туда данные из SCSI Write. В случае с 3PAR блоки выделяются размером в 16К.
Как работает thin reclamation
А теперь обсудим гораздо более интересные и неочевидные моменты – каким образом хост взаимодействует с системой хранения для возврата освободившегося дискового пространства в общий пул. Взаимодействие хоста и системы хранения – крайне важный нюанс, так как только хост знает какие блоки можно удалять, а какие нет. Технология thin reclamation была впервые реализована на массивах 3PAR и сегодня является индустриальным стандартом, утвержденным Международным Комитетом по стандартизации в сфере информационных технологий (INCITS). Документ называется T10 SBC-3 и расширяет стандарт SCSI новыми командами для взаимодействия с системами хранения (эти команды были добавлены в восемнадцатой ревизии документа 23 февраля 2009 года). Аналогичный стандарт есть также для ATA/SATA устройств.
Для реализации thin provisioning стандарт предусматривает 3 SCSI команды:
UNMAP
WRITE SAME
GET LBA STATUS
Стандарт обязывает все системы хранения данных с thin provisioning в обязательном порядке поддерживать как минимум команду UNMAP или же команду WRITE SAME с битом unmap. Рассмотрим описанный протоколом API.
UNMAP
Сообщает системе хранения о необходимости освободить одну или несколько групп последовательных LBA (Logical Block Address). Система хранения должна пометить данные LBA как свободные (unmapped, в терминах SCSI), освободить место на бекэнде и фоновым процессом затереть данные которые там ранее находились на тот случай, если эти блоки будут потом выделены другому хосту. В этой команде передаётся исключительно служебная информация в виде множества пар состоящих из «LBA Address» и «Number of Logical Blocks».
WRITE SAME
Если по каким-то причинам хост не желает использовать команду UNMAP он может получить похожий эффект с помощью команды WRITE SAME. Для этого предусмотрено битовое поле unmap. Если команда WRITE SAME с установленным битом unmap придет на массив с thin provisioning и том на массиве тонкий, то массив сделает тоже что и в случае с командой UNMAP. Отличается от команды UNMAP (42h) тем, что используя WRITE SAME нет возможности указать большое количество блоков для освобождения. Можно указать только одну пару «LBA Address» и «Number of Logical Blocks».
Также не стоит забывать, что команда WRITE SAME это в первую очередь команда для записи данных. В том случае, если бит unmap не установлен, система хранения не поддерживает thin provisioning или том толстый, то будет выполнена обычная операция записи данных по заданным LBA. Из этого следует, что в данных случаях SCSI READ обязан вернуть именно те данные, которые туда были записаны. Тут некоторые производители вроде того же Хьюлета хитрят и вместо последовательной записи однотипных данных (например нулей) помечают в метаданных логического тома эти блоки как выделенные но «заполненные нулями». Называется эта технология – zero detection.
GET LBA STATUS
Это сервисная операция (специфичная для устройства) и она использует код команды SERVICE ACTION IN (9Eh). Она позволяет узнать серверу:
1. Поддерживает ли том thin provisioning.
2. Статус определенного блока на системе хранения (выделены ли для него реальные ёмкости на бекэнде или нет).
3. Гранулярность thin provisioning для тома.
4. Лимиты (тревожный уровень и максимальный объем).
Команда очень полезна например для фонового поиска со стороны хоста блоков, выделенных на массиве, но не используемых хостом для хранения данных или при переезде с толстых томов на тонкие.
В качестве заключения.
Я очень рад, что Вы дочитали до последних строк! К сожалению, я ничего не сказал, про поддержку thin provisioning со стороны файловых систем, баз данных и ОС, не рассказал когда вообще имеет смысл ею пользоваться – а это очень интересная на мой взгляд, но к сожалению объемная тема. Возможно я вернусь к ней позже.
Укажите причину минуса, чтобы автор поработал над ошибками
Присылаем лучшие статьи раз в месяц
Скоро на этот адрес придет письмо. Подтвердите подписку, если всё в силе.
Ведущий эксперт отдела инфраструктуры, телекоммуникаций и системной интеграции
Ведущий аналитик данных Qlik Sense + SQL (удаленная работа)
от 200 000 АвтоГЕРМЕС Можно удаленно
Старший/ ведущий разработчик Oracle
от 120 000 до 180 000 Sportmaster Lab Краснодар Можно удаленно
AdBlock похитил этот баннер, но баннеры не зубы — отрастут
Подробнее
НЛО прилетело и опубликовало эту надпись здесь
Это вы верно подметили. Чем дальше развивается IT, тем больше способов «отстрелить себе ногу».
Мониторинг как я понимаю настроен не был? За последние 7 лет я не встречал ни одной хранилки, которая не могла бы сама алармить по поводу свободного места, в этом конкретном случае даже внешний мониторинг не нужен. Сами себе мицгол злобный буратино.
1. По поводу мониторинга вопрос не ко мне.
2. Семь лет назад, насколько я помню TP не было ни у кого кроме 3PAR, поэтому алармить о достижении каких-либо порогов TP ни мог ни один массив кроме 3PAR. Вы видимо путаете пороги, которые используются в TP и обычные предупреждения о высокой заполненности RAID группы / дисковой группы / пула.
Ну так раз это ошибка конфигурирования, то почему виноват при этом thin provisioning?
Никто и никогда не говорит, что thin provisioning это счастье и безопасность. Наоборот, всюду и всегда говорится, что вы получаете свободное место, а платите за это необходимостью его мониторить и следить за трендом расходования места.
Если место важнее — мониторите и имеете выигрыш в свободном пространстве. А если мониторить не хочется — платите местом и делаете thick disks, так что все зависит от вас, в конечном счете.
Спасибо, отличное введение в технологию.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.
Join «2021 Science Photo Contest»
Shoot science for Wikipedia!
From Wikipedia, the free encyclopedia
The thin disk is a structural component of spiral and S0-type galaxies, composed of stars, gas and dust. It is the main non-centre (e.g. galactic bulge) density, of such matter. That of the Milky Way is thought to have a scale height of around 300–400 parsecs (980–1,300 ly) in the vertical axis perpendicular to the disk,[1] and a scale length of around 2.5–4.5 kiloparsecs (8.2–14.7 kly) in the horizontal axis, in the direction of the radius.[2] For comparison, the Sun is 8 kiloparsecs (26 kly) out from the center. The thin disk contributes about 85% of the stars in the Galactic plane[3] and 95% of the total disk stars.[2] It can be set apart from the thick disk of a galaxy since the latter is composed of older population stars created at an earlier stage of the galaxy formation and thus has fewer heavy elements. Stars in the thin disk, on the other hand, are created as a result of gas accretion at the later stages of a galaxy formation and are on average more metal-rich.[4]
The thin disk contains stars with a wide range of ages and may be divided into a series of sub-populations of increasing age. Notwithstanding, it is considered to be considerably younger than the thick disk.[5]
Based upon the emerging science of nucleocosmochronology, the Galactic thin disk of the Milky Way is estimated to have been formed 8.8 ± 1.7 billion years ago.[6] It may have collided with a smaller satellite galaxy, causing the stars in the thin disk to be shaken up and creating the thick disk,[7] while the gas would have settled into the galactic plane and reformed the thin disk.[2]
^ Bradley W. Carroll and Dale A. Ostlie, 2007, "An Introduction to Modern Astrophysics" Second Edition
^
Jump up to:
a b c Sparke, Linda S.; Gallagher, John S. III (2007). Galaxies in the universe : an introduction (2. ed.). Cambridge: Cambridge Univ. Press. ISBN 978-0521671866.
^ Carlos Allende Prieto (Nov 2009). "The Stellar Population of the Thin Disk". Proceedings IAU Symposium. 265 (265): 304–312. arXiv:0911.3598. Bibcode:2010IAUS..265..304A. doi:10.1017/S1743921310000785.
^ "OpenStax CNX". cnx.org. Retrieved 31 January 2017.
^ Bensby & Feltzing, "The Galactic thin and thick discs in the context of galaxy formation", arXiv:0908.3807
^ Eduardo F. del Peloso a1a, Licio da Silva a1, Gustavo F. Porto de Mello and Lilia I. Arany-Prado (2005), "The age of the Galactic thin disk from Th/Eu nucleocosmochronology: extended sample" (Proceedings of the International Astronomical Union (2005), 1: 485-486 Cambridge University Press)
^ Kasparova, A. (2016). "The Diversity of Thick Galactic Discs". Monthly Notices of the Royal Astronomical Society: Letters. 460 (1): 89–93. arXiv:1604.07624. Bibcode:2016MNRAS.460L..89K. doi:10.1093/mnrasl/slw083.
Типы дисков vmware esxi "Thick Provision Lazy Zeroed..."
Основы тонкого выделения томов на системах... / Хабр
Thin disk - Wikipedia
Тонкий диск — Википедия
Как увеличить размер виртуальных дисков Thin...
Nude Bartender
Porno H
Blonde Gloryhole
Thin Dick
