Ѕыстрое внедрение ERP  омплексные услуги
от 1—:÷ентр ERP!
”правление доставкой ƒл€ торговых и курьерских компаний!
1C:Ёƒќ ”знайте о всех преимуществах электронного документооборота!
ѕереход на Ђ1—:«”ѕ ред. 3ї ‘ирма Ђ1—ї прекращает поддержку Ђ1—:«”ѕ 2.5ї!
јренда сервера 1—
в облаке
–аботайте в 1— удаленно с экономией до 70%!

«ависимость бизнес-процессов предпри€ти€ от »“-сферы посто€нно растет. Ќа сегодн€ вопросу непрерывности работы »“-сервисов удел€ют внимание не только крупные компании, но и представители среднего, а зачастую и малого бизнеса.

ќдним из центральных элементов обеспечени€ отказоустойчивости €вл€етс€ система хранени€ данных (—’ƒ) – устройство на котором централизовано хранитьс€ вс€ информаци€. —’ƒ характеризуетс€ высокой масштабируемостью, отказоустойчивостью, возможностью выполн€ть все сервисные операции без остановки работы устройства (в том числе замену компонентов). Ќо стоимость даже базовой модели измер€етс€ в дес€тках тыс€ч долларов. Ќапример, Fujitsu ETERNUS DX100 с 12-ю дисками Nearline SAS 1Tb SFF (RAID10 6TB) стоит пор€дка 21 000 USD, что дл€ небольшой компании очень дорого.

¬ нашей статье мы предлагаем рассмотреть варианты организации бюджетного хранилища, которое не проигрывает по производительности и надежности классическим системам. ƒл€ его реализации предлагаем использовать CEPH.


„то такое CEPH и как он работает?


CEPH Ц хранилище на базе свободного ѕќ, представл€ет из себ€ объединение дисковых пространств нескольких серверов (количество серверов на практике измер€етс€ дес€тками и сотн€ми). CEPH позвол€ет создать легкомасштабируемое хранилище с высокой производительностью и избыточностью ресурсов. CEPH может использоватьс€ как в качестве объектного хранилища (служить дл€ хранени€ файлов) так и в качестве блочного устройства (отдача виртуальных жестких дисков).


ќтказоустойчивость хранилища обеспечиваетс€ репликацией каждого блока данных на несколько серверов.  оличество одновременно хранимых копий каждого блока называетс€ фактором репликации, по умолчанию его значение равно 2. —хема работы хранилища показана на рисунке 1, как видим информаци€ разбиваетс€ на блоки, каждый из которых распредел€етс€ по двум разным нодам.

–исунок 1 - –аспределение блоков данных



≈сли на серверах не используютс€ отказоустойчивые дисковые массивы, дл€ надежного хранени€ данных рекомендуетс€ использовать более высокое значение фактора репликации. ¬ случае выхода из стро€ одного из серверов CEPH фиксирует недоступность блоков данных (рисунок 2), которые на нем размещены, ожидает определенное врем€ (параметр настраиваетс€, по умолчанию 300 сек.), после чего начинает воссоздание недостающих блоков информации в другом месте (рисунок 3).


–исунок 2 - ¬ыход из стро€ одной ноды


–исунок 3 - ¬осстановление избыточности



јналогично, в случае добавлени€ в кластер нового сервера происходит ребаллансировка хранилища с целью равномерного заполнени€ дисков на всех нодах. ћеханизм который контролирует процессы распределени€ блоков информации в кластере CEPH называетс€ CRUSH.

ƒл€ получени€ высокой производительности дискового пространства в кластерах CEPH рекомендуетс€ использовать функционал cache tiering (многоуровневое кэширование). —мысл его заключаетс€ в том, чтобы создать отдельный высокопроизводительный пул и использовать его дл€ кэшировани€, основна€ же информаци€ будет размещена на более дешевых дисках (рисунок 4).


–исунок 4 - Ћогическое представление дисковых пулов



ћногоуровневое кэширование будет работать следующим образом: запросы клиентов на запись будут записыватьс€ в самый быстрый пул, после чего перемещатьс€ на уровень хранени€. јналогично по запросам на чтение Ц информаци€ при обращении будет подниматьс€ на уровень кэшировани€ и обрабатыватьс€. ƒанные продолжают оставатьс€ на уровне кэша пока не станов€тс€ неактивными или пока не тер€ют актуальность (рисунок 5). —тоит отметить, что кэширование можно настроить только на чтение, в этом случае запросы на запись будут заноситьс€ пр€мо в пул хранени€.


–исунок 5 - ѕринцип работы кэш-тирринг



–ассмотрим реальные сценарии использовани€ CEPH в организации дл€ создани€ хранилища данных. ¬ качестве потенциального клиента рассматриваютс€ организации малого и среднего бизнеса, где будет наиболее востребована эта технологи€. ћы рассчитали 3 сценари€ использовани€ описанного решени€:

  1. ѕроизводственное или торговое предпри€тие с требованием к доступности внутренней ERP системы и файлового хранилища 99,98% в год, 24/7.
  2. ќрганизаци€, которой дл€ ее бизнес-задач требуетс€ развернуть локальное частное облако.
  3. ќчень бюджетное решение дл€ организации отказоустойчивого блочного хранилища данных, полностью независимое от аппаратного обеспечени€ с доступностью 99,98% в год и недорогим масштабированием.

—ценарий использовани€ 1. ’ранилище данных на базе CEPH

–ассмотрим реальный пример применени€ CEPH в организации. Ќапример, нам требуетс€ отказоустойчивое производительное хранилище объемом 6 “б, но затраты даже на базовую модель —’ƒ с дисками составл€ют пор€дка $21 000.


—обираем хранилище на базе CEPH. ¬ качестве серверов предлагаем использовать решение Supermicro Twin (–исунок 6). ѕродукт представл€ет собой 4 серверные платформы в едином корпусе высотой 2 юнита, все основные узлы устройства дублируютс€, что обеспечивает его непрерывное функционирование. ƒл€ реализации нашей задачи будет достаточно использовать 3 ноды, 4-€ будет в запасе на будущее.



–исунок 6 - Supermicro Twin



 омплектуем каждую из нод следующим образом: 32 √б ќ«”, 4-х €дерный процессор 2,5 √гц, 4 SATA диска по 2 “б дл€ пула хранени€ объедин€ем в 2 массива RAID1, 2 SSD диска дл€ пула кэшировани€ также объедин€ем в RAID1. —тоимость всего проекта указана в таблице 1.


“аблица 1.  омплектующие дл€ хранилища на базе CEPH

 омплектующие

÷ена, USD

 ол-во

—тоимость, USD

Supermicro Twin 2027PR-HTR: 4 hot-pluggable systems (nodes) in a 2U form factor. Dual socket R (LGA 2011), Up to 512GB ECC RDIMM, Integrated IPMI 2.0 with KVM and Dedicated LAN. 6x 2.5" Hot-swap SATA HDD Bays. 2000W Redundant Power Supplies

4 999,28

1,00

4 999,28

ћодуль пам€ти Samsung DDR3 16GB Registered ECC 1866Mhz 1.5V, Dual rank

139,28

6,00

835,68

ѕроцессор Ivy Bridge-EP 4-Core 2.5GHz (LGA2011, 10MB, 80W, 22nm) Tray

366,00

3,00

1 098,00

∆есткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E

416,00

12,00

4 992,00

“вердотельный накопитель SSD 2.5'' 400GB DC S3710 Series.

641,00

6,00

3 846,00

»“ќ√ќ



15 770,96


¬ывод: ¬ результате построени€ хранилища получим дисковый массив 6Tb c затратами пор€дка $16 000, что на 25% меньше чем закупка минимальной —’ƒ, при этом на текущих мощност€х можно запустить виртуальные машины, работающие с хранилищем, тем самым сэкономить на покупке дополнительных серверов. ѕо сути Ц это законченное решение.

—ерверы, из которых строитс€ хранилище, можно использовать не только как вместилище жестких дисков, но в качестве носителей виртуальных машин или серверов приложений.


—ценарий использовани€ 2. ѕостроение частного облака

«адача состоит в том, чтобы развернуть инфраструктуру дл€ построени€ частного облака с минимальными затратами.

ѕостроение даже небольшого облака состо€щего из например из 3-х носителей примерно в $36 000: $21 000 Ц стоимость —’ƒ + $5000 за каждый сервер с 50% наполнением.

»спользование CEPH в качестве хранилища позвол€ет совместить вычислительные и дисковые ресурсы на одном оборудовании. “о есть не нужно закупать отдельно —’ƒ - дл€ размещени€ виртуальных машин будут использоватьс€ диски установленные непосредственно в серверы.


 ратка€ справка:

 лассическа€ облачна€ структура представл€ет из себ€ кластер виртуальных машин, функционирование которых обеспечивают 2 основных аппаратных компонента:

1) ¬ычислительна€ часть (compute) - серверы, заполненные оперативной пам€тью и процессорами, ресурсы которых используютс€ виртуальными машинами дл€ вычислений

2) —истема хранени€ данных (storage) Ц устройство наполненное жесткими дисками, на котором хран€тс€ все данные.


¬ качестве оборудовани€ берем те же серверы Supermicro, но ставим более мощные процессоры Ц 8-ми €дерные с частотой 2,6 GHz, а также 96 √б ќ«” в каждую ноду, так как система будет использоватьс€ не только дл€ хранени€ информации, но и дл€ работы виртуальных машин. Ќабор дисков берем аналогичный первому сценарию.

“аблица 2.  омплектующие дл€ частного облака на базе CEPH

 омплектующие

÷ена, USD

 ол-во

—тоимость, USD

Supermicro Twin 2027PR-HTR: 4 hot-pluggable systems (nodes) in a 2U form factor. Dual socket R (LGA 2011), Up to 512GB ECC RDIMM, Integrated IPMI 2.0 with KVM and Dedicated LAN. 6x 2.5" Hot-swap SATA HDD Bays. 2000W Redundant Power Supplies

4 999,28

1,00

4 999,28

ћодуль пам€ти Samsung DDR3 16GB Registered ECC 1866Mhz 1.5V, Dual rank

139,28

18,00

2 507,04

ѕроцессор Intel Xeon E5-2650V2 Ivy Bridge-EP 8-Core 2.6GHz (LGA2011, 20MB, 95W, 32nm) Tray

1 416,18

3,00

4 248,54

∆есткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E

416,00

12,00

4 992,00

“вердотельный накопитель SSD 2.5'' 400GB DC S3710 Series.

641,00

6,00

3 846,00

»“ќ√ќ



20 592,86


—обранное облако будет иметь следующие ресурсы с учетом сохранени€ стабильности при выходе из стро€ 1-й ноды:

  • ќперативна€ пам€ть: 120 √б
  • ƒисковое пространство 6000 √б
  • ѕроцессорные €дра физические: 16 Ўт.

—обранный кластер сможет поддерживать пор€дка 10 средних виртуальных машин с характеристиками: 12 √Ѕ ќ«” / 4 процессорных €дра / 400 √Ѕ дискового пространства.

“акже стоит учесть что все 3 сервера заполнены только на 50% и при необходимости их можно доукомплектовать, тем самым увеличив пул ресурсов дл€ облака в 2 раза.

¬ывод:  ак видим, мы получили как полноценный отказоустойчивый кластер виртуальных машин, так и избыточное хранилище данных - выход из стро€ любого из серверов не критичен Ц система продолжит функционирование без остановки, при этом стоимость решени€ примерно в 1,5 раза ниже, чем купить —’ƒ и отдельные сервера.


—ценарий использовани€ 3. ѕостроение сверхдешевого хранилища данных

≈сли бюджет совсем ограничен и нет денег на закупку оборудовани€ описанного выше, можно закупить серверы бывшие в употреблении, но на дисках экономить не стоит Ц их насто€тельно рекомендуетс€ купить новые.

ѕредлагаем рассмотреть следующую структуру: закупаетс€ 4 серверные ноды, в каждый сервер ставитьс€ по 1 SSD-диску дл€ кэшировани€ и по 3 SATA диска. —ерверы Supermicro с 48 √Ѕ ќ«” и процессорами линейки 5600 можно сейчас купить примерно за $800.

ƒиски не будут собиратьс€ в отказоустойчивые массивы на каждом сервере, а будут представлены как отдельное устройство. ¬ св€зи с этим дл€ повышени€ надежности хранилища будем использовать фактор репликации 3. “о есть у каждого блока будет 3 копии. ѕри такой архитектуре зеркалировани€ дисков SSD кеша не требуетс€, так как происходит автоматическое дублирование информации на другие ноды.


“аблица 3.  омплектующие дл€ стореджа

 омплектующие

÷ена, USD

 ол-во

—тоимость, USD

SUPERMICRO 2*Xeon 5645, 48 √Ѕ ќ«” (б/у)

800,00

4,00

3200

∆есткий диск SATA 2TB Western Digital RAID EDITION

130,00

12,00

1560

“вердотельный накопитель SSD 2.5'' 400GB DC S3710 Series.

641,00

4,00

2560

»“ќ√ќ



7324,00


¬ывод: ¬ случае необходимости в данном решении можно использовать диски большего объема, либо заменить их на SAS, если нужно получить максимальную производительность дл€ работы —”Ѕƒ. ¬ данном примере в результате получим хранилище объемом 8 “Ѕ с очень низкой стоимостью и очень высокой отказоустойчивостью. ÷ена одного терабайта получилась в 3,8 раза дешевле, чем при использовании промышленной —’ƒ за $21000.


»тогова€ таблица, выводы


 онфигураци€

—’ƒ Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10)

—’ƒ Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) + Supermicro Twin

Ќаш
сценарий 1:
хранилище на базе CEPH

Ќаш
сценарий 2:
построение частного облака

Ќаш
сценарий 3:
построение сверхдешевого хранилища

ѕолезный обьем, √Ѕ

6 000

6 000

6 000

6000

8 000

÷ена, USD

21000

36000

15 770

20 592

7 324

—тоимость 1 √Ѕ, USD

3,50

6,00

2,63

3,43

0,92

 оличество IOPs* (чтение 70%/запись 30%, –азмер блока 4 )

760

760

700

700

675

Ќазначение

’ранилище

’ранилище + ¬ычисление

’ранилище + ¬ычисление

’ранилище + ¬ычисление

’ранилище + ¬ычисление

*–асчет количества IOPs выполнен дл€ созданных массивов из дисков NL SAS на —’ƒ и дисков SATA на сторедже CEPH, кэширование отключалось дл€ чистоты полученных значений. ѕри использовании кэшировани€ показатели IOPs будут значительно выше до момента заполнени€ кэша.


¬ итоге можно сказать, что на основе кластера CEPH можно строить надежные и дешевые хранилища данных.  ак показали расчеты, использовать ноды кластера только дл€ хранени€ не очень эффективно Ц решение выходит дешевле чем закупить —’ƒ, но не на много Ц в нашем примере стоимость хранилища на CEPH была примерно на 25% меньше чем Fujitsu DX100. ѕо-насто€щему экономи€ ощущаетс€ в результате совмещени€ вычислительной части и хранилища на одном оборудовании - в таком случае стоимость решени€ будет в 1,8 раз меньше, чем при построении классической структуры с применением выделенного хранилища и отдельных хост-машин.

 омпани€ EFSOL реализует данное решение по индивидуальным требовани€м. ћы можем использовать имеющеес€ у вас оборудование, что ещЄ более снизит капитальные затраты на внедрение системы. —в€житесь с нами и мы проведем обследование вашего оборудовани€ на предмет его использовани€ при создании —’ƒ.



EFSOL

—истемна€ интеграци€.  онсалтинг

»“-обслуживание

об€зательные пол€
* јнтиробот:
¬ведите ответ

»“-обслуживание

¬се пол€ формы выделенные значком * об€зательны к заполнению
* јнтиробот:
¬ведите ответ
ѕоделитьс€:
  • –Ш–љ—В–µ—А–µ—Б–љ–∞—П —Б—В–∞—В—М—П. –°–µ–є—З–∞—Б –Ї–∞–Ї —А–∞–Ј –∞–Ї—В—Г–∞–ї—М–љ–∞ —В–µ–Љ–∞ –њ–Њ–Є—Б–Ї–∞ –°–•–Ф –і–ї—П –љ–∞—И–µ–є –Ї–Њ–Љ–њ–∞–љ–Є–Є. –Я—А–µ–і–ї–Њ–ґ–µ–љ–љ–Њ–µ –≤–∞–Љ–Є —А–µ—И–µ–љ–Є–µ –Њ—З–µ–љ—М –њ—А–Є–≤–ї–µ–Ї–∞–µ—В. –£ –љ–∞—Б –Ї–∞–Ї —А–∞–Ј –µ—Б—В—М –љ–µ—Б–Ї–Њ–ї—М–Ї–Њ —Б—В–∞—А—Л—Е —Б–µ—А–≤–µ—А–Њ–≤ –љ–∞ –Ї–Њ—В–Њ—А—Л—Е –њ–Њ–њ—А–Њ–±—Г–µ–Љ —Б–Њ–±—А–∞—В—М —З—В–Њ-—В–Њ –њ–Њ —Б—Ж–µ–љ–∞—А–Є—О 2. –Ґ–Њ–ї—М–Ї–Њ –Ї–∞–Ї —П –њ–Њ–љ—П–ї –і–ї—П —В–∞–Ї–Њ–≥–Њ —А–µ—И–µ–љ–Є—П –љ—Г–ґ–љ–∞ —Е–Њ—А–Њ—И–∞—П –њ—А–Њ–њ—Г—Б–Ї–љ–∞—П —Б–њ–Њ—Б–Њ–±–љ–Њ—Б—В—М —Б–µ—В–Є, –Љ–Є–љ–Є–Љ—Г–Љ 1–У–±–Є—В, –∞ –ї—Г—З—И–µ –≤—Б–µ 10–У–±–Є—В –Љ–µ–ґ–і—Г —Б–µ—А–≤–µ—А–∞–Љ–Є. –°–њ–∞—Б–Є–±–Њ –Ј–∞ –Є–љ—Д–Њ—А–Љ–∞—Ж–Є—О, –±—Г–і–µ–Љ —В–µ—Б—В–Є—А–Њ–≤–∞—В—М.
  • –Ф–Љ–Є—В—А–Є–є –њ—А–∞–≤–Є–ї—М–љ–Њ –Ј–∞–Љ–µ—В–Є–ї –њ—А–Њ –њ—А–Њ–њ—Г—Б–Ї–љ—Г—О —Б–њ–Њ—Б–Њ–±–љ–Њ—Б—В—М —Б–µ—В–Є –Є –Т–∞–Љ –±—Л –≤ —Б—А–∞–≤–љ–µ–љ–Є–µ –ї–Њ–≥–Є—З–љ–Њ –і–Њ–±–∞–≤–Є—В—М —Б–µ—В–µ–≤—Л–µ –Ї–∞—А—В—Л 10–У–±–Є—В-–љ—Л–µ, –њ–Њ—Б–Ї–Њ–ї—М–Ї—Г, –њ–Њ —Б—А–∞–≤–µ–љ–Є–µ—О, –љ–∞–њ—А–Є–Љ–µ—А, —Б SAS HBA –Њ–љ–Є –±—Г–і—Г—В —Б—В–Њ–Є—В—М –Ј–љ–∞—З–Є—В–µ–ї—М–љ–Њ –і–Њ—А–Њ–ґ–µ, –њ–Њ –Љ–Њ–µ–Љ—Г –Љ–љ–µ–љ–Є—О. –Р –і–ї—П –љ–Њ—А–Љ–∞–ї—М–љ–Њ–≥–Њ –Њ—В–Ї–ї–Є–Ї–∞ –≤ —В–∞–Ї–Њ–є —Б–Є—Б—В–µ–Љ–µ –Ј–∞–ї–Њ–ґ–Є—В—М –±—Л –µ—Й–µ –Њ–њ—В–Є—З–µ—Б–Ї–Є–µ –Ї–Њ–Љ–Љ—Г—В–∞—В–Њ—А—Л, –і–∞ –љ–µ –Њ–і–Є–љ (–і–ї—П –Њ—В–Ї–∞–Ј–Њ—Г—Б—В–Њ–є—З–Є–≤–Њ–≥–Њ —А–µ—И–µ–љ–Є—П) –Є –≤–Є–і–Є–Љ–Њ –Ї—Г–њ–Є—В—М –і–µ—И–µ–≤—Г—О –°–•–Ф –±—Г–і–µ—В —Г–ґ–µ –љ–µ —В–∞–Ї–Є–Љ –Є –њ–ї–Њ—Е–Є–Љ —А–µ—И–µ–љ–Є–µ–Љ.
  • «дравствуйте, ƒенис! ¬ данной статье приведены расчеты дл€ построени€ самого минимального кластера. ƒл€ него не нужно 2-х оптических свитчей, поскольку нод всего 3. ѕо затратам на 10-√битные карты - согласен. Ќо если ¬ы хотите купить —’ƒ, нужно будет, во-первых, купить модули 10 Gbit в —’ƒ, во-вторых, те же карты 10 Gbit в серверы.
  • «дравствуйте. 1) ј сколько дл€ интереса будет стоить работа по созданию такого суперсервера CEPH? Ќу пусть с выбранным хранилищем SuperMicro. ≈сть такие услуги у вас, хот€ бы средн€€ цена? 2) я знаю что сейчас по€вилась фича Microsoft, котора€ умеет создавать логические тома из нескольких дисков и даже из разных серверов (типа LVM на Ћинуксе). ѕланируете ее включать в обзор?
  • «дравствуйте, ¬севолод! 1) «воните, обсудим задание и озвучим цену. 2) ƒа, технологи€ Storage Spaces. Ќачали ее примен€ть с выходом Windows Server 2016.  асательно обзора - планируем сделать отдельную статью.

” вас конкретна€ задача? —в€житесь с нами пр€мо сейчас!


ќбратный звонок RedConnect