Ѕыстрое внедрение ERP  омплексные услуги
от 1—:÷ентр ERP!
”правление доставкой ƒл€ торговых и курьерских компаний!
1C:Ёƒќ ”знайте о всех преимуществах электронного документооборота!
ѕереход на Ђ1—:«”ѕ ред. 3ї ‘ирма Ђ1—ї прекращает поддержку Ђ1—:«”ѕ 2.5ї!
јренда сервера 1—
в облаке
–аботайте в 1— удаленно с экономией до 70%!

«ависимость бизнес-процессов предпри€ти€ от »“-сферы посто€нно растет. Ќа сегодн€ вопросу непрерывности работы »“-сервисов удел€ют внимание не только крупные компании, но и представители среднего, а зачастую и малого бизнеса.

ќдним из центральных элементов обеспечени€ отказоустойчивости €вл€етс€ система хранени€ данных (—’ƒ) – устройство на котором централизовано хранитьс€ вс€ информаци€. —’ƒ характеризуетс€ высокой масштабируемостью, отказоустойчивостью, возможностью выполн€ть все сервисные операции без остановки работы устройства (в том числе замену компонентов). Ќо стоимость даже базовой модели измер€етс€ в дес€тках тыс€ч долларов. Ќапример, Fujitsu ETERNUS DX100 с 12-ю дисками Nearline SAS 1Tb SFF (RAID10 6TB) стоит пор€дка 21 000 USD, что дл€ небольшой компании очень дорого.

¬ нашей статье мы предлагаем рассмотреть варианты организации бюджетного хранилища, которое не проигрывает по производительности и надежности классическим системам. ƒл€ его реализации предлагаем использовать CEPH.

„то такое CEPH и как он работает?

CEPH Ц хранилище на базе свободного ѕќ, представл€ет из себ€ объединение дисковых пространств нескольких серверов (количество серверов на практике измер€етс€ дес€тками и сотн€ми). CEPH позвол€ет создать легкомасштабируемое хранилище с высокой производительностью и избыточностью ресурсов. CEPH может использоватьс€ как в качестве объектного хранилища (служить дл€ хранени€ файлов) так и в качестве блочного устройства (отдача виртуальных жестких дисков).

ќтказоустойчивость хранилища обеспечиваетс€ репликацией каждого блока данных на несколько серверов.  оличество одновременно хранимых копий каждого блока называетс€ фактором репликации, по умолчанию его значение равно 2. —хема работы хранилища показана на рисунке 1, как видим информаци€ разбиваетс€ на блоки, каждый из которых распредел€етс€ по двум разным нодам.

–исунок 1 - –аспределение блоков данных


≈сли на серверах не используютс€ отказоустойчивые дисковые массивы, дл€ надежного хранени€ данных рекомендуетс€ использовать более высокое значение фактора репликации. ¬ случае выхода из стро€ одного из серверов CEPH фиксирует недоступность блоков данных (рисунок 2), которые на нем размещены, ожидает определенное врем€ (параметр настраиваетс€, по умолчанию 300 сек.), после чего начинает воссоздание недостающих блоков информации в другом месте (рисунок 3).

–исунок 2 - ¬ыход из стро€ одной ноды


–исунок 3 - ¬осстановление избыточности


јналогично, в случае добавлени€ в кластер нового сервера происходит ребаллансировка хранилища с целью равномерного заполнени€ дисков на всех нодах. ћеханизм который контролирует процессы распределени€ блоков информации в кластере CEPH называетс€ CRUSH.

ƒл€ получени€ высокой производительности дискового пространства в кластерах CEPH рекомендуетс€ использовать функционал cache tiering (многоуровневое кэширование). —мысл его заключаетс€ в том, чтобы создать отдельный высокопроизводительный пул и использовать его дл€ кэшировани€, основна€ же информаци€ будет размещена на более дешевых дисках (рисунок 4).

–исунок 4 - Ћогическое представление дисковых пулов


ћногоуровневое кэширование будет работать следующим образом: запросы клиентов на запись будут записыватьс€ в самый быстрый пул, после чего перемещатьс€ на уровень хранени€. јналогично по запросам на чтение Ц информаци€ при обращении будет подниматьс€ на уровень кэшировани€ и обрабатыватьс€. ƒанные продолжают оставатьс€ на уровне кэша пока не станов€тс€ неактивными или пока не тер€ют актуальность (рисунок 5). —тоит отметить, что кэширование можно настроить только на чтение, в этом случае запросы на запись будут заноситьс€ пр€мо в пул хранени€.

–исунок 5 - ѕринцип работы кэш-тирринг


–ассмотрим реальные сценарии использовани€ CEPH в организации дл€ создани€ хранилища данных. ¬ качестве потенциального клиента рассматриваютс€ организации малого и среднего бизнеса, где будет наиболее востребована эта технологи€. ћы рассчитали 3 сценари€ использовани€ описанного решени€:

  1. ѕроизводственное или торговое предпри€тие с требованием к доступности внутренней ERP системы и файлового хранилища 99,98% в год, 24/7.
  2. ќрганизаци€, которой дл€ ее бизнес-задач требуетс€ развернуть локальное частное облако.
  3. ќчень бюджетное решение дл€ организации отказоустойчивого блочного хранилища данных, полностью независимое от аппаратного обеспечени€ с доступностью 99,98% в год и недорогим масштабированием.

—ценарий использовани€ 1. ’ранилище данных на базе CEPH

–ассмотрим реальный пример применени€ CEPH в организации. Ќапример, нам требуетс€ отказоустойчивое производительное хранилище объемом 6 “б, но затраты даже на базовую модель —’ƒ с дисками составл€ют пор€дка $21 000.

—обираем хранилище на базе CEPH. ¬ качестве серверов предлагаем использовать решение Supermicro Twin (–исунок 6). ѕродукт представл€ет собой 4 серверные платформы в едином корпусе высотой 2 юнита, все основные узлы устройства дублируютс€, что обеспечивает его непрерывное функционирование. ƒл€ реализации нашей задачи будет достаточно использовать 3 ноды, 4-€ будет в запасе на будущее.



–исунок 6 - Supermicro Twin


 омплектуем каждую из нод следующим образом: 32 √б ќ«”, 4-х €дерный процессор 2,5 √гц, 4 SATA диска по 2 “б дл€ пула хранени€ объедин€ем в 2 массива RAID1, 2 SSD диска дл€ пула кэшировани€ также объедин€ем в RAID1. —тоимость всего проекта указана в таблице 1.

“аблица 1.  омплектующие дл€ хранилища на базе CEPH

 омплектующие ÷ена, USD  ол-во —тоимость, USD
Supermicro Twin 2027PR-HTR: 4 hot-pluggable systems (nodes) in a 2U form factor. Dual socket R (LGA 2011), Up to 512GB ECC RDIMM, Integrated IPMI 2.0 with KVM and Dedicated LAN. 6x 2.5" Hot-swap SATA HDD Bays. 2000W Redundant Power Supplies 4 999,28 1 4 999,28
ћодуль пам€ти Samsung DDR3 16GB Registered ECC 1866Mhz 1.5V, Dual rank 139,28 6 835,68
ѕроцессор Ivy Bridge-EP 4-Core 2.5GHz (LGA2011, 10MB, 80W, 22nm) Tray 366,00 3 1 098,00
∆есткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E 416,00 12 4 992,00
“вердотельный накопитель SSD 2.5'' 400GB DC S3710 Series. 641,00 6 3 846,00
»“ќ√ќ 15 770,96

¬ывод: ¬ результате построени€ хранилища получим дисковый массив 6Tb c затратами пор€дка $16 000, что на 25% меньше чем закупка минимальной —’ƒ, при этом на текущих мощност€х можно запустить виртуальные машины, работающие с хранилищем, тем самым сэкономить на покупке дополнительных серверов. ѕо сути Ц это законченное решение.

—ерверы, из которых строитс€ хранилище, можно использовать не только как вместилище жестких дисков, но в качестве носителей виртуальных машин или серверов приложений.

—ценарий использовани€ 2. ѕостроение частного облака

«адача состоит в том, чтобы развернуть инфраструктуру дл€ построени€ частного облака с минимальными затратами.

ѕостроение даже небольшого облака состо€щего из например из 3-х носителей примерно в $36 000: $21 000 Ц стоимость —’ƒ + $5000 за каждый сервер с 50% наполнением.

»спользование CEPH в качестве хранилища позвол€ет совместить вычислительные и дисковые ресурсы на одном оборудовании. “о есть не нужно закупать отдельно —’ƒ - дл€ размещени€ виртуальных машин будут использоватьс€ диски установленные непосредственно в серверы.

 ратка€ справка:
 лассическа€ облачна€ структура представл€ет из себ€ кластер виртуальных машин, функционирование которых обеспечивают 2 основных аппаратных компонента:

  1. ¬ычислительна€ часть (compute) - серверы, заполненные оперативной пам€тью и процессорами, ресурсы которых используютс€ виртуальными машинами дл€ вычислений
  2. —истема хранени€ данных (storage) Ц устройство наполненное жесткими дисками, на котором хран€тс€ все данные.

¬ качестве оборудовани€ берем те же серверы Supermicro, но ставим более мощные процессоры Ц 8-ми €дерные с частотой 2,6 GHz, а также 96 √б ќ«” в каждую ноду, так как система будет использоватьс€ не только дл€ хранени€ информации, но и дл€ работы виртуальных машин. Ќабор дисков берем аналогичный первому сценарию.

“аблица 2.  омплектующие дл€ частного облака на базе CEPH

 омплектующие ÷ена, USD  ол-во —тоимость, USD
Supermicro Twin 2027PR-HTR: 4 hot-pluggable systems (nodes) in a 2U form factor. Dual socket R (LGA 2011), Up to 512GB ECC RDIMM, Integrated IPMI 2.0 with KVM and Dedicated LAN. 6x 2.5" Hot-swap SATA HDD Bays. 2000W Redundant Power Supplies 4 999,28 1 4 999,28
ћодуль†пам€ти†Samsung DDR3 16GB Registered ECC 1866Mhz 1.5V, Dual rank 139,28 18 2 507,04
ѕроцессор†Intel Xeon E5-2650V2 Ivy Bridge-EP 8-Core 2.6GHz (LGA2011, 20MB, 95W, 32nm) Tray 1 416,18 3 4 248,54
∆есткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E 416 12 4 992,00
“вердотельный накопитель SSD 2.5'' 400GB DC S3710 Series. 641 6 3 846,00
»“ќ√ќ 20 592,86

—обранное облако будет иметь следующие ресурсы с учетом сохранени€ стабильности при выходе из стро€ 1-й ноды:

  • ќперативна€ пам€ть: 120 √б
  • ƒисковое пространство 6000 √б
  • ѕроцессорные €дра физические: 16 Ўт.

—обранный кластер сможет поддерживать пор€дка 10 средних виртуальных машин с характеристиками: 12 √Ѕ ќ«” / 4 процессорных €дра / 400 √Ѕ дискового пространства.

“акже стоит учесть что все 3 сервера заполнены только на 50% и при необходимости их можно доукомплектовать, тем самым увеличив пул ресурсов дл€ облака в 2 раза.

¬ывод:  ак видим, мы получили как полноценный отказоустойчивый кластер виртуальных машин, так и избыточное хранилище данных - выход из стро€ любого из серверов не критичен Ц система продолжит функционирование без остановки, при этом стоимость решени€ примерно в 1,5 раза ниже, чем купить —’ƒ и отдельные сервера.

—ценарий использовани€ 3. ѕостроение сверхдешевого хранилища данных

≈сли бюджет совсем ограничен и нет денег на закупку оборудовани€ описанного выше, можно закупить серверы бывшие в употреблении, но на дисках экономить не стоит Ц их насто€тельно рекомендуетс€ купить новые.

ѕредлагаем рассмотреть следующую структуру: закупаетс€ 4 серверные ноды, в каждый сервер ставитьс€ по 1 SSD-диску дл€ кэшировани€ и по 3 SATA диска. —ерверы Supermicro с 48 √Ѕ ќ«” и процессорами линейки 5600 можно сейчас купить примерно за $800.

ƒиски не будут собиратьс€ в отказоустойчивые массивы на каждом сервере, а будут представлены как отдельное устройство. ¬ св€зи с этим дл€ повышени€ надежности хранилища будем использовать фактор репликации 3. “о есть у каждого блока будет 3 копии. ѕри такой архитектуре зеркалировани€ дисков SSD кеша не требуетс€, так как происходит автоматическое дублирование информации на другие ноды.

“аблица 3.  омплектующие дл€ стореджа

 омплектующие ÷ена, USD  ол-во —тоимость, USD
SUPERMICRO 2*Xeon 5645, 48†√Ѕ†ќ«”†(б/у) 800 4 3200
∆есткий†диск†SATA 2TB Western Digital RAID EDITION 130 12 1560
“вердотельный накопитель SSD 2.5'' 400GB DC S3710 Series. 641 4 2560
»“ќ√ќ 7324

¬ывод: ¬ случае необходимости в данном решении можно использовать диски большего объема, либо заменить их на SAS, если нужно получить максимальную производительность дл€ работы —”Ѕƒ. ¬ данном примере в результате получим хранилище объемом 8 “Ѕ с очень низкой стоимостью и очень высокой отказоустойчивостью. ÷ена одного терабайта получилась в 3,8 раза дешевле, чем при использовании промышленной —’ƒ за $21000.

»тогова€ таблица, выводы

 онфигураци€ —’ƒ Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) —’ƒ Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) + Supermicro Twin Ќаш сценарий 1: хранилище на базе CEPH Ќаш сценарий 2: построение частного облака Ќашсценарий 3: построение сверхдешевого хранилища
ѕолезный обьем, √Ѕ 6 000 6 000 6 000 6000 8 000
÷ена, USD 21000 36000 15 770 20 592 7 324
—тоимость 1 √Ѕ, USD 3,5 6 2,63 3,43 0,92
 оличество IOPs* (чтение 70%/запись 30%, –азмер блока 4 ) 760 760 700 700 675
Ќазначение ’ранилище ’ранилище + ¬ычисление ’ранилище + ¬ычисление ’ранилище + ¬ычисление ’ранилище + ¬ычисление

*–асчет количества IOPs выполнен дл€ созданных массивов из дисков NL SAS на —’ƒ и дисков SATA на сторедже CEPH, кэширование отключалось дл€ чистоты полученных значений. ѕри использовании кэшировани€ показатели IOPs будут значительно выше до момента заполнени€ кэша.


¬ итоге можно сказать, что на основе кластера CEPH можно строить надежные и дешевые хранилища данных.  ак показали расчеты, использовать ноды кластера только дл€ хранени€ не очень эффективно Ц решение выходит дешевле чем закупить —’ƒ, но не на много Ц в нашем примере стоимость хранилища на CEPH была примерно на 25% меньше чем Fujitsu DX100. ѕо-насто€щему экономи€ ощущаетс€ в результате совмещени€ вычислительной части и хранилища на одном оборудовании - в таком случае стоимость решени€ будет в 1,8 раз меньше, чем при построении классической структуры с применением выделенного хранилища и отдельных хост-машин.

 омпани€ EFSOL реализует данное решение по индивидуальным требовани€м. ћы можем использовать имеющеес€ у вас оборудование, что ещЄ более снизит капитальные затраты на внедрение системы. —в€житесь с нами и мы проведем обследование вашего оборудовани€ на предмет его использовани€ при создании —’ƒ.



EFSOL

—истемна€ интеграци€.  онсалтинг

»“-обслуживание

об€зательные пол€
* јнтиробот:
¬ведите ответ

»“-обслуживание

¬се пол€ формы выделенные значком * об€зательны к заполнению
* јнтиробот:
¬ведите ответ
  • –Ш–љ—В–µ—А–µ—Б–љ–∞—П —Б—В–∞—В—М—П. –°–µ–є—З–∞—Б –Ї–∞–Ї —А–∞–Ј –∞–Ї—В—Г–∞–ї—М–љ–∞ —В–µ–Љ–∞ –њ–Њ–Є—Б–Ї–∞ –°–•–Ф –і–ї—П –љ–∞—И–µ–є –Ї–Њ–Љ–њ–∞–љ–Є–Є. –Я—А–µ–і–ї–Њ–ґ–µ–љ–љ–Њ–µ –≤–∞–Љ–Є —А–µ—И–µ–љ–Є–µ –Њ—З–µ–љ—М –њ—А–Є–≤–ї–µ–Ї–∞–µ—В. –£ –љ–∞—Б –Ї–∞–Ї —А–∞–Ј –µ—Б—В—М –љ–µ—Б–Ї–Њ–ї—М–Ї–Њ —Б—В–∞—А—Л—Е —Б–µ—А–≤–µ—А–Њ–≤ –љ–∞ –Ї–Њ—В–Њ—А—Л—Е –њ–Њ–њ—А–Њ–±—Г–µ–Љ —Б–Њ–±—А–∞—В—М —З—В–Њ-—В–Њ –њ–Њ —Б—Ж–µ–љ–∞—А–Є—О 2. –Ґ–Њ–ї—М–Ї–Њ –Ї–∞–Ї —П –њ–Њ–љ—П–ї –і–ї—П —В–∞–Ї–Њ–≥–Њ —А–µ—И–µ–љ–Є—П –љ—Г–ґ–љ–∞ —Е–Њ—А–Њ—И–∞—П –њ—А–Њ–њ—Г—Б–Ї–љ–∞—П —Б–њ–Њ—Б–Њ–±–љ–Њ—Б—В—М —Б–µ—В–Є, –Љ–Є–љ–Є–Љ—Г–Љ 1–У–±–Є—В, –∞ –ї—Г—З—И–µ –≤—Б–µ 10–У–±–Є—В –Љ–µ–ґ–і—Г —Б–µ—А–≤–µ—А–∞–Љ–Є. –°–њ–∞—Б–Є–±–Њ –Ј–∞ –Є–љ—Д–Њ—А–Љ–∞—Ж–Є—О, –±—Г–і–µ–Љ —В–µ—Б—В–Є—А–Њ–≤–∞—В—М.
  • –Ф–Љ–Є—В—А–Є–є –њ—А–∞–≤–Є–ї—М–љ–Њ –Ј–∞–Љ–µ—В–Є–ї –њ—А–Њ –њ—А–Њ–њ—Г—Б–Ї–љ—Г—О —Б–њ–Њ—Б–Њ–±–љ–Њ—Б—В—М —Б–µ—В–Є –Є –Т–∞–Љ –±—Л –≤ —Б—А–∞–≤–љ–µ–љ–Є–µ –ї–Њ–≥–Є—З–љ–Њ –і–Њ–±–∞–≤–Є—В—М —Б–µ—В–µ–≤—Л–µ –Ї–∞—А—В—Л 10–У–±–Є—В-–љ—Л–µ, –њ–Њ—Б–Ї–Њ–ї—М–Ї—Г, –њ–Њ —Б—А–∞–≤–µ–љ–Є–µ—О, –љ–∞–њ—А–Є–Љ–µ—А, —Б SAS HBA –Њ–љ–Є –±—Г–і—Г—В —Б—В–Њ–Є—В—М –Ј–љ–∞—З–Є—В–µ–ї—М–љ–Њ –і–Њ—А–Њ–ґ–µ, –њ–Њ –Љ–Њ–µ–Љ—Г –Љ–љ–µ–љ–Є—О. –Р –і–ї—П –љ–Њ—А–Љ–∞–ї—М–љ–Њ–≥–Њ –Њ—В–Ї–ї–Є–Ї–∞ –≤ —В–∞–Ї–Њ–є —Б–Є—Б—В–µ–Љ–µ –Ј–∞–ї–Њ–ґ–Є—В—М –±—Л –µ—Й–µ –Њ–њ—В–Є—З–µ—Б–Ї–Є–µ –Ї–Њ–Љ–Љ—Г—В–∞—В–Њ—А—Л, –і–∞ –љ–µ –Њ–і–Є–љ (–і–ї—П –Њ—В–Ї–∞–Ј–Њ—Г—Б—В–Њ–є—З–Є–≤–Њ–≥–Њ —А–µ—И–µ–љ–Є—П) –Є –≤–Є–і–Є–Љ–Њ –Ї—Г–њ–Є—В—М –і–µ—И–µ–≤—Г—О –°–•–Ф –±—Г–і–µ—В —Г–ґ–µ –љ–µ —В–∞–Ї–Є–Љ –Є –њ–ї–Њ—Е–Є–Љ —А–µ—И–µ–љ–Є–µ–Љ.
  • «дравствуйте, ƒенис! ¬ данной статье приведены расчеты дл€ построени€ самого минимального кластера. ƒл€ него не нужно 2-х оптических свитчей, поскольку нод всего 3. ѕо затратам на 10-√битные карты - согласен. Ќо если ¬ы хотите купить —’ƒ, нужно будет, во-первых, купить модули 10 Gbit в —’ƒ, во-вторых, те же карты 10 Gbit в серверы.
  • «дравствуйте. 1) ј сколько дл€ интереса будет стоить работа по созданию такого суперсервера CEPH? Ќу пусть с выбранным хранилищем SuperMicro. ≈сть такие услуги у вас, хот€ бы средн€€ цена? 2) я знаю что сейчас по€вилась фича Microsoft, котора€ умеет создавать логические тома из нескольких дисков и даже из разных серверов (типа LVM на Ћинуксе). ѕланируете ее включать в обзор?
  • «дравствуйте, ¬севолод! 1) «воните, обсудим задание и озвучим цену. 2) ƒа, технологи€ Storage Spaces. Ќачали ее примен€ть с выходом Windows Server 2016.  асательно обзора - планируем сделать отдельную статью.
  • ≈сли € хочу купить —’ƒ - € могу ее подключить по SAS. ¬ —’ƒ, которую вы рассматриваете есть минимум по 2 порта SAS на каждом контроллере в стоке, а значит нужно приобрести всего два двух портовых HBA SAS в сервера, что значительно! дешевле, чем приобритение 10Gbit сетевых карт. ¬ вашей статье кроме бюджетов хорошо бы рассмотреть преимущества и недостатки гиперконвергентных систем с классическими C’ƒ, поскольку, например tiering не сравнитс€ с SSD кэшированием. ѕланируетс€ ли сделать обзор?
  • —тать€ написана в основном с уклоном на экономику и ориентирована на те компании, которые столкнулись с проблемой дороговизны —’ƒ. “акже основна€ иде€ - совместить вычисление и хранилище. Ёкономи€ выходит и при закупке и на ежемес€чных затратах (серверы + —’ƒ занимают больше места, чем просто серверы).  асательно полного технического сравнени€ систем - возможно, такое исследование проведем и сделаем отдельный обзор.
  • ѕриветствую. ¬опрос по дисковому массиву. ¬ы пишете "4 SATA диска по 2 “б дл€ пула хранени€ объедин€ем в 2 массива RAID1, 2 SSD диска дл€ пула кэшировани€ также объедин€ем в RAID1" - ј почему именно 4 —ата и 2 SSD. ≈сть какой то калькул€тор или таблица соответстви€? - ¬ таблице цен нашел, что объем ——ƒ был 400 √б (хот€ этого нет в описании) - а почему именно такой объем, дл€ запаса, что ли? - ј разве система не сама делаем программный рейд под себ€, по типу пула дисков? Ќужно диски специально вручную объедин€ть в –ейд?
  • «дравствуйте, –оман. 1,2 ƒиски брали 400 √б из расчета 10% от основного массива SATA.  алькул€тора какого-то нет. Ћогика проста€: чем больше соотношение SSD /SATA - тем дороже 1 √б полезного пространства, но больше информации поместитс€ в пул кэшировани€. —оответственно соотношение нужно подбирать исход€ из интенсивности обработки информации. 3. ¬ данном случае было объединение дисков в рейды, а далее они объедин€лись в пул хранени€ и кэшировани€ между разными нодами. ѕостроить пул состо€щий из разных типов дисков в пределах одной ноды тоже можно, но это друга€ технологи€.
  • ƒобрый день, мы планируем внедр€ть систему vSan на VMWare, ¬аша стать€ как раз привлекал схожей технологией. —кажите, был ли у ¬ас опыт внедр€ни такого рода технологий. »нтересуют подводные камни, о которые можно споткнутьс€, особенно вопросы производительности и отказоустойчивости решени€ по сравнению с промышленной —’ƒ.
  • «дравствуйте, ƒенис! vSan от VMWare не использовали. –ешение достойное, но очень дорогое. Ќа сколько € помню, там кроме самой vSan нужна лицензи€ на vSphere, а также об€зательна€ покупка поддержки. »“ќ√ќ: на 1 сервер с 2-м€ процессорами стоимость софта доходит до 20 000 USD.

” вас конкретна€ задача? —в€житесь с нами пр€мо сейчас!

ќбратный звонок RedConnect