Эффекты ГРИД-среды

Следуя родоначальникам концепции ГРИД, южноамериканским ученым Яну Фостеру и Карлу Кессельману, современный статус вычислительных инфраструктур можно сопоставить с состоянием электронных систем в самом начале ХХ века. Тогда фактически каждый юзер электроэнергии использовал собственный свой генератор. Революционным шагом было появление электросетей, создание технологий передачи и рассредотачивания электроэнергии, организация стандартизованной службы универсального и гарантированного доступа к электричеству.

Концепция ГРИД (от англ. — «сетка, решетка») предполагает создание глобальной компьютерной инфраструктуры, обеспечивающей интеграцию географически распределенных информационных и вычислительных ресурсов.

Концепция ГРИД базируется на последующих неопровержимых фактах:

резвом и неизменном увеличении производительности процессоров массового производства. Современный компьютер на базе микропроцессора Pentium 4 сравним по скорости вычислений с суперкомпьютерами 10-летней давности

возникновении стремительных оптоволоконных линий связи. Сейчас базисные полосы связи в сети Веб имеют пропускную способность 10 гигабит/с, а подключение к Сети многих научных организаций происходит на скорости в 1—2 гигабит/с

парадоксе Веба, глобализации процесса обмена информацией и интеграции мировой экономики

развитии метакомпьютинга

научной дисциплины по организации сложных вычислительных процессов

совершенствовании технологий и средств информационной безопасности.

Задачки новейшей технологии

Гриды подразумевают высочайший уровень обобществления компов и линий связи, а это не так просто будет принять собственникам ресурсов. Они должны получить взамен нечто так ценное, что сумело бы восполнить такую «экспроприацию».

Легитимен вопрос — что может дать ГРИД-технология?

Вычислительные задачки бывают различного уровня — от относительно обычных, не требующих уникальных вычислительных ресурсов, до задач, решение которых может быть лишь на суперкомпьютерах.

1-ый тип имеет массовый нрав, и это основной тип нагрузки в большинстве прикладных областей. Эти задачки можно делать, используя вычислительные ресурсы и программное обеспечение массового производства. Заметим сходу, что почти всегда конкретно на такие прикладные задачки и нацелена ГРИД-технология.

Но есть задачки, которые нереально решить на компьютерах массового производства с внедрением общедоступного программного обеспечения. Это задачки аэро- и гидродинамики (расчет крыла самолета либо корпуса быстроходного судна), моделирование сложных динамических систем (ядерного взрыва либо образования нейтронной звезды), задачки пророчества погоды и создание модели погодных конфигураций. Тут требуется особая организация работы многих сотен и тыщ микропроцессоров для решения одной задачки. С этой целью создаются многопроцессорные компы специальной архитектуры и особенное программное обеспечение. К таким вычислительным ресурсам обычно применяется термин «суперкомпьютер».

Фермерское хозяйство

Для рынка вычислительных задач типично то, что в рамках какого-нибудь фундаментального исследования, прикладной трудности либо даже коммерческого проекта приходится решать огромное количество задач, любая из которых в отдельности не является сложной. Естественно, поток либо набор относительно обычных и однотипных задач просто распараллеливается, и внедрение суперкомпьютеров непременно даст большой эффект по производительности. Но таковой же эффект можно получить и используя обыкновенные наборы индивидуальных компов, объединенные локальной сетью, — кластеры, в каких один из компов занимается рассредотачиванием задач по принципу «одна задачка — один процессор». В физике больших энергий такие кластеры получили заглавие компьютерных ферм. Практика последнего 10-ка лет показала, что внедрение ферм в пару раз дешевле, чем применение суперкомпьютеров, и дает таковой же эффект производительности для большинства прикладных задач. И в этом плане ГРИД как глобальное объединение микропроцессоров, быстрее, является фермой, ежели суперкомпьютером.

Отлично понятно, что степень использования процессорной мощности индивидуальных компов очень мала, почти всегда микропроцессор реально загружен в течение только нескольких процентов рабочего времени. Эта неувязка существует и для суперкомпьютерных центров.

В мире уже на данный момент работают сотки миллионов индивидуальных компов как на рабочих местах, так и в составе кластеров (ферм). ГРИД-технология позволит соединять воединыжды эти мощности в глобальные географически распределенные фермы. В итоге такового объединения юзер получает возможность пуска собственных задач на глобальной ферме, которая будет на много порядков сильнее, ежели доступные ему локальные ресурсы. При всем этом собственные компы будут, в свою очередь, включены в состав этой глобальной фермы и на их будут производиться задачки других юзеров.

Эффект ускорения счета будет определяться сначала тем, что в каждый определенный момент не настолько не мало заданий посылается на выполнение и потому задачки производятся сходу и стремительно на очень большенном количестве микропроцессоров.

Таким макаром, «конфеткой», на которую должны клюнуть собственники компьютерных ресурсов, станет резкое повышение производительности доступных им ресурсов. В эталоне все это может происходить безвозмездно, в форме взаимозачета. Но понятно, что учет и контроль всегда нужны. Потому надлежащие системы — типичный биллинг для юзеров ГРИД — уже разрабатываются и опробываются на действующих кусках сети.

Но не считая производительности (скорости счета в реальном времени) есть другая «изюминка», связанная с возможностью использования географически распределенных данных для решения намеченной цели без их транспортировки в одно место. Вправду, программка может мигрировать от веб-сайта к веб-сайту, в согласовании с тем, где нужные данные хранятся, а окончательный итог будет доставлен юзеру после окончания всех вычислений.

Разработка ГРИД в принципе нацелена на утилизацию всех видов компьютерных ресурсов, вне зависимости от типов операционных систем и вида технических средств. Это значит, что приготовленная в этой технологии задачка не должна быть привязана к определенному виду техники, и, как следует, должна быть переносима с одной платформы на другие.

Законы муравейника

ГРИД — это набор стандартизированных сервисов, выполняющих свои функции в фоновом режиме в согласовании с универсальными оптимизирующими методами через внедрение особых протоколов и стандартных программных средств промежного уровня (middleware). В этом он припоминает саму Всемирную сеть, где запрос на информацию к удаленному веб-сайту происходит по протоколу (HTTP) и с внедрением программ — Web-браузеров, сама же информация должна быть записана с внедрением определенного эталона (HTML). В случае ГРИД набор таких протоколов, эталонов и служб оказывается существенно обширнее.

ГРИД — это сначала сервис для обеспечения совместимого доступа к географически распределенным гетерогенным компьютерным ресурсам. Другой задачей является обеспечение надежного доступа к вычислительным ресурсам. Также должна быть обеспечена безопасность как для выполняемой задачки (задачки и данные не должны теряться и должны быть защищены от несанкционированного доступа к ним), так и в отношении применяемого компьютерного ресурса.

Огромное внимание в функционировании новейшей технологии уделяется сервису по созданию и обслуживанию виртуальных вычислительных организаций либо лабораторий (virtual organizations/laboratories). Конкретно на уровне виртуальной организации и происходит то самое обобществление ресурсов, также решаются определенные вопросы безопасности.

Этот далековато не полный список служб указывает, что реализация идеи «вычислений через Интернет» не может быть обычным развитием Web-технологии. Тут требуются много принципно новых решений. Все же полностью закономерно считать, что «ГРИД — это последующий революционный шаг развития WWW в XXI веке», более того уже появился новый термин «World Wide Grid — WWG».

Реальные заслуги

Понятие ГРИД в последние годы удачно употребляется учеными различных государств как действенный «флаг» для выбивания финансирования собственных работ по компьютерной поддержке интернациональных и междисциплинарных проектов.

Если гласить о реальных достижениях, то сначала необходимо подчеркнуть, что ГРИД — не всеобщий земной суперкомпьютер, а ряд реальных сетей, работающих в рамках определенных научных заморочек. Броским примером является проект MAMMOGRID (http://mammogrid.vitamib.com ), направленный на компьютерную поддержку мед исследовательских работ по дилемме рака молочной железы. В этом проекте планируется при помощи новейшей технологии организовать доступ ученых-медиков к данным, приобретенным в процессе каждогодних обследований миллионов дам, и хранящимся в тыщах европейских мед центров. Если это получится, то соответственное направление мед науки выйдет на принципно новый уровень. Ну а самое главное — за счет всеохватывающей компьютерной обработки маммограмм значительно повысится достоверность обследований на самых ранешних стадиях развития заболевания.

В реальных ГРИД-проектах задачка интеграции в глобальные фермы вправду индивидуальных компов, стоящих на рабочих столах юзеров либо в их домах, пока не ставится, так как интеграция россыпи компов, находящейся в индивидуальном использовании, на сегодня нереальна. Хотя не исключено, что в ближнем будущем это и станет вероятным.

На данный момент в ГРИД-инфраструктуры врубаются ресурсы только компьютерных центров — научных либо производственных. Хотя пробы использовать такие ресурсы, как компы интернет-кафе, все таки предпринимаются. В этом плане увлекателен опыт объединения компьютерных ресурсов школ подмосковного городка Дубны в ГРИД-сеть для решения прикладных задач Объединенного института ядерных исследовательских работ (ОИЯИ).

Анализируя имеющиеся проекты, можно выделить два главных направления развития ГРИД-технологий — вычислительное (computational) и активно работающее с данными (data intensive GRID).

В вычислительном направлении создаваемая инфраструктура нацелена на достижение наибольшей скорости расчетов за счет глобального рассредотачивания вычислений. В таких случаях прибыльнее доставлять требуемые данные к массивному компу для выполнения задачки. Одним из таких проектов является европейский проект DEISA (http://www. deisa.org), в каком предпринимается попытка соединить суперкомпьютерные центры.

В случае же второго направления транспортировка данных представляет собой еще более сложную задачку, чем сами вычисления, — такие задачки подпадают под понятие ГРИД для насыщенных операций с данными. Тут задачке прибыльнее пройти по серверам, где хранятся обрабатываемые данные.

Важным примером инфраструктур типа насыщенных операций с данными является европейский проект EGEE (http://www.cern.ch/egee), который сейчас в главном обслуживает юзеров Огромного адронного коллайдера, создаваемого в Европейской лаборатории по физике частиц в Женеве (ЦЕРН).

По плану ускоритель должен начать свою работу в 2007 году, что и определяет жесточайший временной график для доведения технологии ГРИД «до ума». С самого начала работы EGEE в 2004 году в проекте участвовали не только лишь европейские, но также и южноамериканские институты, и 8 русских институтов, и лаборатории из Израиля. Всего же сейчас в нем задействовано 70 лабораторий из 27 государств.

Еще в 1999 году физики ЦЕРНа, взяв идею ГРИД на вооружение, принялись за ее реализацию. Для этого год спустя был организован проект EU -DataGrid (http://www.eu-datagrid.org), который удачно закончился сначала 2004 года. В 2002 году там же, в ЦЕРНе, стартовал очередной проект – LHC Computing GRID (LCG, http://www. cern. ch/lcg), целью которого стало создание глобальной инфраструктуры региональных центров по хранению, обработке и анализу экспериментальных данных с сенсоров Огромного адронного коллайдера. LCG начал работать в сентябре 2003 года в составе 12 лабораторий мира, посреди которых был и русский веб-сайт (НИИЯФ МГУ). Следует особо отметить, что создаваемое в рамках ЕU-DataGRID и EGEE программное обеспечение и другие технологические решения (включая начальные коды) доступны и открыты для всех, и это типично для большинства ГРИД-проектов.

ГРИД-технологии только входят в нашу жизнь, но, по всей видимости, в самое последнее время многие из нас удостоверятся в новаторской полезности распределенного метакомпьютинга и в самой идее ГРИД-концепции — объединения способностей всех для решения задач каждого.

Вячеслав Ильин, д. ф.-м. н.,

Александр Крюков, к. ф.-м. н.,

Алексей Бойцов, д. ф.-м. н.

Другие статьи:
Интернет журнал НЛО МИР

Всего комментариев: 0

Оставить комментарий

*

code

Редакция рекомендует

close
x