«Система»

Моя диссертационная работа называется «архитектура распределённой системы в сети Интернет для анализа и обработки данных о поведении процессов». Подходящее название для этой системы не нашлось, поэтому все называют её просто Система. С большой буквы.

Существует потребность в анализе больших количеств экспериментальных данных разной физической природы, причём законы поведения соответствующих физических процессов неизвестны. Выход состоит в том, чтобы накапливать большую статистику поведения процессов и изучать её, используя инструментарий, основанный на нейронных сетях и генетических алгоритмах. Такому инструментарию свойственна, с одной стороны, большая вычислительная сложность, а с другой — широкие возможности для распараллеливания.

Задача состояла в том, чтобы разработать архитектуру и реализовать систему, позволяющую пользователям удалённо обрабатывать свои данные, используя вычислительные мощности факультетской локальной сети, а внутри сети организующей распределённое хранение данных и распределённые вычисления. При этом пользователи получают графический интерфейс для работы с данными, а программисты — API для подключения своих алгоритмов анализа данных, осуществляющий распределение данных и вычислений, кэширование и другие полезные функции.

Прототип такой системы был мной успешно создан. Система имеет трёхзвенную архитектуру клиент-сервер. Клиентская часть реализована в виде Java-апплета и запускается из-под любого современного браузера под управлением JRE 1.3+. Ядро системы представляет собой Java-сервлет, использующий реляционную СУБД для хранения служебной информации. На узлах сети устанавливаются веб-сервера со специальной конфигурацией, запускающие вычислительные модули как CGI-программы и организующие хранилище данных в виде файлов формата NetCDF. Также есть возможность работать с узлом, используя только шифрованное соединение с помощью ssh и scp, что иногда актуально.

Подробно о Системе можно почитать в моей статье, выйдущей в ближайшем номере «Вестника Московского Университета».