Google File System ( GFS ) — распределенная файловая система , созданная компанией Google в 2000 году для своих внутренних потребностей. Используемая реализация является коммерческой тайной компании Google, однако общие принципы построения системы были опубликованы в 2003 году. Несовместима с POSIX , тесно интегрирована с MapReduce . Обновленная GFS второй версии (2009 год) имеет кодовое название Colossus.

GFS — кластерная система, оптимизированная для центрального хранилища данных Google и нужд поискового механизма , обладающая повышенной защитой от сбоев. Система предназначена для взаимодействия между вычислительными системами, а не между пользователем и вычислительной системой.

Вся информация копируется и хранится в трёх (или более) местах одновременно, при этом система способна очень быстро находить , если какая-то машина вышла из строя. Задачи автоматического восстановления после сбоя решаются с помощью программ, созданных по модели MapReduce .

В GFS файлы делятся на блоки данных ( англ. chunk — кусок) по 64 МБ (в первой версии, ориентированной на обслуживание поисковых индексов) или по 1 МБ (в более универсальной GFS 2.0) . При разработке ФС предполагалось, что файлы очень редко переписываются или уменьшаются в размере хранимых данных, а лишь читаются или увеличиваются в размере посредством добавления в конец новых данных.

Один из создателей — Говард Гобьов.

Примечания

Литература

• Ghemawat, Sanjay; Gobioff, Howard; Leung, Shun-Tak (2003), "The Google File System", (conference), Lake George, NY: The Association for Computing Machinery , CiteSeerX:10.1.1.125.789 {{ citation }} : Неизвестный параметр |month= игнорируется ( справка ) .

Ссылки

• , 29 октября 2009
• , by Marshall Kirk McKusick, Sean Quinlan, August 1, 2009