MapReduce - История изменений

Afonbro: /* Пример */

2026-04-06T20:28:36Z

Пример

@@ Строка 42: / Строка 42: @@
          result += parseInt(v);
      Emit(AsString(result));
 </syntaxhighlight>

Patarakin в 04:47, 22 февраля 2026

2026-02-22T04:47:27Z

← Предыдущая версия		Версия от 07:47, 22 февраля 2026
Строка 2:		Строка 2:
	\|Description=MapReduce — модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, вплоть до нескольких петабайт, наборами данных в компьютерных кластерах.		\|Description=MapReduce — модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, вплоть до нескольких петабайт, наборами данных в компьютерных кластерах.
	\|Field_of_knowledge=Большие данные		\|Field_of_knowledge=Большие данные
			\|Environment=Hadoop
	}}		}}
	MapReduce — это фреймворк для вычисления некоторых наборов распределенных задач с использованием большого количества компьютеров (называемых «нодами»), образующих кластер.		MapReduce — это фреймворк для вычисления некоторых наборов распределенных задач с использованием большого количества компьютеров (называемых «нодами»), образующих кластер.

Patarakin в 11:52, 8 февраля 2026

2026-02-08T11:52:59Z

← Предыдущая версия		Версия от 14:52, 8 февраля 2026
Строка 7:		Строка 7:
	Работа MapReduce состоит из двух шагов: Map и Reduce, названных так по аналогии с одноименными функциями высшего порядка, map и reduce.		Работа MapReduce состоит из двух шагов: Map и Reduce, названных так по аналогии с одноименными функциями высшего порядка, map и reduce.

			=== Map ===
	На Map-шаге происходит предварительная обработка входных данных. Для этого один из компьютеров (называемый главным узлом — master node) получает входные данные задачи, разделяет их на части и передает другим компьютерам (рабочим узлам — worker node) для предварительной обработки.		На Map-шаге происходит предварительная обработка входных данных. Для этого один из компьютеров (называемый главным узлом — master node) получает входные данные задачи, разделяет их на части и передает другим компьютерам (рабочим узлам — worker node) для предварительной обработки.


			Стадия Map зачастую представляет собой обычное чтение с жёсткого диска. Кроме чтения здесь могут применяться однострочные трансформации и фильтры, т.е. операции без join, group by, order by, distinct и без агрегирующих функций. Данные зачастую сохранены равномерно на каждом сервере. Все серверы участвуют в этой стадии и делят нагрузку равномерно.

			=== Reduce ===
	На Reduce-шаге происходит свёртка предварительно обработанных данных. Главный узел получает ответы от рабочих узлов и на их основе формирует результат — решение задачи, которая изначально формулировалась.		На Reduce-шаге происходит свёртка предварительно обработанных данных. Главный узел получает ответы от рабочих узлов и на их основе формирует результат — решение задачи, которая изначально формулировалась.

			Здесь происходят все группирующие операции, а также операции, которые записывают результат. Некоторые операции не могут выполняться одновременно на нескольких серверах, поэтому для их выполнения требуется собрать весь объем данных на одном сервере.

	== Пример ==		== Пример ==

Patarakin: /* Пример */

2026-02-08T11:50:18Z

Пример

← Предыдущая версия		Версия от 14:50, 8 февраля 2026
Строка 15:		Строка 15:
	Канонический пример приложения, написанного с помощью MapReduce, — это процесс, подсчитывающий, сколько раз различные слова встречаются в наборе документов:		Канонический пример приложения, написанного с помощью MapReduce, — это процесс, подсчитывающий, сколько раз различные слова встречаются в наборе документов:

	<~~source~~ lang="c">		<syntaxhighlight lang="c" line>
	// Функция, используемая рабочими нодами на Map-шаге		// Функция, используемая рабочими нодами на Map-шаге
	// для обработки пар ключ-значение из входного потока		// для обработки пар ключ-значение из входного потока
Строка 35:		Строка 35:
	result += parseInt(v);		result += parseInt(v);
	Emit(AsString(result));		Emit(AsString(result));
	</~~source~~>		</syntaxhighlight>

Patarakin: Новая страница: «{{Понятие |Description=MapReduce — модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, вплоть до нескольких петабайт, наборами данных в компьютерных кластерах. |Field_of_knowledge=Большие данные }...»

2026-02-08T11:48:31Z

Новая страница: «{{Понятие |Description=MapReduce — модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, вплоть до нескольких петабайт, наборами данных в компьютерных кластерах. |Field_of_knowledge=Большие данные }...»

Новая страница

{{Понятие
|Description=MapReduce — модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, вплоть до нескольких петабайт, наборами данных в компьютерных кластерах.
|Field_of_knowledge=Большие данные
}}
MapReduce — это фреймворк для вычисления некоторых наборов распределенных задач с использованием большого количества компьютеров (называемых «нодами»), образующих кластер.

Работа MapReduce состоит из двух шагов: Map и Reduce, названных так по аналогии с одноименными функциями высшего порядка, map и reduce.

На Map-шаге происходит предварительная обработка входных данных. Для этого один из компьютеров (называемый главным узлом — master node) получает входные данные задачи, разделяет их на части и передает другим компьютерам (рабочим узлам — worker node) для предварительной обработки.

На Reduce-шаге происходит свёртка предварительно обработанных данных. Главный узел получает ответы от рабочих узлов и на их основе формирует результат — решение задачи, которая изначально формулировалась.

== Пример ==
Канонический пример приложения, написанного с помощью MapReduce, — это процесс, подсчитывающий, сколько раз различные слова встречаются в наборе документов:

<source lang="c">
// Функция, используемая рабочими нодами на Map-шаге
// для обработки пар ключ-значение из входного потока
void map(String name, String document):
// Входные данные:
// name - название документа
// document - содержимое документа
for each word in document:
EmitIntermediate(word, "1");

// Функция, используемая рабочими нодами на Reduce-шаге
// для обработки пар ключ-значение, полученных на Map-шаге
void reduce(Iterator partialCounts):
// Входные данные:
// partialCounts - список группированных промежуточных результатов. Количество записей в partialCounts и есть
// требуемое значение
int result = 0;
for each v in partialCounts:
result += parseInt(v);
Emit(AsString(result));
</source>