Spark

Краткое описание инструмента	Apache Spark (от англ. spark — искра, вспышка) — фреймворк с открытым исходным кодом для реализации распределённой обработки данных, входящий в экосистему проектов Hadoop. В отличие от классического обработчика из ядра Hadoop, реализующего двухуровневую концепцию MapReduce с хранением промежуточных данных на накопителях, Spark работает в парадигме резидентных вычислений — обрабатывает данные в оперативной памяти, благодаря чему позволяет получать значительный выигрыш в скорости работы для некоторых классов задач, в частности, возможность многократного доступа к загруженным в память пользовательским данным делает библиотеку привлекательной для алгоритмов машинного обучения.
Возможности
Трудности использования
Область знаний	NetSci, Информатика, Лингвистика, Искусственный интеллект, Большие данные
Область применения
Поясняющее видео
Веб-сайт
Пользователи	Исследователи
Используется для создания (проведения)	аналитика
Разработчик
Сообщество вокруг средства
Лицензия
Год первого релиза	2014
Совместное сетевое использование	Нет
Какой язык основной	English
Есть ли поддержка Искусственным Интеллектом	Да

Spark + R

https://therinspark.com/ Mastering Spark with R

install.packages("sparklyr")
install.packages("dplyr")
library("sparklyr")
library("dplyr")
#--
spark_install()
sc <- spark_connect(master = "local")

Spark is built in the Scala programming language, which is run by the Java Virtual Machine (JVM), you also need to install Java 8 on your system.