IBM delegeert ruim 3.500 onderzoekers en ontwikkelaars naar Spark-gerelateerde projecten en is van plan om een Spark Technology Center op te richten in San Francisco, waar datawetenschappers en ontwikkelaars kunen samenwerken met IBM ontwerpers en architecten. Ook heeft IBM toegezegd om de SystemML machine-learning bibliotheken vrij te geven onder open source gebruiksvoorwaarden.
Spark is in 2009 uitgevonden door onderzoekers van de University of California in Berkeley onder leiding van Matei Zaharia en is twee jaar geleden aan Apache gedoneerd. Spark is geschreven in Java, Scala en Python en is een in-memory systeem voor de verwerking van grote datasets, en kan schalen tot meer dan 8.000 productie nodes.