Попробую ответить с двух точек зрения - исходя из опыта использования железа для научных расчетов и с точки зрения максимальной универсальности проекта. Если говорить о научных расчетах и набирающих сейчас популярность приложениях глубокого обучения, то это будут GPU. Из пользовательских - лучше всего видеокарты серии GeForce от Nvidia (абсолютный лидер - новая архитектура Pascal, и у кого есть деньги на это - расчетные станции DGX-1). Но для глубокого обучения и других расчетных задач нужны GPU с разной архитектурой. Для глубокого обучения достаточно половинной точности, в то время как ряд научных задач вообще требуют двойную точность. Но, в целом, вероятно, в зависимости от приложений может быть востребовано самое различное железо (на нашей платформе и игровые серверы размещать можно будет).