Fork me on GitHub
#clojure-italy
<
2018-11-19
>
alan10:11:18

Qualcuno di voi ha mai dovuto fare roba "seria" su Spark? Sono indeciso se usare Clojure al posto di scala abbia senso...

mdallastella10:11:06

@justalanm non so se sia pertinente, noi stiamo studiando Onyx (http://www.onyxplatform.org/) per la distributed computation

alan10:11:41

@mdallastella eh magari, purtroppo Spark è dato nel senso che abbiamo un cluster già montato e dobbiamo fare con quello che c'è (fra l'altro Spark 1.6...). Però a proposito di Onyx, mi pareva di aver capito che non c'è praticamente niente lato machine learning giusto?

mdallastella10:11:34

In effetti no, sarebbe da accoppiare con qualche altra libreria (tipo la tua)

mdallastella10:11:25

Onyx dà solo "l'infrastruttura" distribuita, poi la parte di calcolo devi un po' arrangiarti

mdallastella10:11:45

Per quello che abbiamo visto finora, ovviamente

reborg10:11:02

oh madonna… pensavo a Clojure su Sun Sparc Station e dicevo azz ma Java ci gira ancora? :rolling_on_the_floor_laughing:

🎉 4
alan10:11:16

Prima o poi troverò il tempo di provare Onyx che mi sembra molto più "leggero" di Spark (che effettivamente è un macchinone assurdo), ma ad ogni modo sono almeno riuscito a convincere i coworkers a lasciar perdere Python (PySpark), ma Flambo (https://github.com/yieldbot/flambo) mi sembra comunque molto macchinoso e non un miglioramento enorme rispetto all'API Scala

4
andrea.crotti18:11:21

Io ho usato solo pyspark che a suo tempo era lento rispetto a scala ma adesso mi dicono che è migliorato molto

andrea.crotti18:11:34

E non so dipende magari dal resto del codice che scrivete

andrea.crotti18:11:14

Se avete gente di data science che sa python userei quello

andrea.crotti18:11:27

Se siete clojuristi usa clojure