buon lun

Giorno

Heylast!

Morgen

Qualcuno di voi ha mai dovuto fare roba "seria" su Spark? Sono indeciso se usare Clojure al posto di scala abbia senso...

@justalanm non so se sia pertinente, noi stiamo studiando Onyx (http://www.onyxplatform.org/) per la distributed computation

@mdallastella eh magari, purtroppo Spark è dato nel senso che abbiamo un cluster già montato e dobbiamo fare con quello che c'è (fra l'altro Spark 1.6...). Però a proposito di Onyx, mi pareva di aver capito che non c'è praticamente niente lato machine learning giusto?

In effetti no, sarebbe da accoppiare con qualche altra libreria (tipo la tua)

Onyx dà solo "l'infrastruttura" distribuita, poi la parte di calcolo devi un po' arrangiarti

Per quello che abbiamo visto finora, ovviamente

oh madonna… pensavo a Clojure su Sun Sparc Station e dicevo azz ma Java ci gira ancora? :rolling_on_the_floor_laughing:

Prima o poi troverò il tempo di provare Onyx che mi sembra molto più "leggero" di Spark (che effettivamente è un macchinone assurdo), ma ad ogni modo sono almeno riuscito a convincere i coworkers a lasciar perdere Python (PySpark), ma Flambo (https://github.com/yieldbot/flambo) mi sembra comunque molto macchinoso e non un miglioramento enorme rispetto all'API Scala

Io ho usato solo pyspark che a suo tempo era lento rispetto a scala ma adesso mi dicono che è migliorato molto

E non so dipende magari dal resto del codice che scrivete

Se avete gente di data science che sa python userei quello

Se siete clojuristi usa clojure