Ребята, а кто тут по data.xml зипперам сможет подсказать? Почему clojure версия в >3x медленее python версии вот этого скрипта: clojure - https://gist.github.com/rmuslimov/9fccefd7b5528234ed07 python - https://gist.github.com/rmuslimov/5e4a7fbc2bd892b3f104 clojure ~ 1.06 sec, python - 0.37sec

причем если вынести zx/xml1-> до время кложи тает до 0.22 sec

@rmuslimov: Хм, странно. Т.е. почти секнду занимает именно поиск :body :tag?

а если переписать использую чисто zip/down, zip/next и циклом? Быстрее будет? Ну чтоб понять что проблема именно в xm1->

а большой xml?

сейчас перепишу да

там лежит >1K xml файлов разного размера

но вообще маленькие все

аа. Может связано тогда что кложура версия прочитывает весь файл в пямять, а питончик с хпатх - тока нужно

хз, теория

если сделать убержар то как будто кешируется и быстрее

java -jar ../target/uberjar/logprocessor-0.1.0-SNAPSHOT-standalone.jar "Elapsed time: 1029.173557 msecs" "Elapsed time: 624.421729 msecs" "Elapsed time: 598.651636 msecs" "Elapsed time: 600.90551 msecs" "Elapsed time: 631.414071 msecs" "Elapsed time: 519.10315 msecs"

ну все равно дофега

но вообще стыдно потому что этот xml1-> во всех туториалах по многу раз

в методах

дада

там кода то на самом деле 20 строк, должно работать так же быстро

Ну попробуй да на чистых зипперах, без хелперов. Если так же медленно - то тогда проблема по крайней мере не в xml->

ок

я использую зипперы счас много где, но до прода пока не дошло, поэтому не знаю про перформанс. Но когда в репле сижу то (я думал мне казалось) - иногда просиходили задержка на секунду может на простейших зиперах

или там хттп запросы были, чота не упомню уже

(defn get-xml-method-name2 [zipper] (-> zipper zip/down zip/right zip/down zip/down :tag))

такой же медленный

"Elapsed time: 1045.470172 msecs"

ага, гуд, проблема не в макросе

(defn get-xml-method-name3 [zipper] zipper)

а этот "Elapsed time: 242.988698 msecs"

о

а зиппер не ленивый случаем?

т.е. когда ты его не дергаешь, он и не делает ничо

хм а куда нужно посмотреть?

(defn get-zipper [filename] (-> filename io/file io/input-stream xml/parse zip/xml-zip))

по типу можно взглянуть наверно, сча исходник посмотрю

clojure.lang.PersisitentVector

хм, странно все это

в теории xpath будет работать быстрее зипперов, хотя не уверен на самом деле как она там работает, может через sax парсеры

может попрофайлеришь чтоб не гадать?

профайлерить это как нужно делать?

кто тут есть жмв опытом? какой профайлер можно поюзать?

а выложи пример хмл в тотже гист если можно

пока делать нечо с утра, поиграюсь

угу выложил

https://gist.github.com/rmuslimov/8c7dcd1e1f4c1da1b4ed

спасибо! Вы мне посоветуйте как профайл делать, я тоже завтра смогу с этим посидеть

вот тут друган посоветовал вот этот https://www.yourkit.com/

прикольно что я делаю один в один: парсю soap с помощью зипперов Но у меня CLJS на react-native, там вариантов не так много. А у тебя @rmuslimov какие причины? Для жавы же есть всякие wsdl генераторы?

пажди, не понимаю - как ты решаешь проблему namespaces? <SOAP-ENV:Body> не будет находиться если юзаешь просто :Body же

опа, а не в этом ли причина? Зиппер не находит ноду и вынужден пройти весь хмл, неа?

да вроде находит

точно?

а неа, отмена. Ты же грил что (-> zipper zip/down zip/right zip/down zip/down :tag)) тормозит ведь тоже

да, точно также

я тут поменял count на set

{:EndTransactionRQ :OTA_CancelRQ :ContextChangeRS :AddRemarkRS :SessionCloseRQ :OTA_HotelResRS :AddRemarkRQ :HotelPropertyDescriptionRS :ContextChangeRQ …..

просто чтоб показать что данные у него есть и парсится верно

> А у тебя @rmuslimov какие причины? Да, больше для интереса - хотел спарсить логи на AWS S3 и положить в ES

хм, странно - почему у меня не работало тада с неймспейсом…, хм, может руки кривые были

еще одна интересная деталь

(defn get-xml-method-name2 [zipper] (-> zipper zip/down zip/right zip/down zip/down :tag))

вот если убрать тут zip/right

то получается

> (parse-all) "Elapsed time: 382.461758 msecs"

а без него > (parse-all) "Elapsed time: 1131.099081 msecs"

несколько раз перезапускал

хм

@rmuslimov: твои замеры скорости довольно мало о чем говорят. используй https://github.com/hugoduncan/criterium для бенчей

ok

Evaluation count : 60 in 60 samples of 1 calls. Execution time mean : 1.157558 sec Execution time std-deviation : 51.014212 ms Execution time lower quantile : 1.086369 sec ( 2.5%) Execution time upper quantile : 1.249452 sec (97.5%) Overhead used : 9.041528 ns

да неа, когда разница в 10 раз то тут можно и так понять что проблема не в том как бенчится

хотя может prepor и прав - бенчить тоже надо уметь, я походу не умею:

(time (run! (fn[_](-> (zipper))) (range 1000)))
;; 314ms
(time (run! (fn[_](-> (zipper) zip/down zip/right)) (range 1000)))
;; 312ms

> да неа, когда разница в 10 раз то тут можно и так понять что проблема не в том как бенчится то что разница будет — понятно. но что бы валидно сравнивать цифры, следить за прогрессом — нужно бенчить так. разница может быть в те же 10 раз после прогрева жита, в зависимости от кода

ну ага, @rmuslimov показывал что при убержаре вторые итерации уже на 40% быстрее

А кто знает как в итоге xpath работает? Там через SAX парсер? Я могу же дать 40ГБ хмл и xpath запрос и любая либа радостно вернет мне все результаты не сжирая 40гб оперативы

вот кажется эти ребята тоже что то подозревают

https://github.com/akhudek/fast-zip

ну xpath это просто соглашение, может быть натянуто и поверх sax, и dom

т.е. получается парсинг самого xml тормозит?

странно что тогда просто (defn get-xml-method-name3 [zipper] zipper) в 4 раза быстрее

я не знаю, мне почему кажется что вот эти зиппер методы медленные

аа, или парсинг xml ленивый и каждый раз когда ты дергаешь zip/down, etc. ты в итоге дергаешь clojure.xml?

right left и т.п

Я xml толстенький обернутым saxon парсил и расковыривал. В clojure поддержка XML игрушечная и на конвертацию слишком много ресурсов надо. Можно наверно zippers поверх saxon сделать.

[clojure.zip :as zip]

ну я строку к зипперу привожу как: (xml/parse (new org.xml.sax.InputSource (new java.io.StringReader xml-s)))

но он возвращает полносью распарсенный xml, т.е. тупо мапу

там зиппер не может тормозить в принципе - по мапе пробежаться ничо не стоит вообще

@rmuslimov: Попробуй отделить зипперы от создания xml в твоем бенче

ааа, я уже ничо не понимаю - создание зиппера из строки стокже занимает скок и пройтись по зипперу. Все, я не умею бенчить, сливаюсь

да, перебросил создание зиппера - ничего не поменялось

спасибо за помощь - завтра продолжу ковыряться

можно вот это прочитать http://blog.korny.info/2014/03/08/xml-for-fun-and-profit.html, так чувак в конце как раз дамп вики на 42 гига парсит зипперами и ессно все ленивое, может в ленивости ответ

o, ok

оо, точняк, ускорил в 3 раза

lazy-parsing часть в этой статье

а неа, у тебя уже используется оно

А сделай на xpath для сравнения

http://ouicar.github.io/2016/02/05/bench-react.html

я чойта наверно устал сегодня уже

>(macroexpand `(-> {:a 2} identity))
(clojure.core/identity {:a 2})
>(macroexpand `(-> {:a 2} (fn[a] a)))
IllegalArgumentException Parameter declaration {:a 2} should be a vector  clojure.core/fn (core.clj:4375)

все, пора домой, репл устал или чо?

Use #()

(-> {:a 2} (fn[a] a)) ведет в (fn {:a 2} [a] a)

точно, еще пара скобок спасает

Макрос есть макрос - нашел форму - вставил

ну да ага, а еще такой вопрос: Как такое ((fn[x] {:a 22}) 22) перевести в # синтаксис?

ближайшее что я смог это (#(identity {:a %}) 22)

покороче низя никак?

constantly?

заместо identity? Дак на 2 длиннее даж

а, я глянул только на ((fn[x] {:a 22}) 22)`

где какбы x не участвовал :)

да, с параметром бы

тьфу, забыл задействовать)

(#({:a %}) 22)

yt

не

а зачем вообще?

ArityException Wrong number of args (0) passed to: PersistentArrayMap clojure.lang.AFn.throwArity (AFn.java:429)

можно просто (-> :a {:a 20})

или что тебе нужно?

да неа, мне не особо нужно - просто сделать анонимную функцию которая возвращает мапу можно использую либо fn синтаксис, либо с # но надо identity добавить

просто думал мож есть еще какие варианты

нет других вариантов

грусть печаль, петля и гроб

пойду пить

Мой вариант должен работать :)

в tryclj не работает

дак вот я тока что в репле прогнал

user=> (#({:a %}) 22) ArityException Wrong number of args (0) passed to: PersistentArrayMap clojure.lang.AFn.throwArity (AFn.java:429)

А сделай макроэкспанд

((fn* [p1__1279#] ({:a p1__1279#})) 22)

>(macroexpand `(#({:a %}) 22)) ((fn* [p1__4611__4612__auto__] ({:a p1__4611__4612__auto__})) 22)

проблема что он пытается ВЫЗВАТЬ хеш

без аргументов

Ах сцука какая тогда (#(hash :a %) 22)

;)

(#(hash-map :a %) 22)

работает ага

((fn[x] {:a x}) 22) (#(hash-map :a %) 22) еще длиннее чем с fn

пойду пить все равно. Всех с пятницей

в рф сегодня ложная пятница

это как ложные опята?

не после ложных опят не встают

Завтра рабочий день

Давайте hangout шедулить

а что у вас тут за хенгауты?

https://www.youtube.com/user/niquolaj/videos

интересненько

@michaelklishin Михаил, будешь гостем в clojure hangouts?