есть знание/понимание откуда они приходит и как формируются?

предположу что это nginx

и это его логи

да, все так, но я могу работать только с логами по факту то есть данные исторические и их надо отпроцессить

просто в таком случае у nginx есть настройка как форматировать логи... и было бы полезно ее знать 😉

я немного по другую сторону баррикад — занимаюсь аналитикой, поэтому на данном этапе ничего поделать с этим не могу

а стоп. это походу вообще raw-запросы...

сути не меняет, на самом деле. Данные только такие, и я решил поинтересоваться, есть ли простой способ их распарсить, а не городить очередной огород

еще как меняет

если есть raw-запрос... значит оно стандартизированно и существет 100500 готовых парсеров

http://lmgtfy.com/?q=parse+raw+http+request

а можно хотя бы один?)

да уж, в гугл отправили, спасибо

ну блиин...

если это аналитики точность не нужна - как уже говоирли регулярками

одной вырезать префикс, в нем урл, метод и HTTP/xxx (аля маркер)

python http parser первая ссылка

второй вырезать список вида "BlaBla: something is here"

тут проблема судя по всему, что вместо концов строк в логах идут пробелы. т.е. в общем случае нельзя выделить отдельные хидеры

X: A Y: B - это 1 или 2 хидера

ибо, насколько я помню. : никак в хидере не экранируется

в общем если так (похерились \r\n) - тогда регулярочками. если нет - любой готовый парсер или релугярочками

@rustam.gilaztdinov покажи пример лога)

https://github.com/mylesmegyesi/http-request-parser

На clojars есть https://clojars.org/org.clojars.mylesmegyesi/http-request-parser

https://github.com/http-kit/http-kit/blob/master/src/java/org/httpkit/server/HttpDecoder.java#L152

В серверах можно что-нибудь поискать и подергать)

Можно еще попробовать js библиотеку запустить в nashorn

я что-то пропустил, или ты так и не привел ниодного конкретного примера запроса? @rustam.gilaztdinov

что б хоть на глаз прикинуть чем попарсить было бы проще

пропустил) судя по тому, что меня отправляют в гугол, я туповат, поэтому буду бодаться сам

а дай-ка ссылочку на сообщение или на гист

или ты показал/удалил?

да, как-то потроха логов не хочу сильно светить. надеюсь, логгер этого слака не успел сдампить

ща гляну

2017-10-21 - самое свежее

да, тоже посмотрел)

да, ништяк, поговорили почему стоит писать на кложуре