Ты мог бы поподробнее рассказать про требования? Я, например, со стоками никогда не имел дела, но я заинтригован.
У тебя одна поясняющая строчка для невеж вроде меня - "Они представляют из себя список пар (цена,объём) одинаковой длины, приходящий до нескольких раз в секунду. Длина списка составляет от 2 до 40 элементов." - этого недостаточно :)
Bid - это те предложения участников рынка, по которым они готовы купить инструмент. Ask - это предложения участников рынка, по которым они готовы продать.
Bid всегда (за исключением мутных случаев) больше чем Ask.
Итак: для каждого значения Stock надо хранить упорядоченный по Timestamp список рядов вида (Bid, Ask) где Bid и Ask - списки пар (price:num,volume:num) произвольной длины - но в пределах одного Stock длина всех Bid одинаковая и длина всех Ask тоже.
Выигрыш в хранении достигается за счет того, что списки Bid и списки Ask обладают локальностью, т.е. многие элементы списка совпадают у соседних timestamps.
Запросы такие: 1) создать курсор, перебрать последовательно все элементы 2) получить информацию о том, когда писалось, когда нет 3) получить курсор из п1, но ограниченный по времени 4) построить свечку, т.е. за период берется цена открытия, закрытия, максимальная, минимальная что бы отобразить график.
Значит перезаписывать файл. Значит иметь нехреновый шанс разломать вообще всё.
Не, нафиг. У нас весь контент append only, только индекс апдейтим. gzip означает огромный рост сложности вместе с необходимостью на каждом шагу думать: а вдруг выключат компьютер!
Comments 53
У тебя одна поясняющая строчка для невеж вроде меня - "Они представляют из себя список пар (цена,объём) одинаковой длины, приходящий до нескольких раз в секунду. Длина списка составляет от 2 до 40 элементов." - этого недостаточно :)
Reply
По сети приходит пакет, в котором (условно) закодированы такие штуки:
{market_data, Stock, Timestamp, Bid = [{Price1,Volume1},{Price2,Volume2},...], Ask = [{Price1,Volume1},{Price2,Volume2}]}
Bid - это те предложения участников рынка, по которым они готовы купить инструмент.
Ask - это предложения участников рынка, по которым они готовы продать.
Bid всегда (за исключением мутных случаев) больше чем Ask.
Эта штука называется стакан.
Соответственно строчку представляем в таком виде:
[Timestamp, BidPrice1*100,BidVolume1,BidPrice2*100,BidVolume2,...AskPrice1*100,BidVolume2,...]
Задача сводится к упаковке такой строки.
<<0:1,0:1, BitFlags:N/bitstring,TimestampDelta/binary,Delta1/binary, Delta2/binary,... >>
Так попонятнее?
Reply
Выигрыш в хранении достигается за счет того, что списки Bid и списки Ask обладают локальностью, т.е. многие элементы списка совпадают у соседних timestamps.
Правильно?
И еще вопрос - какого рода запросы делаются?
Reply
Запросы такие:
1) создать курсор, перебрать последовательно все элементы
2) получить информацию о том, когда писалось, когда нет
3) получить курсор из п1, но ограниченный по времени
4) построить свечку, т.е. за период берется цена открытия, закрытия, максимальная, минимальная что бы отобразить график.
Reply
https://github.com/sgdreamer7/tss
Reply
Reply
Reply
Reply
Reply
Reply
Reply
Reply
Не, нафиг. У нас весь контент append only, только индекс апдейтим. gzip означает огромный рост сложности вместе с необходимостью на каждом шагу думать: а вдруг выключат компьютер!
Reply
Reply
Reply
Leave a comment