Feature/int float types (#4)

* feat: support for int and float types

* feat: support for int and float types

* chores: `rubocop -a`

* chores: `rubocop -A`

* docs: update readme

Author: dineshgowda24

.rubocop.yml

@@ -70,3 +70,6 @@ Style/BlockDelimiters:
   Exclude:
     - spec/factories/**
     - Gemfile
+
+Style/HashSyntax:
+  EnforcedShorthandSyntax: never

README.md

@@ -70,9 +70,8 @@ avg_get:                                             0.000010   0.000044   0.000
 | Persistant                            | :white_check_mark: |
 | Get API                               | :white_check_mark: |
 | Put API                               | :white_check_mark: |
-| string data types for k/v             | :white_check_mark: |
+| int, float and string types for k/v   | :white_check_mark: |
 | CRC                                   | :white_check_mark: |
-| int, float, hash, array for k/v       | :x:                |
 | Directory Support                     | :x:                |
 | Delete API                            | :x:                |
 | File Merge                            | :x:                |

benchmark.rb

@@ -1,53 +1,55 @@
+# frozen_string_literal: true
+
 require 'benchmark'
 require 'faker'
 require_relative 'lib/bitcask'
 
-include Benchmark    
- 
+include Benchmark
+
 disk_store = Bitcask::DiskStore.new('bitcask_benchmark.db')
 value = Faker::Lorem.sentence(word_count: 10)
 
 puts "Benchmark for value size: #{value.length} bytes"
 
-Benchmark.benchmark(CAPTION, 50, FORMAT, "avg_put:", "avg_get:") do |benchmark|
-  tt_put_10k = benchmark.report("DiskStore#put : 10k records") do
+Benchmark.benchmark(CAPTION, 50, FORMAT, 'avg_put:', 'avg_get:') do |benchmark|
+  tt_put_10k = benchmark.report('DiskStore#put : 10k records') {
     10_000.times do |n_time|
-        disk_store.put("10_000" + n_time.to_s, value)
+      disk_store.put("10_000#{n_time}", value)
     end
-  end
+  }
 
-  tt_get_10k = benchmark.report("DiskStore#get : 10k records") do
+  tt_get_10k = benchmark.report('DiskStore#get : 10k records') {
     10_000.times do
-        disk_store.get("10_000" + rand(1..10_000).to_s)
+      disk_store.get("10_000#{rand(1..10_000)}")
     end
-  end
+  }
 
-  tt_put_100k = benchmark.report("DiskStore#put : 100k records") do
+  tt_put_100k = benchmark.report('DiskStore#put : 100k records') {
     100_000.times do |n_time|
-        disk_store.put("100_000" + n_time.to_s, value)
+      disk_store.put("100_000#{n_time}", value)
     end
-  end
+  }
 
-  tt_get_100k = benchmark.report("DiskStore#get : 100k records") do
+  tt_get_100k = benchmark.report('DiskStore#get : 100k records') {
     100_000.times do
-        disk_store.get("100_000" + rand(1..100_000).to_s)
+      disk_store.get("100_000#{rand(1..100_000)}")
     end
-  end
+  }
 
-  tt_put_1M = benchmark.report("DiskStore#put : 1M records") do
+  tt_put_1M = benchmark.report('DiskStore#put : 1M records') {
     1_000_000.times do |n_time|
-        disk_store.put("1_000_000" + n_time.to_s, value)
+      disk_store.put("1_000_000#{n_time}", value)
     end
-  end
+  }
 
-  tt_get_1M = benchmark.report("DiskStore#get : 1M records") do
+  tt_get_1M = benchmark.report('DiskStore#get : 1M records') {
     1_000_000.times do
-        disk_store.get("1_000_000" + rand(1..1_000_000).to_s)
+      disk_store.get("1_000_000#{rand(1..1_000_000)}")
     end
-  end
+  }
 
-  [(tt_put_10k+tt_put_100k+tt_put_1M)/(10_000+100_000+1_000_000).to_f, (tt_get_10k+tt_get_100k+tt_get_1M)/(10_000+100_000+1_000_000).to_f]
+  [(tt_put_10k + tt_put_100k + tt_put_1M) / (10_000 + 100_000 + 1_000_000).to_f,
+   (tt_get_10k + tt_get_100k + tt_get_1M) / (10_000 + 100_000 + 1_000_000).to_f]
 end
 
 File.delete('bitcask_benchmark.db')
-

image.png

@@ -34,7 +34,7 @@ def get(key)
     end
 
     def put(key, value)
-      size, data = serialize(epoc: Time.now.to_i, key:, value:)
+      size, data = serialize(epoc: Time.now.to_i, key: key, value: value)
 
       @key_dir[key] = key_struct(@write_pos, size, key)
       persist(data)
@@ -72,23 +72,30 @@ def incr_write_pos(pos)
     end
 
     def key_struct(write_pos, size, key)
-      OpenStruct.new(write_pos:, size:, key:)
+      OpenStruct.new(write_pos: write_pos, size: size, key: key)
     end
 
     def init_key_dir
       while (crc_and_header = @db_fh.read(crc32_header_offset))
 
         header = crc_and_header[crc32_offset..]
-        epoc, keysz, valuesz = deserialize_header(header)
+        epoc, keysz, valuesz, key_type, value_type = deserialize_header(header)
 
-        key = @db_fh.read(keysz)
-        value = @db_fh.read(valuesz)
+        key_raw = @db_fh.read(keysz)
+        value_raw = @db_fh.read(valuesz)
+
+        key_type = TYPES_LOOK_UP[key_type]
+        value_type = TYPES_LOOK_UP[value_type]
+
+        key = unpack(key_raw, key_type)
+        value = unpack(value_raw, value_type)
 
         crc = crc_and_header[..crc32_offset - 1]
-        raise Error('file corrupted') unless validate_crc32(desearlize_crc32(crc), header + key + value)
+        raise StandardError, 'file corrupted' unless validate_crc32(desearlize_crc32(crc),
+                                                                    header + key_raw + value_raw)
 
         size = crc32_header_offset + keysz + valuesz
-        @key_dir[key] = OpenStruct.new(write_pos: @write_pos, size:, key:)
+        @key_dir[key] = OpenStruct.new(write_pos: @write_pos, size: size, key: key)
         incr_write_pos(size)
       end
     end

lib/bitcask/disk_store.rb

@@ -4,19 +4,42 @@
 
 module Bitcask
   module Serializer
-    # tz, keysz, valuesz
-    # 3 - 32 bit unsigned long int with little endian byte order
-    # 3 - 32 bit unsigned long int = 12 bytes
-    HEADER_FORMAT = 'L<L<L<'
-    HEADER_SIZE = 12
+    # tz, keysz, valuesz, keytype, valuetype
+    # 3, 2 - 32, 16 bit unsigned long int with little endian byte order
+    HEADER_FORMAT = 'L<L<L<S<S<'
+    HEADER_SIZE = 16
 
     # 32 bit unsigned long int
     CRC32_FORMAT = 'L'
     CRC32_SIZE = 4
 
+    TYPES = {
+      'Integer' => 1,
+      'Float' => 2,
+      'String' => 3
+    }.freeze
+
+    TYPES_LOOK_UP = {
+      TYPES['Integer'] => 'Integer',
+      TYPES['Float'] => 'Float',
+      TYPES['String'] => 'String'
+    }.freeze
+
+    TYPES_FORMAT = {
+      TYPES['Integer'] => 'q<', # 64 bit signed long int
+      TYPES['Float'] => 'E' # 64 bit double
+    }.freeze
+
     def serialize(epoc:, key:, value:)
-      header = serialize_header(epoc:, keysz: key.length, valuesz: value.length)
-      data = key.encode('utf-8') + value.encode('utf-8')
+      key_type = key.class.to_s
+      value_type = value.class.to_s
+
+      key_raw = pack(key, key_type)
+      value_raw = pack(value, value_type)
+
+      header = serialize_header(epoc: epoc, keysz: key_raw.length, key_type: key_type, value_type: value_type,
+                                valuesz: value_raw.length)
+      data = key_raw + value_raw
 
       [crc32_header_offset + data.length, crc32(header + data) + header + data]
     end
@@ -27,23 +50,29 @@ def deserialize(data)
 
       return 0, '', '' unless validate_crc32(desearlize_crc32(crc_data), raw_data)
 
-      header_data = data[crc32_offset..header_offset - 1]
-      epoc, keysz, valuesz = deserialize_header(header_data)
+      header_data = data[crc32_offset..crc32_header_offset - 1]
+      epoc, keysz, valuesz, key_type, value_type = deserialize_header(header_data)
+
+      key_type = TYPES_LOOK_UP[key_type]
+      value_type = TYPES_LOOK_UP[value_type]
 
-      key = data[crc32_header_offset..crc32_header_offset + keysz - 1]
-      value = data[crc32_header_offset + keysz..]
+      key_raw = data[crc32_header_offset..crc32_header_offset + keysz - 1]
+      value_raw = data[crc32_header_offset + keysz..]
+
+      key = unpack(key_raw, key_type)
+      value = unpack(value_raw, value_type)
 
       [epoc, key, value]
     end
 
-    def serialize_header(epoc:, keysz:, valuesz:)
-      [epoc, keysz, valuesz].pack(HEADER_FORMAT)
+    def serialize_header(epoc:, key_type:, keysz:, value_type:, valuesz:)
+      [epoc, keysz, valuesz, TYPES[key_type], TYPES[value_type]].pack(HEADER_FORMAT)
     end
 
     def deserialize_header(header_data)
       header = header_data.unpack(HEADER_FORMAT)
 
-      [header[0], header[1], header[2]]
+      [header[0], header[1], header[2], header[3], header[4]]
     end
 
     def crc32_offset
@@ -69,5 +98,27 @@ def desearlize_crc32(crc_data)
     def validate_crc32(digest, data)
       digest == Zlib.crc32(data)
     end
+
+    def pack(attribute, attribute_type)
+      case attribute_type
+      when 'Integer', 'Float'
+        [attribute].pack(TYPES_FORMAT[TYPES[attribute_type]])
+      when 'String'
+        attribute.encode('utf-8')
+      else
+        raise StandardError, 'Invalid attribute_type'
+      end
+    end
+
+    def unpack(attribute, attribute_type)
+      case attribute_type
+      when 'Integer', 'Float'
+        attribute.unpack1(TYPES_FORMAT[TYPES[attribute_type]])
+      when 'String'
+        attribute
+      else
+        raise StandardError, 'Invalid attribute_type'
+      end
+    end
   end
 end

lib/bitcask/serializer.rb

@@ -18,7 +18,9 @@
       expect(subject.put(Faker::Lorem.word, Faker::Lorem.sentence(word_count: 10))).to be_nil
       expect(subject.put(Faker::Lorem.word, Faker::Lorem.sentence(word_count: 100))).to be_nil
       expect(subject.put(Faker::Lorem.word, Faker::Lorem.sentence(word_count: 1000))).to be_nil
-      expect(subject.put(Faker::Lorem.word, Faker::Lorem.sentence(word_count: 10_000))).to be_nil
+      expect(subject.put(rand(1..10_000), Faker::Lorem.sentence(word_count: 10_000))).to be_nil
+      expect(subject.put(rand(10.2..100.234), rand(1..10_000))).to be_nil
+      expect(subject.put(rand(1..10_000), rand(10.2..100.234))).to be_nil
     end
   end
 
@@ -37,6 +39,8 @@
           expect(subject.get('ut')).to eq('Voluptatum esse non vero ut vitae harum blanditiis ducimus vel nam rerum quia ipsa necessitatibus quo eaque animi ab voluptatem sed sunt non ipsam aut velit rerum perspiciatis quasi doloribus omnis eum et reprehenderit qui minima aut illo veritatis atque sequi quas eius consequatur magni saepe numquam molestias odio beatae quo maiores dignissimos illum aut sint qui porro sed in enim enim asperiores et tenetur voluptas maxime possimus quidem accusantium laudantium aliquam ipsum voluptates consequuntur et tempora cumque voluptatem dolor tempore sint nemo ex omnis repudiandae aliquid pariatur neque nostrum debitis odit qui nihil voluptatem minus temporibus voluptatem ut sit.')
           expect(subject.get('saepe')).to eq('Non autem magni non quaerat non eos enim amet qui molestiae pariatur quam rerum facilis nulla tempora reprehenderit ipsa rerum sunt ducimus aspernatur magni blanditiis blanditiis eveniet sed nobis quisquam iusto quia corporis in deleniti repellendus iure similique facere maxime beatae aut quidem fuga labore laborum reprehenderit suscipit eveniet molestias aspernatur vel minus sunt quo reprehenderit sint deserunt corporis velit hic recusandae et voluptatem ipsa dolores eos facere eum qui ut nam et aperiam voluptatibus minima laborum doloremque officiis optio eaque voluptatibus et sint dicta esse ab ex ut cumque temporibus alias voluptatum qui iusto laboriosam nihil qui veritatis aut pariatur et sint rerum fugiat reiciendis non quia atque blanditiis et suscipit unde magni iste ea voluptates ex ad expedita eum ut quasi et adipisci reiciendis et a earum enim excepturi autem vel accusantium qui veniam est qui odio voluptatem aut deleniti omnis quia placeat ut modi nostrum tempora est labore ipsa accusamus et sit eum delectus nobis dolores laboriosam omnis est sed voluptatem neque ut dicta et est et dolor vero quis praesentium minima ut voluptas omnis ut velit sed eum harum veniam dignissimos tempora aliquid et consectetur in ducimus cum molestiae dolor hic quisquam sed tenetur non quam eaque fugiat ea qui esse recusandae nisi officia provident dolores facere voluptatem corrupti distinctio magnam perferendis sunt soluta ut perspiciatis laudantium officia veniam quia magnam sunt libero corporis ut nisi est reprehenderit saepe ut debitis et eum ipsum illo iste animi expedita rerum totam et animi temporibus voluptatum minus amet illum inventore vel aut dolorem est necessitatibus rem fugit est omnis laudantium dolor fugit sit distinctio voluptates voluptatem aut exercitationem placeat rerum molestias corrupti earum impedit numquam minima eum voluptate in quasi illo quo veritatis perferendis et est numquam sit quo dolores dolorem animi consectetur voluptatem est expedita commodi reprehenderit inventore accusamus nostrum sapiente adipisci molestiae nam et itaque odit assumenda cupiditate deserunt vel aut cupiditate quidem quo ut dolores aut ut ad nihil aut dolores sed eaque modi molestiae debitis qui omnis eius dicta dolorem odit ut et eveniet et repellat sit omnis porro nemo qui ullam culpa explicabo accusantium omnis aut ipsum sed dignissimos odit fugit cumque harum nihil ut repudiandae nisi impedit aut dolor velit nemo a nulla facilis eum optio quaerat repellendus expedita dolores sunt perferendis ullam optio ullam consequatur iste id saepe officiis aspernatur ea rerum et nesciunt sit velit et dolorem quo quam alias in omnis et quos consequatur consequatur natus ut ut mollitia ut quae sed hic et ex quae ut libero doloremque unde rem esse sint maiores cumque maiores non ratione vitae perferendis ratione qui sapiente doloribus consequuntur consequatur dicta laudantium eligendi qui voluptas voluptate amet vel quas sunt qui similique tenetur culpa alias accusamus repellat eos sint facere qui labore facilis vitae aliquam voluptates ipsum voluptatem voluptate est dolorum autem quia illum ea aliquid molestias voluptatem ipsam atque eaque mollitia minus excepturi aliquam est iure impedit deleniti occaecati et nemo dignissimos totam illo laudantium temporibus magni suscipit tempora veritatis aut autem ut quis necessitatibus natus maiores dignissimos nulla alias adipisci recusandae quis doloribus ipsam consequatur et quis eum inventore et architecto neque at sed aliquam asperiores voluptatem vel libero asperiores natus tempore sint distinctio voluptatem est commodi sequi saepe molestiae tempora maxime dolor facilis nesciunt repudiandae corporis consequatur similique itaque eum tempore et ex ipsa deserunt possimus ullam odio aut repellat molestiae earum ea et sit doloribus provident fugit eveniet sit excepturi adipisci nostrum ab corrupti quia harum omnis quia non deleniti libero et maiores consequatur eligendi accusantium quod nihil minus ut dicta voluptatem dolor distinctio sit harum dolorum est tenetur itaque quia vel est ratione atque ex voluptas est aut molestiae est sapiente commodi saepe atque possimus rerum nihil aut neque eum repellat porro hic est debitis sequi qui optio nam tempore aut nobis assumenda blanditiis commodi occaecati reiciendis et fuga hic rerum aut aut nam ut doloribus assumenda sit assumenda et dolorem nobis error debitis maxime et quod commodi asperiores voluptas velit earum et delectus enim qui quod sit corporis est totam blanditiis mollitia dolores voluptatem consequatur sunt ut cumque a et id consequuntur molestias eos occaecati mollitia at pariatur nesciunt reiciendis corrupti voluptatibus quia laboriosam excepturi qui cum odit neque dolore accusamus cupiditate et veniam animi necessitatibus nesciunt totam dolorem qui ea dolorum doloribus et odio sit fugit eos facere culpa perspiciatis ipsa consequuntur modi velit quidem aperiam labore consequatur animi ipsam exercitationem sed ipsam aperiam labore at cum tenetur dolor provident consequatur nobis quibusdam quaerat vel alias deserunt sed voluptas et et consectetur consequatur quos deleniti in dolorum ab voluptates quo id expedita quas eius esse quo explicabo fuga tempore ut quo velit enim voluptatibus voluptas placeat voluptas id porro molestiae autem accusantium sed voluptas voluptatem maxime enim illum sint omnis qui aperiam aliquam quis aut voluptatum in aut recusandae illum quia et quae quaerat asperiores explicabo autem sunt recusandae accusamus eius praesentium qui in quis voluptas nulla aut magnam quia sapiente ea eius est error soluta autem molestias enim rerum quod sed laborum rem delectus ea adipisci rerum cumque id harum enim omnis repellat veniam sed nostrum numquam quas incidunt quibusdam esse similique nemo qui autem perspiciatis non pariatur et beatae nisi repellendus itaque officiis consequatur qui cum voluptatem et placeat non sed aspernatur amet unde aut suscipit cupiditate doloremque soluta veritatis magni nihil error et totam sint porro et nostrum aut unde officia dolorem quia unde corrupti libero rem et et natus est vero consectetur modi quibusdam voluptatem fugiat dolore incidunt reiciendis asperiores nihil veritatis amet velit quo et eligendi numquam in ea id ut iure id sequi in consequatur id facilis dolore voluptas voluptatem quia qui quibusdam qui quos exercitationem ad omnis vitae sunt voluptate qui quo aut quod possimus est quos dolorem quasi aspernatur provident beatae iusto officia nihil voluptatum et et praesentium explicabo ut itaque id laboriosam aliquid autem ipsum quos vero id inventore quis officiis ad temporibus quisquam sit deserunt fugiat incidunt repellendus cum magnam quidem enim consectetur maxime laborum rerum.')
           expect(subject.get('suscipit')).to eq('Quia sapiente maiores sunt.')
+          expect(subject.get(1)).to eq(10_000)
+          expect(subject.get(1.000)).to eq(10_000.000)
         end
       end
     end
@@ -57,17 +61,21 @@
       context 'when the key is present' do
         let(:key_1) { Faker::Lorem.word }
         let(:key_2) { Faker::Lorem.word }
+        let(:key_3) { rand(1..1000) }
         let(:value_1) { Faker::Lorem.sentence(word_count: 10_000) }
         let(:value_2) { Faker::Lorem.sentence(word_count: 100_000) }
+        let(:value_3) { rand(11.2...76.9) }
 
         before do
           subject.put(key_1, value_1)
           subject.put(key_2, value_2)
+          subject.put(key_3, value_3)
         end
 
         it 'returns value' do
           expect(subject.get(key_1)).to eq(value_1)
           expect(subject.get(key_2)).to eq(value_2)
+          expect(subject.get(key_3)).to eq(value_3)
         end
       end
     end
@@ -80,7 +88,7 @@
       context 'when the db file has data' do
         it 'returns an array of keys' do
           expect(subject.keys.length).to eq(5)
-          expect(subject.keys).to eq(%w[suscipit dolores ut saepe illo])
+          expect(subject.keys).to eq([1, 1.0, 'ut', 'saepe', 'suscipit'])
         end
       end
     end