{
 "vocabulary": "Llama 3",
 "original": {
  "file": "meta-llama/Llama-3.x tokenizer.json",
  "sha256": "e134af98b985517b4f068e3755ae90d4e9cd2d45d328325dc503f1c6b2d06cc7"
 },
 "tokenizer_json_sha256": "f687a257e9cc574c6a72fc32fb86ffbce8083e1cfc307dc5bbd9f8a7dff88bb1",
 "slots": 100,
 "removed_count": 0,
 "added": [
  {
   "entry": "�",
   "token": "á±",
   "merge": [
    "á",
    "±"
   ],
   "id": 128002
  },
  {
   "entry": "�",
   "token": "âµ",
   "merge": [
    "â",
    "µ"
   ],
   "id": 128003
  },
  {
   "entry": "་",
   "token": "à¼ĭ",
   "merge": [
    "à¼",
    "ĭ"
   ],
   "id": 128004
  },
  {
   "entry": "�",
   "token": "à¬",
   "merge": [
    "à",
    "¬"
   ],
   "id": 128005
  },
  {
   "entry": "�",
   "token": "â´",
   "merge": [
    "â",
    "´"
   ],
   "id": 128008
  },
  {
   "entry": "်",
   "token": "áĢº",
   "merge": [
    "áĢ",
    "º"
   ],
   "id": 128010
  },
  {
   "entry": "�",
   "token": "áĤ",
   "merge": [
    "á",
    "Ĥ"
   ],
   "id": 128011
  },
  {
   "entry": "�",
   "token": "áĪ",
   "merge": [
    "á",
    "Ī"
   ],
   "id": 128012
  },
  {
   "entry": "�",
   "token": "àŃ",
   "merge": [
    "à",
    "Ń"
   ],
   "id": 128013
  },
  {
   "entry": "�",
   "token": "áģ",
   "merge": [
    "á",
    "ģ"
   ],
   "id": 128014
  },
  {
   "entry": "�",
   "token": "à¾",
   "merge": [
    "à",
    "¾"
   ],
   "id": 128015
  },
  {
   "entry": "�",
   "token": "áī",
   "merge": [
    "á",
    "ī"
   ],
   "id": 128016
  },
  {
   "entry": "ས",
   "token": "ས",
   "merge": [
    "à½",
    "¦"
   ],
   "id": 128017
  },
  {
   "entry": "�",
   "token": "áĭ",
   "merge": [
    "á",
    "ĭ"
   ],
   "id": 128018
  },
  {
   "entry": "း",
   "token": "áĢ¸",
   "merge": [
    "áĢ",
    "¸"
   ],
   "id": 128019
  },
  {
   "entry": "�",
   "token": "áĬ",
   "merge": [
    "á",
    "Ĭ"
   ],
   "id": 128020
  },
  {
   "entry": "ە",
   "token": "Ûķ",
   "merge": [
    "Û",
    "ķ"
   ],
   "id": 128021
  },
  {
   "entry": "ა",
   "token": "áĥIJ",
   "merge": [
    "áĥ",
    "IJ"
   ],
   "id": 128022
  },
  {
   "entry": "ི",
   "token": "ི",
   "merge": [
    "à½",
    "²"
   ],
   "id": 128023
  },
  {
   "entry": "ག",
   "token": "à½Ĥ",
   "merge": [
    "à½",
    "Ĥ"
   ],
   "id": 128024
  },
  {
   "entry": "ә",
   "token": "ÓĻ",
   "merge": [
    "Ó",
    "Ļ"
   ],
   "id": 128025
  },
  {
   "entry": "ი",
   "token": "áĥĺ",
   "merge": [
    "áĥ",
    "ĺ"
   ],
   "id": 128026
  },
  {
   "entry": "ོ",
   "token": "ོ",
   "merge": [
    "à½",
    "¼"
   ],
   "id": 128027
  },
  {
   "entry": "ད",
   "token": "à½ij",
   "merge": [
    "à½",
    "ij"
   ],
   "id": 128028
  },
  {
   "entry": "တ",
   "token": "áĢIJ",
   "merge": [
    "áĢ",
    "IJ"
   ],
   "id": 128029
  },
  {
   "entry": "င",
   "token": "áĢĦ",
   "merge": [
    "áĢ",
    "Ħ"
   ],
   "id": 128030
  },
  {
   "entry": "ہ",
   "token": "Ûģ",
   "merge": [
    "Û",
    "ģ"
   ],
   "id": 128031
  },
  {
   "entry": "ိ",
   "token": "áĢŃ",
   "merge": [
    "áĢ",
    "Ń"
   ],
   "id": 128032
  },
  {
   "entry": "್",
   "token": "à³į",
   "merge": [
    "à³",
    "į"
   ],
   "id": 128033
  },
  {
   "entry": "ე",
   "token": "áĥĶ",
   "merge": [
    "áĥ",
    "Ķ"
   ],
   "id": 128034
  },
  {
   "entry": "བ",
   "token": "à½ĸ",
   "merge": [
    "à½",
    "ĸ"
   ],
   "id": 128035
  },
  {
   "entry": "မ",
   "token": "áĢĻ",
   "merge": [
    "áĢ",
    "Ļ"
   ],
   "id": 128036
  },
  {
   "entry": "ા",
   "token": "ા",
   "merge": [
    "àª",
    "¾"
   ],
   "id": 128037
  },
  {
   "entry": "్",
   "token": "à±į",
   "merge": [
    "à±",
    "į"
   ],
   "id": 128038
  },
  {
   "entry": "ု",
   "token": "áĢ¯",
   "merge": [
    "áĢ",
    "¯"
   ],
   "id": 128039
  },
  {
   "entry": "ང",
   "token": "à½Ħ",
   "merge": [
    "à½",
    "Ħ"
   ],
   "id": 128040
  },
  {
   "entry": "ན",
   "token": "à½ĵ",
   "merge": [
    "à½",
    "ĵ"
   ],
   "id": 128041
  },
  {
   "entry": "ུ",
   "token": "ུ",
   "merge": [
    "à½",
    "´"
   ],
   "id": 128042
  },
  {
   "entry": "ಿ",
   "token": "ಿ",
   "merge": [
    "à²",
    "¿"
   ],
   "id": 128043
  },
  {
   "entry": "ി",
   "token": "à´¿",
   "merge": [
    "à´",
    "¿"
   ],
   "id": 128044
  },
  {
   "entry": "ར",
   "token": "ར",
   "merge": [
    "à½",
    "¢"
   ],
   "id": 128045
  },
  {
   "entry": "්",
   "token": "à·Ĭ",
   "merge": [
    "à·",
    "Ĭ"
   ],
   "id": 128046
  },
  {
   "entry": "ր",
   "token": "ÖĢ",
   "merge": [
    "Ö",
    "Ģ"
   ],
   "id": 128047
  },
  {
   "entry": "ৰ",
   "token": "ৰ",
   "merge": [
    "à§",
    "°"
   ],
   "id": 128048
  },
  {
   "entry": "າ",
   "token": "າ",
   "merge": [
    "àº",
    "²"
   ],
   "id": 128049
  },
  {
   "entry": "ո",
   "token": "Õ¸",
   "merge": [
    "Õ",
    "¸"
   ],
   "id": 128050
  },
  {
   "entry": "ਾ",
   "token": "ਾ",
   "merge": [
    "à¨",
    "¾"
   ],
   "id": 128051
  },
  {
   "entry": "ေ",
   "token": "áĢ±",
   "merge": [
    "áĢ",
    "±"
   ],
   "id": 128052
  },
  {
   "entry": "ө",
   "token": "Ó©",
   "merge": [
    "Ó",
    "©"
   ],
   "id": 128053
  },
  {
   "entry": "ນ",
   "token": "àºĻ",
   "merge": [
    "àº",
    "Ļ"
   ],
   "id": 128054
  },
  {
   "entry": "་�",
   "token": "à¼ĭà½",
   "merge": [
    "à¼ĭ",
    "à½"
   ],
   "id": 128055
  },
  {
   "entry": "ⴰ",
   "token": "â´°",
   "merge": [
    "â´",
    "°"
   ],
   "id": 128056
  },
  {
   "entry": "ᱟ",
   "token": "ᱣ",
   "merge": [
    "á±",
    "Ł"
   ],
   "id": 128057
  },
  {
   "entry": "ⵏ",
   "token": "âµı",
   "merge": [
    "âµ",
    "ı"
   ],
   "id": 128058
  },
  {
   "entry": "ⵉ",
   "token": "âµī",
   "merge": [
    "âµ",
    "ī"
   ],
   "id": 128059
  },
  {
   "entry": "်�",
   "token": "áĢºáĤ",
   "merge": [
    "áĢº",
    "áĤ"
   ],
   "id": 128060
  },
  {
   "entry": "ⵙ",
   "token": "âµĻ",
   "merge": [
    "âµ",
    "Ļ"
   ],
   "id": 128061
  },
  {
   "entry": "್�",
   "token": "à³įà²",
   "merge": [
    "à³į",
    "à²"
   ],
   "id": 128062
  },
  {
   "entry": "ା",
   "token": "ା",
   "merge": [
    "à¬",
    "¾"
   ],
   "id": 128063
  },
  {
   "entry": "်း",
   "token": "áĢºáĢ¸",
   "merge": [
    "áĢº",
    "áĢ¸"
   ],
   "id": 128064
  },
  {
   "entry": "୍",
   "token": "àŃį",
   "merge": [
    "àŃ",
    "į"
   ],
   "id": 128065
  },
  {
   "entry": "ି",
   "token": "ି",
   "merge": [
    "à¬",
    "¿"
   ],
   "id": 128066
  },
  {
   "entry": "ႈ",
   "token": "áĤĪ",
   "merge": [
    "áĤ",
    "Ī"
   ],
   "id": 128067
  },
  {
   "entry": "ၼ",
   "token": "áģ¼",
   "merge": [
    "áģ",
    "¼"
   ],
   "id": 128068
  },
  {
   "entry": "్�",
   "token": "à±įà°",
   "merge": [
    "à±į",
    "à°"
   ],
   "id": 128069
  },
  {
   "entry": "ာ",
   "token": "áĢ¬",
   "merge": [
    "áĢ",
    "¬"
   ],
   "id": 128070
  },
  {
   "entry": "ⵜ",
   "token": "⵾",
   "merge": [
    "â",
    "µľ"
   ],
   "id": 128071
  },
  {
   "entry": "ེ",
   "token": "ེ",
   "merge": [
    "à½",
    "º"
   ],
   "id": 128072
  },
  {
   "entry": "ର",
   "token": "ର",
   "merge": [
    "à¬",
    "°"
   ],
   "id": 128073
  },
  {
   "entry": "ပ",
   "token": "áĢķ",
   "merge": [
    "áĢ",
    "ķ"
   ],
   "id": 128074
  },
  {
   "entry": "ს",
   "token": "áĥ¡",
   "merge": [
    "áĥ",
    "¡"
   ],
   "id": 128075
  },
  {
   "entry": "ү",
   "token": "Ò¯",
   "merge": [
    "Ò",
    "¯"
   ],
   "id": 128076
  },
  {
   "entry": "ి",
   "token": "à°¿",
   "merge": [
    "à°",
    "¿"
   ],
   "id": 128077
  },
  {
   "entry": "ི་",
   "token": "ིà¼ĭ",
   "merge": [
    "ི",
    "à¼ĭ"
   ],
   "id": 128078
  },
  {
   "entry": "ⵔ",
   "token": "âµĶ",
   "merge": [
    "âµ",
    "Ķ"
   ],
   "id": 128079
  },
  {
   "entry": "ા�",
   "token": "ાàª",
   "merge": [
    "ા",
    "àª"
   ],
   "id": 128080
  },
  {
   "entry": "འ",
   "token": "à½ł",
   "merge": [
    "à½",
    "ł"
   ],
   "id": 128081
  },
  {
   "entry": "ි",
   "token": "à·Ĵ",
   "merge": [
    "à·",
    "Ĵ"
   ],
   "id": 128082
  },
  {
   "entry": "ᱚ",
   "token": "á±ļ",
   "merge": [
    "á±",
    "ļ"
   ],
   "id": 128083
  },
  {
   "entry": "ⵓ",
   "token": "âµĵ",
   "merge": [
    "âµ",
    "ĵ"
   ],
   "id": 128084
  },
  {
   "entry": "ി�",
   "token": "à´¿à´",
   "merge": [
    "à´¿",
    "à´"
   ],
   "id": 128085
  },
  {
   "entry": "ⵎ",
   "token": "âµİ",
   "merge": [
    "âµ",
    "İ"
   ],
   "id": 128086
  },
  {
   "entry": "ե",
   "token": "Õ¥",
   "merge": [
    "Õ",
    "¥"
   ],
   "id": 128087
  },
  {
   "entry": "ྱ",
   "token": "ྱ",
   "merge": [
    "à¾",
    "±"
   ],
   "id": 128088
  },
  {
   "entry": "�",
   "token": "áĮ",
   "merge": [
    "á",
    "Į"
   ],
   "id": 128089
  },
  {
   "entry": "რ",
   "token": "áĥł",
   "merge": [
    "áĥ",
    "ł"
   ],
   "id": 128090
  },
  {
   "entry": "ལ",
   "token": "ལ",
   "merge": [
    "à½",
    "£"
   ],
   "id": 128091
  },
  {
   "entry": "္",
   "token": "áĢ¹",
   "merge": [
    "áĢ",
    "¹"
   ],
   "id": 128092
  },
  {
   "entry": "མ",
   "token": "à½ĺ",
   "merge": [
    "à½",
    "ĺ"
   ],
   "id": 128093
  },
  {
   "entry": "ু",
   "token": "à§ģ",
   "merge": [
    "à§",
    "ģ"
   ],
   "id": 128094
  },
  {
   "entry": "ն",
   "token": "Õ¶",
   "merge": [
    "Õ",
    "¶"
   ],
   "id": 128095
  },
  {
   "entry": "လ",
   "token": "áĢľ",
   "merge": [
    "áĢ",
    "ľ"
   ],
   "id": 128096
  },
  {
   "entry": "ᱮ",
   "token": "á±®",
   "merge": [
    "á±",
    "®"
   ],
   "id": 128097
  },
  {
   "entry": "ಿ�",
   "token": "ಿà²",
   "merge": [
    "ಿ",
    "à²"
   ],
   "id": 128098
  },
  {
   "entry": "ా",
   "token": "à°¾",
   "merge": [
    "à°",
    "¾"
   ],
   "id": 128099
  },
  {
   "entry": "ు",
   "token": "à±ģ",
   "merge": [
    "à±",
    "ģ"
   ],
   "id": 128100
  },
  {
   "entry": "ે",
   "token": "à«ĩ",
   "merge": [
    "à«",
    "ĩ"
   ],
   "id": 128101
  },
  {
   "entry": "ን",
   "token": "áĬķ",
   "merge": [
    "áĬ",
    "ķ"
   ],
   "id": 128102
  },
  {
   "entry": "က",
   "token": "áĢĢ",
   "merge": [
    "áĢ",
    "Ģ"
   ],
   "id": 128103
  },
  {
   "entry": "ു",
   "token": "àµģ",
   "merge": [
    "àµ",
    "ģ"
   ],
   "id": 128104
  }
 ],
 "removed": [],
 "measured": {
  "mean_premium_before": 2.988303020593612,
  "mean_premium_after": 2.717988866445699,
  "reduction": 0.09045741087335124,
  "reduction_ci95": null,
  "guards": {
   "G1": true,
   "G2": true,
   "G3": true,
   "G4": true,
   "languages_rising": 0,
   "worst_rise": null
  }
 }
}