Specify Soledad document and MAC keys.
[leap_doc.git] / docs / design / soledad.md
1 @title = 'Soledad'
2 @summary = 'A server daemon and client library to provide client-encrypted application data that is kept synchronized among multiple client devices.'
3 @toc = true
4
5 Introduction
6 =====================
7
8 Soledad allows client applications to securely share synchronized document databases. Soledad aims to provide a cross-platform, cross-device, syncable document storage API, with the addition of client-side encryption of database replicas and document contents stored on the server.
9
10 Key aspects of Soledad include:
11
12 * **Client and server:** Soledad includes a server daemon and client application library.
13 * **Client-side encryption:** Soledad puts very little trust in the server by encrypting all data before it is synchronized to the server and by limiting ways in which the server can modify the user's data.
14 * **Local storage:** All data cached locally is stored in an encrypted database.
15 * **Document database:** An application using the Soledad client library is presented with a document-centric database API for storage and sync. Documents may be indexed, searched, and versioned.
16
17 The current reference implementation of Soledad is written in Python and distributed under a GPLv3 license.
18
19 Soledad is an acronym of "Synchronization of Locally Encrypted Documents Among Devices" and means "solitude" in Spanish.
20
21 Goals
22 ======================
23
24 **Security goals**
25
26 * *Client-side encryption:* Before any data is synced to the cloud, it should be encrypted on the client device.
27 * *Encrypted local storage:* Any data cached in the client should be stored in an encrypted format.
28 * *Resistant to offline attacks:* Data stored on the server should be highly resistant to offline attacks (i.e. an attacker with a static copy of data stored on the server would have a very hard time discerning much from the data).
29 * *Resistant to online attacks:* Analysis of storing and retrieving data should not leak potentially sensitive information.
30 * *Resistance to data tampering:* The server should not be able to provide the client with old or bogus data for a document.
31
32 **Synchronization goals**
33
34 * *Consistency:* multiple clients should all get sync'ed with the same data.
35 * *Sync flag:* the ability to partially sync data. For example, so a mobile device doesn't need to sync all email attachments.
36 * *Multi-platform:* supports both desktop and mobile clients.
37 * *Quota:* the ability to identify how much storage space a user is taking up.
38 * *Scalable cloud:* distributed master-less storage on the cloud side, with no single point of failure.
39 * *Conflict resolution:* conflicts are flagged and handed off to the application logic to resolve.
40
41 **Usability goals**
42
43 * *Availability*: the user should always be able to access their data.
44 * *Recovery*: there should be a mechanism for a user to recover their data should they forget their password.
45
46 **Known limitations**
47
48 * Currently, the server knows when the contents of a document have changed.
49 * Currently, there is no facility for sharing documents among multiple users.
50
51 **Non-goals**
52
53 * Soledad is not for filesystem synchronization, storage or backup. It provides an API for application code to synchronize and store arbitrary schema-less JSON documents in one big flat document database. One could model a filesystem on top of Soledad, but it would be a bad fit.
54 * Soledad is not intended for decentralized peer-to-peer synchronization, although the underlying synchronization protocol does not require a server. Soledad takes a cloud approach in order to ensure that a client has quick access to an available copy of the data.
55
56 Related software
57 ==================================
58
59 [Crypton](https://crypton.io/) - Similar goals to Soledad, but in javascript for HTML5 applications.
60
61 [U1DB](http://pythonhosted.org/u1db/) - Similar API as Soledad, without encryption.
62
63 [Firefox Sync](https://wiki.mozilla.org/Services/Sync) - A client-encrypted data sync from Mozilla, designed to securely synchronize bookmarks and other browser settings.
64
65 Soledad protocol
66 ===================================
67
68 Document API
69 -----------------------------------
70
71 Soledad's document API is similar to the [API used in U1DB](http://pythonhosted.org/u1db/reference-implementation.html).
72
73 * Document storage: `create_doc()`, `put_doc()`, `get_doc()`.
74 * Synchronization with the server replica: `sync()`.
75 * Document indexing and searching: `create_index()`, `list_indexes()`, `get_from_index()`, `delete_index()`.
76 * Document conflict resolution: `get_doc_conflicts()`, `resolve_doc()`.
77
78 For example, create a document, modify it and sync:
79
80     sol.create_doc({'my': 'doc'}, doc_id='mydoc')
81     doc = sol.get_doc('mydoc')
82     doc.content = {'new': 'content'}
83     sol.put_doc(doc)
84     sol.sync()
85
86 Storage secret
87 -----------------------------------
88
89 The `storage_secret` is a long, randomly generated key used to derive encryption keys for both the documents stored on the server and the local replica of these documents. The `storage_secret` is block encrypted using a key derived from the user's password and saved locally on disk in a file called `<user_uid>.secret`, which contains a JSON structure that looks like this:
90
91     {
92       "storage_secrets": {
93         "<secret_id>": {
94           "kdf": "scrypt",
95           "kdf_salt": "<b64 repr of salt>",
96           "kdf_length": <key_length>,
97           "cipher": "aes256",
98           "length": <secret_length>,
99           "secret": "<encrypted storage_secret>",
100         }
101       }
102       'kdf': 'scrypt',
103       'kdf_salt': '<b64 repr of salt>',
104       'kdf_length: <key length>,
105       '_mac_method': 'hmac',
106       '_mac': '<mac>'
107     }
108
109 The `storage_secrets` entry is a map that stores information about available storage keys. Currently, Soledad uses only one storage key per provider, but this may change in the future. The `storage_secrets` entry itself is MAC'ed to prevent tampering.
110
111 The following fields are stored for one storage key:
112
113 * `secret_id`: a handle used to refer to a particular `storage_secret` and equal to `sha256(storage_secret)`.
114 * `kdf`: the key derivation function to use. Only scrypt is currently supported.
115 * `kdf_salt`: the salt used in the kdf. The salt for scrypt is not random, but encodes important parameters like the limits for time and memory.
116 * `kdf_length`: the length of the derived key resulting from the kdf.
117 * `cipher`: what cipher to use to encrypt `storage_secret`. It must match `kdf_length` (i.e. the length of the derived_key).
118 * `length`: the length of `storage_secret`, when not encrypted.
119 * `secret`: the encrypted `storage_secret`, created by `sym_encrypt(cipher, storage_secret, derived_key)` (base64 encoded).
120
121 Other variables:
122
123 * `derived_key` is equal to `kdf(user_password, kdf_salt, kdf_length)`.
124 * `storage_secret` is equal to `sym_decrypt(cipher, secret, derived_key)`.
125
126 When a client application first wants to use Soledad, it must provide the user's password to unlock the `storage_secret`:
127
128     from leap.soledad.client import Soledad
129     sol = Soledad(
130         uuid='<user_uid>',
131         passphrase='<user_passphrase>',
132         secrets_path='~/.config/leap/soledad/<user_uid>.secret',
133         local_db_path='~/.config/leap/soledad/<user_uid>.db',
134         server_url='https://<soledad_server_url>',
135         cert_file='~/.config/leap/providers/<provider>/keys/ca/cacert.pem',
136         auth_token='<auth_token>',
137         secret_id='<secret_id>')  # optional argument
138
139
140 Currently, the `storage_secret` is shared among all devices with access to a particular user's Soledad database. See [Recovery and bootstrap](#Recovery.and.bootstrap) for how the `storage_secret` is initially installed on a device.
141
142 We don't use the `derived_key` as the `storage_secret` because we want the user to be able to change their password without needing to re-key.
143
144 Document encryption
145 ------------------------
146
147 Before a JSON document is synced with the server, it is transformed into a document that looks like this:
148
149     {
150       "_enc_json": "<ciphertext>",
151       "_enc_scheme": "symkey",
152       "_enc_method": "aes256ctr",
153       "_enc_iv": "<initialization_vector>",
154       "_mac": "<auth_mac>",
155       "_mac_method": "hmac"
156     }
157
158 About these fields:
159
160 * `_enc_json`: The original JSON document, encrypted and hex encoded. Calculated as:
161     doc_key = hmac(storage_secret[MAC_KEY_LENGTH:], doc_id)
162     ciphertext = hex(sym_encrypt(cipher, content, doc_key))
163 * `_enc_scheme`: Information about the encryption scheme used to encrypt this document (i.e.`pubkey`, `symkey` or `none`).
164 * `_enc_method`: Information about the block cipher that is used to encrypt this document.
165 * `_mac`: A MAC to prevent the server from tampering with stored documents. Calculated as:
166     mac_key = hmac(storage_secret[:MAC_KEY_LENGTH], doc_id)
167     _mac = hmac(doc_id|rev|ciphertext|_enc_scheme|_enc_method|_enc_iv, mac_key)
168 * `_mac_method`: The method used to calculate the mac above (currently hmac).
169
170 Other variables:
171
172 * `doc_key`: This value is unique for every document and only kept in memory. We use `doc_key` instead of simply `storage_secret` in order to hinder possible derivation of `storage_secret` by the server. Every `doc_id` is unique.
173 * `content`: equal to `sym_decrypt(cipher, ciphertext, doc_key)`.
174
175 When receiving a document with the above structure from the server, Soledad client will first verify that `_mac` is correct, then decrypt the `_enc_json` to find `content`, which it saves as a cleartext document in the local encrypted database replica.
176
177 Currently supported encryption ciphers are AES256 (CTR mode) and XSalsa20;
178 currently supported MAC method is HMAC.
179
180 Document synchronization
181 -----------------------------------
182
183 Soledad follows the U1DB synchronization protocol, with some changes:
184
185 * Add the ability to flag some documents so they are not synchronized by default (not fully supported yet).
186 * Refuse to synchronize a document if it is encrypted and the MAC is incorrect.
187 * Always use `https://<soledad_server_url>/user-<user_uid>` as the synchronization URL.
188
189
190     doc = sol.create_doc({'some': 'data'})
191     doc.syncable = False
192     sol.sync()  # will not send the above document to the server!
193
194 Document IDs
195 --------------------
196
197 Like U1DB, Soledad allows the programmer to use whatever ID they choose for each document. However, it is best practice to let the library choose random IDs for each document so as to ensure you don't leak information. In other words, leave the second argument to `create_doc()` empty.
198
199 Re-keying
200 -----------
201
202 Sometimes there is a need to change the `storage_secret`. Rather then re-encrypt every document, Soledad implements a system called "lazy revocation" where a new `storage_secret` is generated and used for all subsequent encryption. The old `storage_secret` is still retained and used when decrypting older documents that have not yet been re-encrypted with the new `storage_secret`.
203
204 Authentication
205 -----------------------
206
207 Unlike U1DB, Soledad only supports token authentication and does not support OAuth. Soledad itself does not handle authentication. Instead, this job is handled by a thin HTTP WSGI middleware layer running in front of the Soledad server daemon, which retrieves valid tokens from a certain shared database and compares with the user-provided token. How the session token is obtained is beyond the scope of Soledad.
208
209 Bootstrap and recovery
210 ------------------------------------------
211
212 Because documents stored on the server's database replica have their contents encrypted with keys based on the `storage_secret`, initial synchronizations of newly configured provider accounts are only possible if the secret is transferred from one device to another. Thus, installation of Soledad in a new device or account recovery after data loss is only possible if specific recovery data has previously been exported and either stored on the provider or imported on a new device.
213
214 Soledad may export a recovery document containing recovery data, which may be password-encrypted and stored in the server, or stored in a safe environment in order to be later imported into a new Soledad installation.
215
216 **Recovery document**
217
218 An example recovery document:
219
220     {
221         'storage_secrets': {
222             '<secret_id>': {
223                 'kdf': 'scrypt',
224                 'kdf_salt': '<b64 repr of salt>'
225                 'kdf_length': <key length>
226                 'cipher': 'aes256',
227                 'length': <secret length>,
228                 'secret': '<encrypted storage_secret>',
229             },
230         },
231         'kdf': 'scrypt',
232         'kdf_salt': '<b64 repr of salt>',
233         'kdf_length: <key length>,
234         '_mac_method': 'hmac',
235         '_mac': '<mac>'
236     }
237
238 About these fields:
239
240 * `secret_id`: a handle used to refer to a particular `storage_secret` and equal to `sha256(storage_secret)`.
241 * `kdf`: the key derivation function to use. Only scrypt is currently supported.
242 * `kdf_salt`: the salt used in the kdf. The salt for scrypt is not random, but encodes important parameters like the limits for time and memory.
243 * `kdf_length`: the length of the derived key resulting from the kdf.
244 * `length`: the length of the secret.
245 * `secret`: the encrypted `storage_secret`.
246 * `cipher`: what cipher to use to encrypt `secret`. It must match `kdf_length` (i.e. the length of the `derived_key`).
247 * `_mac_method`: The method used to calculate the mac above (currently hmac).
248 * `_mac`: Defined as `hmac(doc_id|rev|ciphertext, doc_key)`. The purpose of this field is to prevent the server from tampering with the stored documents.
249
250 Other fields we might want to include in the future:
251
252 * `expires_on`: the month in which this recovery document should be purged from the database. The server may choose to purge documents before their expiration, but it should not let them linger after it.
253 * `soledad`: the encrypted `soledad.json`, created by `sym_encrypt(cipher, contents(soledad.json), derived_key)` (base64 encoded).
254 * `reset_token`: an optional encrypted password reset token, if supported by the server, created by `sym_encrypt(cipher, password_reset_token, derived_key)` (base64 encoded). The purpose of the reset token is to allow recovery using the recovery code even if the user has forgotten their password. It is only applicable if using recovery code method.
255
256 **Recovery database**
257
258 In order to support easy recovery, the Soledad client stores a recovery document in a special recovery database. This database is shared among all users.
259
260 The recovery database supports two functions:
261
262 * `get_doc(doc_id)`
263 * `put_doc(doc_id, recovery_document_content)`
264
265 Anyone may preform an unauthenticated `get_doc` request. To mitigate the potential attacks, the response to queries of the discovery database must have a long delay of X seconds. Also, the `doc_id` is very long (see below).
266
267 Although the database is shared, the user must authenticate via the normal means before they are allowed to put a recovery document. Because of this, a nefarious server might potentially record which user corresponds to which recovery documents. A well behaved server, however, will not retain this information. If the server supports authentication via blind signatures, then this will not be an issue.
268
269
270 **Recovery code (yet to be implemented)**
271
272 We intend to offer data recovery by specifying username and a recovery code. The choice of type of recovery (using password or a recovery code) must be made in advance of attempting recovery (e.g. at some point after the user has Soledad successfully running on a device).
273
274 About the optional recovery code:
275
276 * The recovery code should be randomly generated, at least 16 characters in length, and contain all lowercase letters (to make it sane to type into mobile devices).
277 * The recovery code is not stored by Soledad. When the user needs to bootstrap a new device, a new code is generated. To be used for actual recovery, a user will need to record their recovery code by printing it out or writing it down.
278 * The recovery code is independent of the password. In other words, if a recovery code is generated, then a user changes their password, the recovery code is still be sufficient to restore a user's account even if the user has lost the password. This feature is dependent on the server supporting a password reset token. Also, generating a new recovery code does not affect the password.
279 * When a new recovery code is created, and new recovery document must be pushed to the recovery database. A code should not be shown to the user before this happens.
280 * The recovery code expires when the recovery database record expires (see below).
281
282 The purpose of the recovery code is to prevent a compromised or nefarious Soledad service provider from decrypting a user's storage. The benefit of a recovery code over the user password is that the password has a greater opportunity to be compromised by the server. Even if authentication is performed via Secure Remote Password, the server may still perform a brute force attack to derive the password.
283
284 Reference implementation of client
285 ===================================
286
287 https://github.com/leapcode/soledad
288
289 Dependencies:
290
291 * [U1DB](https://launchpad.net/u1db) provides an API and protocol for synchronized databases of JSON documents.
292 * [SQLCipher](http://sqlcipher.net/) provides a block-encrypted SQLite database used for local storage.
293 * python-gnupg
294 * scrypt
295 * pycryptopp
296
297 Local storage
298 --------------------------
299
300 U1DB reference implementation in Python has an SQLite backend that implements the object store API over a common SQLite database residing in a local file. To allow for encrypted local storage, Soledad adds a SQLCipher backend, built on top of U1DB's SQLite backend, which adds [SQLCipher API](http://sqlcipher.net/sqlcipher-api/) to U1DB.
301
302 **Responsibilities**
303
304 The SQLCipher backend is responsible for:
305
306 * Providing the SQLCipher API for U1DB (`PRAGMA` statements that control encryption parameters).
307 * Guaranteeing that the local database used for storage is indeed encrypted.
308 * Guaranteeing secure synchronization:
309   * All data being sent to a remote replica is encrypted with a symmetric key before being sent.
310   * Ensure that data received from remote replica is indeed encrypted to a symmetric key when it arrives, and then that it is decrypted before being included in the local database replica.
311 * Correctly representing and handling new Document properties (e.g. the `sync` flag).
312
313 Part of the Soledad `storage_key` is used directly as the key for the SQLCipher encryption layer. SQLCipher supports the use of a raw 256 bit keys if provided as a 64 character hex string. This will skip the key derivation step (PBKDF2), which is redundant in our case. For example:
314
315     sqlite> PRAGMA key = "x'2DD29CA851E7B56E4697B0E1F08507293D761A05CE4D1B628663F411A8086D99'";
316
317 **Classes**
318
319 SQLCipher backend classes:
320
321 * `SQLCipherDatabase`: An extension of `SQLitePartialExpandDatabase` used by Soledad Client to store data locally using SQLCipher. It implements the following:
322   * Need of a password to instantiate the db.
323   * Verify if the db instance is indeed encrypted.
324   * Use a LeapSyncTarget for encrypting content before synchronizing over HTTP.
325   * "Syncable" option for documents (users can mark documents as not syncable, so they do not propagate to the server).
326
327 Encrypted synchronization target
328 --------------------------------------------------
329
330 To allow for database synchronization among devices, Soledad uses the following conventions:
331
332 * Centralized synchronization scheme: Soledad clients always sync with a server, and never between themselves.
333 * The server stores its database in a CouchDB database using a REST API over HTTP.
334 * All data sent to the server is encrypted with a symmetric secret before being sent. Note that this ensures all data received by the server and stored in the CouchDB database has been encrypted by the client.
335 * All data received from the server is validated as being an encrypted blob, and then is decrypted before being stored in local database. Note that the local database provides a new encryption layer for the data through SQLCipher.
336
337 **Responsibilities**
338
339 Provide sync between local and remote replicas:
340
341 * Encrypt outgoing content.
342 * Decrypt incoming content.
343
344 **Classes**
345
346 Synchronization-related classes:
347
348 * `SoledadSyncTarget`: an extension of `HTTPSyncTarget` modified to encrypt documents' content before sending them to the network and to have more control of the syncing process.
349
350 Reference implementation of server
351 ======================================================
352
353 https://github.com/leapcode/soledad
354
355 Dependencies:
356
357 * [CouchDB](https://couchdb.apache.org/] for server storage, via [python client library](https://pypi.python.org/pypi/CouchDB/0.8).
358 * [Twisted](http://twistedmatrix.com/trac/) to run the WSGI application.
359 * scrypt
360 * pycryptopp
361 * PyOpenSSL
362
363 CouchDB backend
364 -------------------------------
365
366 In the server side, Soledad stores its database replicas in CouchDB servers. Soledad's CouchDB backend implementation is built on top of U1DB's `CommonBackend`, and stores and fetches data using a remote CouchDB server. It lacks indexing first because we don't need that functionality on server side, but also because if not very well done, it could lack sensitive information about document's contents.
367
368 CouchDB backend is responsible for:
369
370 * Initializing and maintaining the following U1DB replica data in the database:
371   * Transaction log.
372   * Conflict log.
373   * Synchronization log.
374 * Mapping the U1DB API to CouchDB API.
375
376 **Classes**
377
378 * `CouchDatabase`: A backend used by Soledad Server to store data in CouchDB.
379 * `CouchSyncTarget`: Just a target for syncing with Couch database.
380 * `CouchServerState`: Interface of the WSGI server with the CouchDB backend.
381
382 WSGI Server
383 -----------------------------------------
384
385 The U1DB server reference implementation provides for an HTTP API backed by SQLite databases. Soledad extends this with token-based auth HTTP access to CouchDB databases.
386
387 * Soledad makes use of `twistd` from Twisted API to serve its WSGI application.
388 * Authentication is done by means of a token.
389 * Soledad implements a WSGI middleware in server side that:
390   * Uses the provided token to verify read and write access to each user's private databases and write access to the shared recovery database.
391   * Allows reading from the shared remote recovery database.
392   * Uses CouchDB as its backend.
393
394 **Classes**
395
396 * `SoledadAuthMiddleware`: implements the WSGI middleware with token based auth as described before.
397 * `SoledadApp`: The WSGI application. For now, not different from `u1db.remote.http_app.HTTPApp`.
398
399 **Authentication**
400
401 Soledad Server authentication middleware controls access to user's private databases and to the shared recovery database. Soledad client provides a token for Soledad server that can check the validity of this token for this user's session by querying a certain database.
402
403 A valid token for this user's session is required for:
404
405 * Read and write access to this user's database.
406 * Read and write access to the shared recovery database.
407
408 Tests
409 ===================
410
411 To be sure the new implemented backends work correctly, we included in Soledad the U1DB tests that are relevant for the new pieces of code (backends, document, http(s) and sync tests). We also added specific tests to the new functionalities we are building.