Deprecated repo

Merge tag '0.4.1'

Tag version 0.4.1

[pkg] Update changelog

[pkg] bump leap deps

[refactor] change IMAPAccount signature

for consistency with the previous Account change.

[bug] Adds user_id to Account

Previously Account used user id from the store, but this attribute is
optional and None by default. This caused the collection_mapping to be
unable to distinct between multiple users message collections.

This chance adds a non optional user_id attribute to Account and use it
to index the collection_mapping.

- Resolves: https://github.com/pixelated/pixelated-user-agent/issues/674
- Releases: 0.4.0

Remove leftover print statement

The print statement only printed a number. Seeing the print you cannot
know what was printed. Seems that this line was left during a debug
process.

[feature] use same token for imap/stmp authentication

This greatly simplifies the handling of the password in the thunderbird
extension.

Related: #6041

[pkg] update to versioneer 0.16

[feature] SMTP delivery bounces

We catch any error on SMTP delivery and format it as a bounce message
delivered to the user Inbox.

this doesn't comply with the bounce format, but it's a nice first start.
leaving proper structuring of the delivery failure report for future
iterations.

- Resolves: #7263

[style] pep8

[bug] Fix unread mails notification

this one was missing after the events refactor.

the bug is that client was discarding the first parameter, assuming it
was the userid.

[bug] let the inbox used in IncomingMail notify any subscribed Mailbox

the mail service uses an Account object created from scratch, so it
wasn't sharing the collections mapping with the other Account object
that is created in the IMAP Service.

I make it a class attribute to allow mailbox notifications.
However, with the transition to a single service tree, this class
attribute can again become a class instance.

This is somehow related to a PR proposed recently by cz8s in pixelated
team:
https://github.com/leapcode/leap_mail/pull/228

However, I'm reluctant to re-use IMAPMailbox instances, since they
represent concurrent views over the same collection. I believe that
sharing the same underlying collection might be enough.

[bug] emit imap-login event again

this was gone with the imap/cred refactor, but the client relies on it
to hide the 'congratulations!' welcome display on the mail widget.

[bug] Decode attached keys so they are recognized by keymanager

- Resolves: #7977

[bug] Fix IMAP fetch headers

- Resolves: #7898

Merge remote-tracking branch 'leapcode/pr/227' into develop

Fix pixelated repos reference on requirements

[style] pep8!

[bug] specify openssl backend explicitely

for some reason, available_backends does not work inside a frozen
PyInstaller binary.

- Resolves: #7952

[feat] use fingerprint instead of key_id to address keys

[bug] Use the right succeed function for passthrough encrypted email

- Resolves #7861

[feat] Use cryptography instead of pycryptopp to reduce dependencies.

* Resolves: #7889

[feat] Remove debug from walk

[style] fix pep8

Merge branch 'fix_tests' into develop

[tests] fix missing pycryptopp dependency and mock async calls

- leap_mail still uses pycryptopp and therefore still needs the
  dependency
- Keymanager calls to async HTTPClient had not been mocked, causing
  a test to fail
- fixed a pep8 warning

Merge branch 'verify_signature' into develop

[feat] Validate signature with attachments

- Create a new Generator that doesn't trim the headers
- Extract detached signature from message
- Convert message to the body an attachments level
- Add coment to the generator workaround and shows which python version
  has the patch

[feat] Verify plain text signed email

- Extract message serialization to a method
- Add new condition to verify signature on plain text mail
- Return InvalidSignature if cannot verify

[tests] make tests use dummy authentication

[feat] cred authentication for SMTP service

[style] pep8

[docs] add entry about cred-based token authentication to next-changelog

[fix] dummy credentials for tests

imap tests must be adapted, using a dummy credential checker.

[feat] credentials handling: use twisted.cred

[docs] document bugfix on pr 215 by bwagner

Fixed the get_body logic

It won't break anymore if the body is None, but will
return an empty body in that case

[feat] make events multi-user aware

- Resolves: #7656
- Releases: 0.4.1

[docs] add version badge for pypi

[pkg] fold in changes

[pkg] Add some entries to the CHANGELOG for 0.4.0 release

Releases: 0.4.0

[bug] fix slow appends

we were adding listeners for each mailbox instance, which was making
appends particularly slow, since the method that gets current count and
recent count is expensive and was being called way too many times.

[bug] fail gracefully if fetch fails

Related: #7495

[bug] signal expired auth token to the GUI

In case of InvalidAuthTokeError from soledad sync we need signal the GUI, so
it will request her to log in again.

- Resolves: #7430

[feat] disable local-only bind on docker container

- Related: #7471

[docs] update interfaces documentation

[refactor] avoid circular import due to rfc3156

[docs] update docs to 0.4.0 release

Merge remote-tracking branch 'leapcode/pr/206' into develop

[bug] Make _collection_mapping a instance variable

As a class variable multiple account instances share
mailboxes which is bad if its different users or tests

[style] fix pep8 warnings

[refactor] log the added key explicitely

[bug] don't extract openpgp header if valid attached key

The key extract should check first for attached keys and if this fails
then should try the OpenPGP header.

- Resolves: #7480

[bug] filter out Nones in the sequence of messages

[doc] document return values

[style] clean up incoming/service.py

[bug] don't fail importing mismatched attached key

We can't import attached keys with different email address than the
sender. Now we don't fail in this case, just log it.

- Resolves: #7454

[pkg] bump leap versions needed

[feat] use async events api

in this way, we're using twisted reactor instead of having another
thread with zmq's own copy of tornado ioloop.

Resolves: #7274

Merge pixelated's X-Leap-Encryption into develop

[feature] improve getmail utility

So now it:

- Accepts credentials in a file pointed by environment variable.
- Allows to specify the mailbox to select as a command line flag.
- Allows to select a given message by subject.

For example:

BITMASK_CREDENTIALS=/tmp/bm.secrets ./getmail --mailbox INBOX --subject
'test mail

The two flags are case-insensitive.

This is intended to be used as a helper in end-to-end tests.
Getting a message by subject it's suboptimal, but I think it's good
enough for our testing purposes right now.

Related: #7427

[style] fixing pep8 warnings

[feat] adding encryption header to msg before saving

This way we can tell if a message was originally encrypted, so that we
can show that information to the end user.

[pkg] fold in changes

[tests] properly skip not implemented tests, do not raise

[style] pep8 excludes + fixes

[docs] add folker to authors + pep8

[bug] Fix missing _normailize_dict in DocumentWrapper constructor.

In the constructor values already is normalized (i.e. with underscores),
while kwargs contains items that are not normalized (i.e. with dashes).
Joining the dicts resulted in two entries that only differed by dash or
underscores. The setattr then set the value that occurred later in
items, thereby sometimes overriding the correct value with the default
one.

[bug] Fix typo in content-transfer-encoding in walk.py.

The get_raw_docs method accesses header field content-transfer-encoding
using the string 'content-transfer-type' so the raw doc dict always ends
up with that value set to empty string.

[feat] WHEELHOUSE can be a url + --use-leap-wheels

--use-leap-wheels sets --trusted-host (remove it when we have a proper
cert) and WHEELHOUSE to https://ftp.lizard.leap.se

Until we get ftp.lizard cname, use lizard as the wheels server.

- Related: #7339

[style] pep8 fixes + pep8 script

[tests] Removed outdated test

This test was not updated for a while and it doesn't make sense
in this context, when we create acceptance tests we can make sure
we cover this feature

The issue for acceptance tests is:
https://leap.se/code/issues/7341

[tests] Skipped tests that were not implemented

Functionality that is not implemented should not fail, instead
it should be skipped until it is implemented.

Added a return to test_imap_store_fetch setup to make sure the deferred
is being handled

[tests] Added requirements-latest help HEAD development

Added requirements-latest to make sure we always use the
latest develop of all dependencies in an automated way

[feat] use wheels to install dependencies

generate_wheels uses $WHEELHOUSE to generate and store the wheels for
requirements.pip and requirements-testing.pip (if it exists).

pip_install_requirements.sh installs requirements.pip from them if
possible (if not, then it fetches them from pypi) or, if passed the
--testing flag, it installs requirements-testing.pip.

Related: #7327

Merge remote-tracking branch 'leapcode/pr/188' into develop

[bug] fixed syntax error in models.py

The lambdas take two args, so it needs to be a tuple.
Furthermore filter needs a collection.

[pkg] add script to install base requirements

- update pip
- install base reqs

[pkg] add AUTHORS file + one-liner to generate it

[pkg] separate leap requirements

this is part of a process to make the setup of the development mode less
troublesome. from now on, setting up a virtualenv in pure development
mode will be as easy as telling pip to just install the external
dependencies::

  pip install -r pkg/requirements.pip

and traversing all the leap repos for the needed leap dependencies doing::

  python setup.py develop

- Related: #7288

Changed imap tests and messages assigned lambdas to functions because of pep8

Transformed assigned lambdas to functions in models and test_models because of pep8

Pep8 warns about lambdas being assigned to a variable, changed walk and sync_hooks to lambdas to real functions

Updated pep8 and fixed import and line break warnings

Fixed all the pep8 warnings in the code

[docs] add some documentation about imap regression tests

This is quite manual for the moment being, and it's not integrated into
the unittests. But it is useful to have it documented, with some luck we
can automate the process even more and add it to the CI quite soon.

[tests] get REGRESSIONS_FOLDER from env var

in order to start with a fresh folder each time.
current test script has some troubles with dirty state.

[tests] add symlink to the nested sample file

[tests] new sample mail added

For #7244, this is needed for regression tests

[style] slightly more meaningful test module name

[debug] add some more debug info to the regressions script

[feature] add very basic support for message sequence numbers

this is just the bare minimum implementation of MSN (message sequence
numbers). It is not enough feature-wise, but I'm doing it now just to
support testing with the default imap client that we're using with the
regression tests.

[bug] Return the first cdoc if no body found

In the case of a message with just one non-text attachment, something
has to be returned for the body payload. (For instance, a message with
only one image).

[bug] do not raise if the pending insert cannot be removed

[bug] fix keyerror when inserting msg on pending_inserts dict

The decission to index the pending_inserts dict by message-id is a bit
brittle. I assume any well-formed message in the RealWorld (tm) will
have this header, but many samples used in the tests will break this
assumption.

[bug] workaround for off-by-one error on nested multipart

For some reason that I haven't discovered yet, nested multipart is
hitting an off-by-one error (that had been wrongly ammended in a
previous commit, breaking many other cases but fixing the particular
Mail.app sample I was working with). This is just a temporary hack
to make all the current regression tests happy, but further
investigation is needed to discover the cause of the off-by-one part
retrieval solved and correctly documented.

[bug] fix the rendering of nested multipart

This commit fix a very simplistic and until now broken handling of
nested multipart that went undetected due to the structure of the mails
used in tests until now.  Incidentally, the way that Mail.app structures
attachments made this bug noticeable.

There was also an off-by-one indexing error when retrieving the subpart
message for a given subpart.

Be aware that the current implementation will only handle correctly 2
levels of multipart nesting. Extending beyond in a more generic way will
need further work.

Closes: #7244

[pkg] bump dependencies

[pkg] fold in changes