[bug] Makes request method respect a hard limit

Altough we specify maxPersistentPerHost, Twisted won't stop opening
connections after that. This limit is used just to keep the size of
persistent connections pool under control. Additional connections will be
made as non persistent. So, if we ask 10000 requests, it will open 10000
connections immediately and leave 10 open after all finished.
For checking this behavior, see getConnection from Twisted source:
http://twistedmatrix.com/trac/browser/tags/releases/twisted-15.2.1/twisted/web/client.py#L1203
I tested this by using http_target from soledad without a local database to
download all encrypted docs from one account with 1700 of them. The
program just hangs and crashes with 1000+ connections and "Too many
files open" warnings.
With this fix, it was able to download normally, respecting the
maxPersistentPerHost as a limiter. :)

[bug] allow ipc socket types

previous regex wasn't capturing addresses of type ipc://<path>

Closes: #7089

Merge tag '0.4.0' into develop

Tag leap.common version 0.4.0

[pkg] add pyzmq and txzmq dep versions

Merge branch 'shyba/feat/twisted_http_get' into develop

[feat] Make it optional to have a dedicated pool

As @meskio pointed out, some cases could need a dedicated pool with
different parameters.
This is a suggested implementation where the pool is reused by default,
creating a dedicated one just if needed/asked. This way we ensure that
resources are under control and special cases are still handled.

[bug] Use BrowserLikePolicyForHTTPS for checking

While testing the way that its implemented now, I found out that no check
is being made on certificate attributes against the host.
I found this simple way of creating a BrowserLikePolicyForHTTPS using
a self signed cert and it worked on my test. I used test_https from
Soledad for checking this (which we are fixing on another branch).

Also, we don't want to depend on twisted for other things than
leap.common.http.

[pkg] fold in changes

[bug] use dict keys to iterate

We ran into a RuntimeError yesterday on this line, the callback can
modify this dict and make the iteration raise an error. Using keys
method to iterate is safer.
See
http://stackoverflow.com/questions/11941817/python-runtimeerror-dictionary-changed-size-during-iteration-how-to-avoid-th/11941855#11941855

[feat] add initialization of events to BaseLeapTest

This is needed to get the tests working on environments where zmq was
not initalizated.

The environment variable XDG_CONFIG_HOME is set to get the leap
configuration in the temp folder.

[feat] refactor events to use ZMQ

Before this commit, protobuf and protobuf.socketrpc were used to serialize and
transmit messages between events clients. This change implements a simpler ZMQ
client/server events mechanism that uses ZMQ sockets for transmitting messages
from clients to server and to redistribute such messages to subscribed
clients.

Closes: #6359

[refactor] move http twisted code from soledad

Implements an HTTP client the twisted way, with a focus on pinning the
SSL certs.

* Related: #6506

[bug] get certificate times as UTC, add tests

The certificate validity times were converted to local time and later on
compared with UTC time, which caused the certificate not being updated
at the right times.
Add tests to be sure this is not happenning again.
Add a joint pem file for the existing cert and key files to ease test.

- Resolves: #6994

Fold in changes.

Consider different possibilities for tmpdir.

In some systems the used tmp dir is like '/tmp/leap_tests-asdf' and in
others is like '/tmp/username/leap_tests-asdf'.
With this fix we protect the home dir and consider different possible
temp directories.

Add support for deferreds to memoize_method decorator

Extract the environment set up and tear down for tests

Using trial there is no setUpClass neither tearDownClass, the setting up
of the environment needs to be in an external class to be able to call
it from inhereted classes.

Merge remote-tracking branch 'meskio/feature/cache_invalidation' into develop

Add invalidation timeout to cache

Merge branch 'release-0.3.9'

Fold in changes

Merge remote-tracking branch 'refs/remotes/kali/bug/install-pemfiles-data' into develop

include pemfile in the installed package

Merge remote-tracking branch 'chiiph/feature/cacert_osx' into develop

Look for cacert.pem in the Resources dir in OSX

Merge remote-tracking branch 'refs/remotes/meskio/doc' into develop

Update documentation about events/proto

Merge branch 'release-0.3.8'

Fold in changes

Merge remote-tracking branch 'refs/remotes/drebs/feature/5517_add-soledad-sync-status-signals' into develop

Add soledad sync status signals (#5517).

Merge remote-tracking branch 'chiiph-github/bug/improve_changelog_readability' into develop

Update changelog for improved readability

Merge remote-tracking branch 'refs/remotes/kali/fix-changelog-year' into develop

fix year in changelog

Merge branch 'release-0.3.7'

Fold in changes

Merge remote-tracking branch 'refs/remotes/drebs/feature/5191_add-soledad-invalid-auth-token-event' into develop

Add Soledad invalid auth token event (#5191).

Merge remote-tracking branch 'refs/remotes/ivan/feature/support-str-in-charset-detection' into develop

Support str type in email charset detection.

Merge remote-tracking branch 'refs/remotes/kali/bug/fix-memoize' into develop

add cache invalidation

Fix memoize decorator: raise instead of storing None

With this fix, we will re-raise an exception that happens
while evaluating the callable, instead of storing None as value.

Merge remote-tracking branch 'chiiph-github/bug/versioneer_windows' into develop

Use git.exe instead of git.cmd on windows since we use GitBash

Merge remote-tracking branch 'refs/remotes/kali/feature/memoize' into develop

Add a memoize_method decorator

Merge branch 'release-0.3.6'

Fold in changes

Merge remote-tracking branch 'refs/remotes/kali/bug/fix-missing-readme-while-pip' into develop

workaround for missing file during pip install

Merge remote-tracking branch 'kali/add-readme-to-manifest' into develop

add readme to manifest

Merge branch 'release-0.3.5'

Fold in changes

Merge remote-tracking branch 'chiiph/bug/refactor_mail_utils' into develop

Move get_email_charset to this module

Merge remote-tracking branch 'kali/add-debian-freezever' into develop

add freeze_debianver command to setup.py

Merge branch 'release-0.3.4'

Fold in changes

Merge remote-tracking branch 'kali/feature/cert_bundle' into develop

add ca-bundle with ca-cert

Merge branch 'release-0.3.3'

Fold in changes.

Merge remote-tracking branch 'drebs-github/bug/3515_events-server-test-fails' into develop

Fix events exception raising when ensuring server. Closes #3515.

Merge branch 'release-0.3.2' into develop

Merge branch 'release-0.3.2'

Fold in changes.

Merge remote-tracking branch 'kali/bug/renew-testing-certificates' into develop

fix testing certs with proper server use for localhost

Merge remote-tracking branch 'kali/bug/renew-testing-certificates' into develop

renew the certs used for testing

Merge remote-tracking branch 'kali/bug/fix-exception' into develop

change verbosity level in logging

cosmetic changes to imports

Fix Exception use

Merge remote-tracking branch 'ivan/bug/3606_make-base-config-test-pass' into develop

Update baseconfig tests to use schema correctly.

Merge remote-tracking branch 'ivan/feature/3574_path-prefix-with-dirspec' into develop

Use dirspec instead of plain xdg. Closes #3574.

Merge remote-tracking branch 'kali/hotfix/add-to-manifest'

add pkg, license and changelog to manifest

Merge remote-tracking branch 'kali/hotfix/add-to-manifest' into develop

trim license file

Merge remote-tracking branch 'kali/add-manifest' into develop

add manifest to gitignore

Merge branch 'release-0.3.1'

Fold in changes

Merge remote-tracking branch 'kali/feature/add_versioneer' into develop

Conflicts:
setup.py

Merge remote-tracking branch 'kali/bug/update_deps' into develop

Add versioneer to handle versioning here too.

Update requirements

* Use requirements.pip
* Update reqs

Merge remote-tracking branch 'chiiph-github/feature/add_unread_imap_event' into develop

Merge remote-tracking branch 'ivan/bug/add-missing-dependency' into develop

Add IMAP_UNREAD_MAIL event

Add libssl-dev requirement for pyOpenSSL.

Merge remote-tracking branch 'kali/feature/imap_keymanager_events' into develop