[refactor] reorder and comment events

Reorder blocks of events, and comment about which user-specific info
it's being emitted with them.

[style] fix pep8

[pkg] migrate changelog to rst and fold in changes

Also, convert issues like #1234 to link pointing to issue tracker.

[docs] add next-changelog to changes/

[feature] add variable to skip twisted version

[pkg] rename extras to 'http'

and document the dependencies on the README.

[pkg] fold in changes

Workaround for deadlock problem in zmq auth

- See https://leap.se/code/issues/7536
- Actual root cause not identified yet

[bug] fix typo on dirname usage

[bug] fix wrong ca_cert path inside bundle

-Resolves: #7524

[bug] consider STANDALONE for the paths

Since we need to write a file we have to consider whether we are
running in 'standalone' mode or not to use the right path prefix.

- Related: #7512

[pkg] fold in changes

[refactor] move checking flag to main module

[tests] Make txclient honor flags.EVENTS_ENABLED

- Breaks tests in dependent repos like soledad otherwise,
  because server.key could not be found

[feat] expose async events in api

to make simpler the import of the tx client

- Related: #7274

[docs] add downloads badge

[docs] fix broken pypi badge

[style] pep8 fixes

[pkg] fold in changes

[tests] add pep8/flake8 ignores

[style] pep8 fix

[feature] allow passing callback to http client

[feat] WHEELHOUSE can be a url + --use-leap-wheels

--use-leap-wheels sets --trusted-host (remove it when we have a proper
  cert) and WHEELHOUSE to https://ftp.lizard.leap.se

Until we get ftp.lizard cname, use lizard as the wheels server.

[bug] HTTP timeout was not being cleared on abort

In case the http client loses connection, it has to clear
it's timeout or the reactor will be left in a dirty state
Fixing this solves a problem with some of the tests in Soledad
that were trying to run on a dirty reactor

[tests] ignore trial temp folder

[feat] use wheels to install dependencies

generate_wheels uses $WHEELHOUSE to generate and store the wheels for
requirements.pip and requirements-testing.pip (if it exists).

pip_install_requirements.sh installs requirements.pip from them if
possible (if not, then it fetches them from pypi) or, if passed the
--testing flag, it installs requirements-testing.pip.

[docs] remove ref to protobuf from README

we stopped using protobuf after the events submodule refactor

[bug] register and unregister controlled by flag

Since register and unregister cant be used without full zmq initialization,
it should make sense to also check flag for them.

[refactor] Extract flags check to caller

Checking was done inside of emit method. Doing on emit function at
a module level makes it cleaner with less lines inside of check.

[test] set flag before starting client

Test client will only start with flag set to True.
Change EventsGenericClientTestCase to set the flag on the
first line of setUp.

[bug] Consider events flag when ensuring client

Change EventsClientThread behavior so it won't start anymore if
the events flag is set to False

[style] more pep8 cleanup

[tests] add pep8 to requirements-testing

[pkg] add AUTHORS file + one-liner to generate it

[pkg] add script to install base requirements

- update pip
- install base reqs, with insecure flags for dirspec. fuck canonical.

[tests] fix initialization of basetest case

[style] fixed pep8 warnings on http and test events

[tests] fixed events tests

The events tests check for register and emit signals,
but because the flag set_events_enabled was False by
default in the tests, no signals were being emitted.

I added the flag to the setUp and tearDown of the tests,
they are still very slow but at least they are passing now

[tests] implemented http feature according to test

Two test cases were broken and were implemented here:

The first was that HTTPClient should share the connection between
clients if a pool was not passed explicitly. If you initialize an
HTTPClient without a pool, it will reuse a pool created on the class.

The second was that you should be able to pass to the HTTPCLient a pool
on initialization. Added that possibility and fixed the tests accordingly

[tests] set environment for certs test

[tests] added setuptools_trial so the tests run using python setup.py test

[style] fixed extra requires typo

[style] Fixed pep8 warnings

[bug] fix events ioloop client tests

The events ioloop client is not completelly thread safe, so we have to use
reactor.callFromThread whenever we need it to be thread-safe. Examples of this
behaviour are the events ioloop client tests that depend on the firing of
deferreds, which are not thread safe. This commit fixes tese tests.

[bug] add http request timeout

The connectTimeout parameter of twisted.web.client.Agent only acts on the
connection setup, and the Agent will wait forever for incoming data after the
connection has been established.

This commit adds a timeout for the connection, and will cancel the deferred if
the result has not been received after a certain number of seconds.

[feat] add close method for http agent

The ability to close cached connections is needed in order to have a clean
reactor when the program ends.

[feature] add global flag for disabling the events framework

this will be used to allow the unittests to disable the events
framework. this way, emit() will become a passthrough.

note that, until now, the basetest class is making use of the threaded
version of the client, which launches a zmq tornado-based ioloop. this
is wrong, and will have to be addressed in a future commit. we'll have
to make use of the global EVENTS_ENABLED flag in the txclient version
when those changes are made.

Related: #7259
Relases: 0.4.2

[bug] do not add a port string to non-tcp addresses

this, together with the events server registration, was breaking the
events signalling on the client whenever it used ipc:// sockets.

[refactor] remove use of reactor in threaded version of events client

the idea is that we'll be able to use the threaded version of the
client, which makes use of the tornado ioloop, in a non-twisted module,
like the main graphical client probably will be in the near future.

[pkg] fold in changes

[bug] run callback from thread in events client

[bug] allow passing ':0' as port in events address

Merge branch 'feature/post-sync-hooks' into develop

[bug] catch missing section header error

[feature] utility collect_plugins

to be used in post-sync hooks.

Related: #6996
Releases: 0.4.1

[bug] remove extraneous data from events logs

The emission of an event was being logged twice, and the second time was
logging the pickled content of the event. This pickled content contained line
breaks and other things that caused strange output on the client log.

This commit removes the second loggin of the event pickled content.

Closes #7130.

[bug] Makes request method respect a hard limit

Altough we specify maxPersistentPerHost, Twisted won't stop opening
connections after that. This limit is used just to keep the size of
persistent connections pool under control. Additional connections will be
made as non persistent. So, if we ask 10000 requests, it will open 10000
connections immediately and leave 10 open after all finished.
For checking this behavior, see getConnection from Twisted source:
http://twistedmatrix.com/trac/browser/tags/releases/twisted-15.2.1/twisted/web/client.py#L1203
I tested this by using http_target from soledad without a local database to
download all encrypted docs from one account with 1700 of them. The
program just hangs and crashes with 1000+ connections and "Too many
files open" warnings.
With this fix, it was able to download normally, respecting the
maxPersistentPerHost as a limiter. :)

[bug] allow ipc socket types

previous regex wasn't capturing addresses of type ipc://<path>

Closes: #7089

Merge tag '0.4.0' into develop

Tag leap.common version 0.4.0

[pkg] add pyzmq and txzmq dep versions

Merge branch 'shyba/feat/twisted_http_get' into develop

[feat] Make it optional to have a dedicated pool

As @meskio pointed out, some cases could need a dedicated pool with
different parameters.
This is a suggested implementation where the pool is reused by default,
creating a dedicated one just if needed/asked. This way we ensure that
resources are under control and special cases are still handled.

[bug] Use BrowserLikePolicyForHTTPS for checking

While testing the way that its implemented now, I found out that no check
is being made on certificate attributes against the host.
I found this simple way of creating a BrowserLikePolicyForHTTPS using
a self signed cert and it worked on my test. I used test_https from
Soledad for checking this (which we are fixing on another branch).

Also, we don't want to depend on twisted for other things than
leap.common.http.

[pkg] fold in changes

[bug] use dict keys to iterate

We ran into a RuntimeError yesterday on this line, the callback can
modify this dict and make the iteration raise an error. Using keys
method to iterate is safer.
See
http://stackoverflow.com/questions/11941817/python-runtimeerror-dictionary-changed-size-during-iteration-how-to-avoid-th/11941855#11941855

[feat] add initialization of events to BaseLeapTest

This is needed to get the tests working on environments where zmq was
not initalizated.

The environment variable XDG_CONFIG_HOME is set to get the leap
configuration in the temp folder.

[feat] refactor events to use ZMQ

Before this commit, protobuf and protobuf.socketrpc were used to serialize and
transmit messages between events clients. This change implements a simpler ZMQ
client/server events mechanism that uses ZMQ sockets for transmitting messages
from clients to server and to redistribute such messages to subscribed
clients.

Closes: #6359

[refactor] move http twisted code from soledad

Implements an HTTP client the twisted way, with a focus on pinning the
SSL certs.

* Related: #6506

[bug] get certificate times as UTC, add tests

The certificate validity times were converted to local time and later on
compared with UTC time, which caused the certificate not being updated
at the right times.
Add tests to be sure this is not happenning again.
Add a joint pem file for the existing cert and key files to ease test.

- Resolves: #6994

Fold in changes.

Consider different possibilities for tmpdir.

In some systems the used tmp dir is like '/tmp/leap_tests-asdf' and in
others is like '/tmp/username/leap_tests-asdf'.
With this fix we protect the home dir and consider different possible
temp directories.

Add support for deferreds to memoize_method decorator

Extract the environment set up and tear down for tests

Using trial there is no setUpClass neither tearDownClass, the setting up
of the environment needs to be in an external class to be able to call
it from inhereted classes.

Merge remote-tracking branch 'meskio/feature/cache_invalidation' into develop

Add invalidation timeout to cache

Merge branch 'release-0.3.9'

Fold in changes

Merge remote-tracking branch 'refs/remotes/kali/bug/install-pemfiles-data' into develop

include pemfile in the installed package

Merge remote-tracking branch 'chiiph/feature/cacert_osx' into develop

Look for cacert.pem in the Resources dir in OSX

Merge remote-tracking branch 'refs/remotes/meskio/doc' into develop

Update documentation about events/proto

Merge branch 'release-0.3.8'

Fold in changes

Merge remote-tracking branch 'refs/remotes/drebs/feature/5517_add-soledad-sync-status-signals' into develop

Add soledad sync status signals (#5517).

Merge remote-tracking branch 'chiiph-github/bug/improve_changelog_readability' into develop

Update changelog for improved readability

Merge remote-tracking branch 'refs/remotes/kali/fix-changelog-year' into develop

fix year in changelog

Merge branch 'release-0.3.7'

Fold in changes

Merge remote-tracking branch 'refs/remotes/drebs/feature/5191_add-soledad-invalid-auth-token-event' into develop

Add Soledad invalid auth token event (#5191).

Merge remote-tracking branch 'refs/remotes/ivan/feature/support-str-in-charset-detection' into develop

Support str type in email charset detection.

Merge remote-tracking branch 'refs/remotes/kali/bug/fix-memoize' into develop

add cache invalidation

Fix memoize decorator: raise instead of storing None

With this fix, we will re-raise an exception that happens
while evaluating the callable, instead of storing None as value.