[style] Fixed pep8 warnings
[leap_pycommon.git] / src / leap / common / http.py
1 # -*- coding: utf-8 -*-
2 # http.py
3 # Copyright (C) 2015 LEAP
4 #
5 # This program is free software: you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation, either version 3 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program. If not, see <http://www.gnu.org/licenses/>.
17 """
18 Twisted HTTP/HTTPS client.
19 """
20
21 try:
22     import twisted
23 except ImportError:
24     print "*******"
25     print "Twisted is needed to use leap.common.http module"
26     print ""
27     print "Install the extra requirement of the package:"
28     print "$ pip install leap.common[Twisted]"
29     import sys
30     sys.exit(1)
31
32
33 from leap.common.certs import get_compatible_ssl_context_factory
34
35 from zope.interface import implements
36
37 from twisted.internet import reactor
38 from twisted.internet import defer
39 from twisted.python import failure
40
41 from twisted.web.client import Agent
42 from twisted.web.client import HTTPConnectionPool
43 from twisted.web.client import _HTTP11ClientFactory as HTTP11ClientFactory
44 from twisted.web.client import readBody
45 from twisted.web.http_headers import Headers
46 from twisted.web.iweb import IBodyProducer
47 from twisted.web._newclient import HTTP11ClientProtocol
48
49
50 __all__ = ["HTTPClient"]
51
52
53 # A default HTTP timeout is used for 2 distinct purposes:
54 #   1. as HTTP connection timeout, prior to connection estabilshment.
55 #   2. as data reception timeout, after the connection has been established.
56 DEFAULT_HTTP_TIMEOUT = 30  # seconds
57
58
59 class HTTPClient(object):
60     """
61     HTTP client done the twisted way, with a main focus on pinning the SSL
62     certificate.
63
64     By default, it uses a shared connection pool. If you want a dedicated
65     one, create and pass on __init__ pool parameter.
66     Please note that this client will limit the maximum amount of connections
67     by using a DeferredSemaphore.
68     This limit is equal to the maxPersistentPerHost used on pool and is needed
69     in order to avoid resource abuse on huge requests batches.
70     """
71
72     def __init__(self, cert_file=None, timeout=DEFAULT_HTTP_TIMEOUT):
73         """
74         Init the HTTP client
75
76         :param cert_file: The path to the certificate file, if None given the
77                           system's CAs will be used.
78         :type cert_file: str
79         :param timeout: The amount of time that this Agent will wait for the
80                         peer to accept a connection and for each request to be
81                         finished. If a pool is passed, then this argument is
82                         ignored.
83         :type timeout: float
84         """
85
86         self._timeout = timeout
87         self._pool = self._createPool()
88         self._agent = Agent(
89             reactor,
90             get_compatible_ssl_context_factory(cert_file),
91             pool=self._pool,
92             connectTimeout=self._timeout)
93         self._semaphore = defer.DeferredSemaphore(
94             self._pool.maxPersistentPerHost)
95
96     def _createPool(self, maxPersistentPerHost=10, persistent=True):
97         pool = _HTTPConnectionPool(reactor, persistent, self._timeout)
98         pool.maxPersistentPerHost = maxPersistentPerHost
99         return pool
100
101     def _request(self, url, method, body, headers):
102         """
103         Perform an HTTP request.
104
105         :param url: The URL for the request.
106         :type url: str
107         :param method: The HTTP method of the request.
108         :type method: str
109         :param body: The body of the request, if any.
110         :type body: str
111         :param headers: The headers of the request.
112         :type headers: dict
113
114         :return: A deferred that fires with the body of the request.
115         :rtype: twisted.internet.defer.Deferred
116         """
117         if body:
118             body = _StringBodyProducer(body)
119         d = self._agent.request(
120             method, url, headers=Headers(headers), bodyProducer=body)
121         d.addCallback(readBody)
122         return d
123
124     def request(self, url, method='GET', body=None, headers={}):
125         """
126         Perform an HTTP request, but limit the maximum amount of concurrent
127         connections.
128
129         :param url: The URL for the request.
130         :type url: str
131         :param method: The HTTP method of the request.
132         :type method: str
133         :param body: The body of the request, if any.
134         :type body: str
135         :param headers: The headers of the request.
136         :type headers: dict
137
138         :return: A deferred that fires with the body of the request.
139         :rtype: twisted.internet.defer.Deferred
140         """
141         return self._semaphore.run(self._request, url, method, body, headers)
142
143     def close(self):
144         """
145         Close any cached connections.
146         """
147         self._pool.closeCachedConnections()
148
149 #
150 # An IBodyProducer to write the body of an HTTP request as a string.
151 #
152
153
154 class _StringBodyProducer(object):
155     """
156     A producer that writes the body of a request to a consumer.
157     """
158
159     implements(IBodyProducer)
160
161     def __init__(self, body):
162         """
163         Initialize the string produer.
164
165         :param body: The body of the request.
166         :type body: str
167         """
168         self.body = body
169         self.length = len(body)
170
171     def startProducing(self, consumer):
172         """
173         Write the body to the consumer.
174
175         :param consumer: Any IConsumer provider.
176         :type consumer: twisted.internet.interfaces.IConsumer
177
178         :return: A successful deferred.
179         :rtype: twisted.internet.defer.Deferred
180         """
181         consumer.write(self.body)
182         return defer.succeed(None)
183
184     def pauseProducing(self):
185         pass
186
187     def stopProducing(self):
188         pass
189
190
191 #
192 # Patched twisted.web classes
193 #
194
195 class _HTTP11ClientProtocol(HTTP11ClientProtocol):
196     """
197     A timeout-able HTTP 1.1 client protocol, that is instantiated by the
198     _HTTP11ClientFactory below.
199     """
200
201     def __init__(self, quiescentCallback, timeout):
202         """
203         Initialize the protocol.
204
205         :param quiescentCallback:
206         :type quiescentCallback: callable
207         :param timeout: A timeout, in seconds, for requests made by this
208                         protocol.
209         :type timeout: float
210         """
211         HTTP11ClientProtocol.__init__(self, quiescentCallback)
212         self._timeout = timeout
213         self._timeoutCall = None
214
215     def request(self, request):
216         """
217         Issue request over self.transport and return a Deferred which
218         will fire with a Response instance or an error.
219
220         :param request: The object defining the parameters of the request to
221                         issue.
222         :type request: twisted.web._newclient.Request
223
224         :return: A deferred which fires after the request has finished.
225         :rtype: Deferred
226         """
227         d = HTTP11ClientProtocol.request(self, request)
228         if self._timeout:
229             self._last_buffer_len = 0
230             timeoutCall = reactor.callLater(
231                 self._timeout, self._doTimeout, request)
232             self._timeoutCall = timeoutCall
233         return d
234
235     def _doTimeout(self, request):
236         """
237         Give up the request because of a timeout.
238
239         :param request: The object defining the parameters of the request to
240                         issue.
241         :type request: twisted.web._newclient.Request
242         """
243         self._giveUp(
244             failure.Failure(
245                 defer.TimeoutError(
246                     "Getting %s took longer than %s seconds."
247                     % (request.absoluteURI, self._timeout))))
248
249     def _cancelTimeout(self):
250         """
251         Cancel the request timeout, when it's finished.
252         """
253         if self._timeoutCall.active():
254             self._timeoutCall.cancel()
255             self._timeoutCall = None
256
257     def _finishResponse_WAITING(self, rest):
258         """
259         Cancel the timeout when finished receiving the response.
260         """
261         self._cancelTimeout()
262         HTTP11ClientProtocol._finishResponse_WAITING(self, rest)
263
264     def _finishResponse_TRANSMITTING(self, rest):
265         """
266         Cancel the timeout when finished receiving the response.
267         """
268         self._cancelTimeout()
269         HTTP11ClientProtocol._finishResponse_TRANSMITTING(self, rest)
270
271     def dataReceived(self, bytes):
272         """
273         Receive some data and extend the timeout period of this request.
274
275         :param bytes: A string of indeterminate length.
276         :type bytes: str
277         """
278         HTTP11ClientProtocol.dataReceived(self, bytes)
279         if self._timeoutCall and self._timeoutCall.active():
280             self._timeoutCall.reset(self._timeout)
281
282
283 class _HTTP11ClientFactory(HTTP11ClientFactory):
284     """
285     A timeout-able HTTP 1.1 client protocol factory.
286     """
287
288     def __init__(self, quiescentCallback, timeout):
289         """
290         :param quiescentCallback: The quiescent callback to be passed to
291                                   protocol instances, used to return them to
292                                   the connection pool.
293         :type quiescentCallback: callable(Protocol)
294         :param timeout: The timeout, in seconds, for requests made by
295                         protocols created by this factory.
296         :type timeout: float
297         """
298         HTTP11ClientFactory.__init__(self, quiescentCallback)
299         self._timeout = timeout
300
301     def buildProtocol(self, _):
302         """
303         Build the HTTP 1.1 client protocol.
304         """
305         return _HTTP11ClientProtocol(self._quiescentCallback, self._timeout)
306
307
308 class _HTTPConnectionPool(HTTPConnectionPool):
309     """
310     A timeout-able HTTP connection pool.
311     """
312
313     _factory = _HTTP11ClientFactory
314
315     def __init__(self, reactor, persistent, timeout):
316         HTTPConnectionPool.__init__(self, reactor, persistent=persistent)
317         self._timeout = timeout
318
319     def _newConnection(self, key, endpoint):
320         def quiescentCallback(protocol):
321             self._putConnection(key, protocol)
322         factory = self._factory(quiescentCallback, timeout=self._timeout)
323         return endpoint.connect(factory)