Scrapy Splash server che non viene avviato tramite il funzionamento del docker

Installato docker, scrapyjs e splash per le istruzioni di alexce qui .

Quindi, eseguendo il docker run -p 8050:8050 scrapinghub/splash , ottengo questa output:

 2016-05-08 17:17:45+0000 [-] Log opened. 2016-05-08 17:17:45.978866 [-] Splash version: 2.1 2016-05-08 17:17:45.979553 [-] Qt 5.5.1, PyQt 5.5.1, WebKit 538.1, sip 4.17, Twisted 16.1.1, Lua 5.2 2016-05-08 17:17:45.980138 [-] Python 3.4.3 (default, Oct 14 2015, 20:28:29) [GCC 4.8.4] 2016-05-08 17:17:45.980401 [-] Open files limit: 1048576 2016-05-08 17:17:45.981020 [-] Can't bump open files limit 2016-05-08 17:17:46.086232 [-] Xvfb is started: ['Xvfb', ':1', '-screen', '0', '1024x768x24'] 2016-05-08 17:17:46.161902 [-] proxy profiles support is enabled, proxy profiles path: /etc/splash/proxy-profiles 2016-05-08 17:17:46.260357 [-] verbosity=1 2016-05-08 17:17:46.260607 [-] slots=50 2016-05-08 17:17:46.261170 [-] argument_cache_max_entries=500 2016-05-08 17:17:46.262476 [-] Web UI: enabled, Lua: enabled (sandbox: enabled) 2016-05-08 17:17:46.264565 [-] Site starting on 8050 2016-05-08 17:17:46.265203 [-] Starting factory <twisted.web.server.Site object at 0x7f270ec81e10> 

E si blocca lassù. Ho provato la risoluzione dei problemi in base alle istruzioni qui (reinstallato docker, verificare vm è in esecuzione, rigenerare certs, impostare env), ma ancora nulla.

Il mio file delle impostazioni e Spider

Quando si esegue il ragno senza meta= parametro nella yield scrapy.Request' call within start_requests`, il ragno funziona bene (tranne che i campi dinamici non vengono catturati), quindi non sono sicuro se questo è un problema con docker o spruzzi.

Grazie in anticipo.

Quando si esegue Splash con Docker, la console, in un primo momento, sarà semplicemente "appeso". Splash è in attesa di una richiesta attraverso uno dei suoi endpoint.

 $ sudo docker run -p 8050:8050 scrapinghub/splash 2016-05-09 10:21:42+0000 [-] Log opened. 2016-05-09 10:21:42.773541 [-] Splash version: 2.1 2016-05-09 10:21:42.774298 [-] Qt 5.5.1, PyQt 5.5.1, WebKit 538.1, sip 4.17, Twisted 16.1.1, Lua 5.2 2016-05-09 10:21:42.774453 [-] Python 3.4.3 (default, Oct 14 2015, 20:28:29) [GCC 4.8.4] 2016-05-09 10:21:42.774632 [-] Open files limit: 1048576 2016-05-09 10:21:42.774842 [-] Can't bump open files limit 2016-05-09 10:21:42.879868 [-] Xvfb is started: ['Xvfb', ':1', '-screen', '0', '1024x768x24'] 2016-05-09 10:21:43.072351 [-] proxy profiles support is enabled, proxy profiles path: /etc/splash/proxy-profiles 2016-05-09 10:21:43.214478 [-] verbosity=1 2016-05-09 10:21:43.214617 [-] slots=50 2016-05-09 10:21:43.214703 [-] argument_cache_max_entries=500 2016-05-09 10:21:43.215195 [-] Web UI: enabled, Lua: enabled (sandbox: enabled) 2016-05-09 10:21:43.217494 [-] Site starting on 8050 2016-05-09 10:21:43.217635 [-] Starting factory <twisted.web.server.Site object at 0x7f529d0fee48> 

Per verificare se la function Splash è correttamente eseguita, prova all'interface utente web all'indirizzo http: // localhost: 8050 /

Dovresti vedere qualcosa di simile:

immettere qui la descrizione dell'immagine

E puoi quindi provare a inserire un URL e cliccando su "Rendi me!"