Usando Amazon SQS¶
Instalação
Para o suporte do Amazon SQS, você precisa instalar a biblioteca boto usando pip:
Configuração
Você precisa especificar SQS no URL do corretor:
onde o formato da URL é:
você deve se lembrar de incluir o & # 8220; & # 64; & # 8221; no fim .
As credenciais de login também podem ser definidas usando as variáveis de ambiente AWS_ACCESS_KEY_ID e AWS_SECRET_ACCESS_KEY, nesse caso, o URL do corretor só pode ser sqs: //.
Se você estiver usando as funções IAM em instâncias, você pode configurar o BROKER_URL para: sqs: // e o kombu tentará recuperar tokens de acesso dos metadados da instância.
Se você especificar as credenciais da AWS no URL do corretor, lembre-se de que a chave de acesso secreto pode conter caracteres inseguros que precisam ser codificados em URL.
Região
A região padrão é us-east-1, mas você pode selecionar outra região configurando a configuração broker_transport_options:
Uma visão geral das regiões do Amazon Web Services pode ser encontrada aqui:
Tempo limite de visibilidade¶¶
O tempo limite de visibilidade define o número de segundos para aguardar que o trabalhador confirme a tarefa antes que a mensagem seja redigitada para outro trabalhador. Veja também as ressalvas abaixo.
Esta opção é definida através da configuração broker_transport_options:
O tempo limite de visibilidade padrão é de 30 segundos.
Intervalo de Votação
O intervalo de pesquisa determina o número de segundos para dormir entre as pesquisas erradas. Esse valor pode ser um int ou um flutuador. Por padrão, o valor é de um segundo: isso significa que o trabalhador dormirá por um segundo quando não houver mais mensagens para ler.
Você deve notar que a pesquisa mais freqüente também é mais cara, então aumentar o intervalo de votação pode economizar dinheiro.
O intervalo de pesquisa pode ser definido através da configuração broker_transport_options:
Intervalos de polling muito freqüentes podem causar loops ocupados, resultando em um trabalhador usando muito tempo de CPU. Se você precisar de uma precisão de sub-milissegundo, considere usar outro transporte, como RabbitMQ & lt; broker-amqp & gt; , ou Redis & lt; broker-redis & gt; .
Prefix de Fila¶
Por padrão, o Celery ganhou & # 8217; t atribuir qualquer prefixo aos nomes das filas. Se você tiver outros serviços usando SQS, você pode configurá-lo, usando a configuração broker_transport_options:
Se uma tarefa não for reconhecida dentro do visibility_timeout, a tarefa será redelivered para outro trabalhador e executada.
Isso causa problemas com as tarefas de ETA / contagem regressiva / repetição, onde o tempo de execução excede o tempo limite de visibilidade; na verdade, se isso acontecer, ele será executado novamente, e novamente em um loop.
Então, você precisa aumentar o tempo limite de visibilidade para coincidir com o tempo da ETA mais longa que você planeja usar.
Observe que o Aipo redeliverá mensagens no desligamento do trabalhador, então, ter um longo período de tempo de visibilidade só atrasará a entrega da & # 8216; perdida & # 8217; tarefas em caso de falha de energia ou trabalhadores com extinção forçada.
Tarefas periódicas não serão afetadas pelo tempo de espera de visibilidade, pois é um conceito separado da ETA / contagem regressiva.
O tempo limite de visibilidade máximo suportado pela AWS a partir desta escrita é de 12 horas (43200 segundos):
O SQS ainda não suporta comandos de controle remoto do trabalhador.
SQS não tem eventos de suporte, e não pode ser usado com eventos de aipo, celerymon ou o monitor Django Admin.
Múltiplos produtos na família Amazon Web Services podem ser um bom candidato para armazenar ou publicar resultados com, mas não existe nenhum resultado desse resultado incluído neste momento.
Não use o backend do resultado amqp com o SQS.
Ele criará uma fila para cada tarefa e as filas não serão coletadas. Isso poderia custar-lhe dinheiro que seria melhor gasto, contribuindo com um backend da loja de resultados AWS de volta ao Celery :)
Broker_transport_options
Um dos primeiros tipos de URI que você provavelmente usará é um URI de transporte para se conectar a um corretor usando um tipo de transporte. Geralmente TCP ou VM são os primeiros transportes que você usará.
Tenha cuidado com o espaço em branco.
Todas as configurações URI a seguir são baseadas na classe java. URI que não permite o uso de espaços em branco. Então, se você estiver usando failover: ou & # 160; estática: URIs, não coloque qualquer espaço em branco ao redor do símbolo ','.
O AUTO Transport.
Começando com 5.13.0 O ActiveMQ possui suporte para a detecção automática de protocolo de fio por TCP, SSL, NIO e NIO SSL. & # 160; OpenWire, STOMP, AMQP e MQTT são suportados. & # 160; Para detalhes, veja a referência de transporte AUTO.
O VM Transport.
O transporte de VM permite que os clientes se conectem dentro da VM sem a sobrecarga da comunicação de rede. A conexão usada não é uma conexão de soquete, mas usa invocações de método direto para habilitar um sistema de mensagens incorporado de alto desempenho.
O primeiro cliente a usar a conexão da VM iniciará um corretor embutido. Conexões subseqüentes anexarão que o mesmo corretor. Uma vez que todas as conexões de VM para o corretor foram fechadas, o corretor embutido será encerrado automaticamente.
O transporte AMQP.
A partir de 5.8.0, o ActiveMQ possui suporte para o AMQP. Para obter detalhes, consulte a Referência de Transporte AMQP.
O Transporte MQTT.
Começando com 5.6.0 O ActiveMQ também suporta MQTT. É um transporte de mensagens leve / assinatura leve. Consulte a referência de transporte do MQTT para obter detalhes.
O TCP Transport.
O transporte TCP permite aos clientes conectar um ActiveMQ remoto usando um soquete TCP.
O NIO Transport.
O mesmo que o transporte TCP, exceto que o pacote New I / O (NIO) é usado, o que pode proporcionar um melhor desempenho. O pacote Java NIO não deve ser confundido com o pacote AIO4J da IBM.
Para mudar do TCP para o NIO, basta alterar a parte do esquema do URI. Aqui está um exemplo conforme definido no arquivo de configuração XML de um corretor.
Tentando usar nio url de transporte no lado do cliente instanciará o transporte TCP regular. Para obter mais informações, consulte o NIO Transport Reference.
O transporte SSL.
Isso permite que você converse sobre o TCP usando o SSL. Para obter mais informações, consulte Referência de transporte SSL.
O transporte NIO SSL.
Disponível desde 5.6.
Implementando o transporte SSL através do NIO. Isso permite que você conecte um grande número de clientes SSL a uma única instância de corretor. É somente a opção de transporte do lado do servidor.
Tentando usar nio + ssl url de transporte no lado do cliente instanciará o transporte SSL regular.
O Peer Transport.
O transporte Peer fornece uma rede peer-to-peer com ActiveMQ. O que realmente acontece é que o transporte de pares usa o transporte VM para criar e conectar-se a um corretor embutido local, mas que configura o corretor embutido para estabelecer conexões de rede com outros corretores incorporados.
O UDP Transport.
Isso permite que você converse sobre o UDP.
O Transporte Multicast.
Isso permite que você converse sobre Multicast.
O transporte HTTP e HTTPS.
Isso permite que o cliente e o corretor do ActiveMQ se tunelem por HTTP. Se o cliente não for JMS, talvez queira ver o suporte REST ou Ajax em vez disso.
O transporte do WebSockets.
Este transporte usa o novo HTML5 WebSockets para trocar mensagens com o corretor. Para obter mais informações, consulte Referência de transporte do WebSockets.
O Stomp Transport.
Um transporte de texto simples que pode ser usado com muitos idiomas. Veja & # 160; Stomp para mais detalhes.
URI de propósito geral.
Você pode configurar outros recursos através da sintaxe URI da seguinte maneira.
URI de configuração de conexão.
Qualquer conexão JMS do Apache ActiveMQ pode ser configurada usando o URL ou definindo explicitamente as propriedades nos objetos ActiveMQConnection ou ActiveMQConnectionFactory.
Opções de destino.
Você pode configurar várias opções relacionadas ao consumidor usando Opções de Destino que permitem configurar destinos usando a sintaxe URI.
URI de Configuração de Negociante.
Você pode usar um URI de Configuração de Broker para configurar um corretor incorporado, usando a classe auxiliadora BrokerFactory de Java ou usando o script de shell activemq. Para mais detalhes, veja Como executar um corretor.
Configurando formatos de fio.
Qualquer transporte que envolva mensagens de embarque em algum tipo de transporte de rede, como TCP ou UDP normalmente usará o formato OpenWire. Isso é configurável para personalizar como as coisas aparecem no fio.
URI de protocolo de alto nível.
Os seguintes protocolos de nível superior podem ser configurados via URI.
O Transporte de Failover.
As camadas de transporte de Failover reconectam a lógica em cima de qualquer outro transporte. Este é o que costumava ser o transporte confiável no ActiveMQ 3. Sua sintaxe de configuração permite que você especifique qualquer número de URIs composta. O transporte Failover escolhe aleatoriamente um dos URIs compostos e tenta estabelecer uma conexão com ele. Se não for bem-sucedido ou se posteriormente falhar, uma nova conexão é estabelecida para um dos outros URI na lista.
O Transporte Fanout.
As camadas de transporte Fanout reconectam e replicam a lógica em cima de qualquer outro transporte. É usado comandos replicados para vários corretores.
Usando o Discovery.
Muitas vezes, ao usar transportes como TCP, você deseja usar o Discovery para localizar os corretores disponíveis. Isso é diferente de usar, digamos, Multicast - como a comunicação principal real é sobre TCP, mas o multicast é usado exclusivamente para descobrir a localização dos corretores.
O Discovery Transport.
O transporte Discovery funciona como o transporte confiável, exceto que ele usa um agente de descoberta para localizar a lista de URIs para se conectar.
O Transporte ZeroConf.
O transporte ZeroConf fornece Discovery e funciona como o Discovery Transport, mas ao invés de usar nosso próprio mecanismo de descoberta baseado em multicast (o que permite configurar o endereço e a porta de multicast exatos, etc.), o transporte ZeroConf é usado.
Opções do lado do servidor.
Existem várias opções que podem ser usadas para alterar o comportamento no servidor para o & # 160; TransportConnector na configuração do corretor ActiveMQ. Esses são:
Isso está habilitado para o padrão para o transporte MQTT.
Link Stealing é onde a última das duas ou mais conexões com o mesmo id (clientID para JMS) é considerada a conexão válida eo mais antigo é fechado pelo corretor.
Se configurado, o endereço de descoberta de multicast para conexões de clientes para encontrar o corretor.
Monitorará as conexões para determinar se elas estão bloqueadas.
O nome do & # 160; Instância do TransportConnector.
Reequilibrará automaticamente clientes em todo o cluster em mudanças de topologia.
Se ativado, atualizará as conexões do cliente (se eles usarem o & # 160; failover: // transport) das mudanças para o cluster do corretor.
Atualizará os clientes se um corretor for removido do cluster.
Lista de expressões regulares separadas por vírgulas. Os corretores com um nome correspondente ao padrão serão incluídos para atualizações de clientes.
O endereço de ligação para o transporte.
Nota: as propriedades em vermelho são apenas as opções da versão 5.10 (e superior).
Pesquisa.
Sub Projetos.
Características.
Conectividade.
Usando o ActiveMQ 5.
Apoio, suporte.
Desenvolvedores.
Relatórios de projetos.
O Apache ActiveMQ, o ActiveMQ, o Apache, o logotipo da pena Apache e o logotipo do projeto Apache ActiveMQ são marcas comerciais da The Apache Software Foundation. Todas as outras marcas mencionadas podem ser marcas comerciais ou marcas registradas de seus respectivos proprietários.
Broker_transport_options
O transporte de VM permite que os clientes se conectem dentro da VM sem a sobrecarga da comunicação de rede. A conexão utilizada não é uma conexão de soquete, mas usa invocações de método direto que permite um sistema de mensagens incorporado de alto desempenho.
O primeiro cliente a usar a conexão da VM iniciará um corretor embutido. Conexões subseqüentes anexarão que o mesmo corretor. Uma vez que todas as conexões de VM para o corretor foram fechadas, o corretor embutido será encerrado automaticamente.
Sintaxe de Configuração do Simple Broker.
Esta é a sintaxe normal para uma conexão VM. É simples, mas fornece apenas uma quantidade limitada de configuração do corretor embutido.
Se você quiser se conectar a um corretor incorporado já instanciado (por exemplo, como no caso do Apache ServiceMix), verifique se o brokerName usado no vm: // brokerName url corresponde ao brokerName do corretor já executado.
Opções de transporte.
Se for verdade, força cada comando enviado sobre o transporte a ser organizado e desmarcado usando um WireFormat.
O nome do WireFormat para usar.
Todas as propriedades com este prefixo são usadas para configurar o wireFormat.
Se o corretor deve ser criado sob demanda, se ainda não existir.
Se & gt; 0, indica o tempo limite em milissegundos para aguardar o início de um corretor. Os valores -1 e 0 significam não aguardar. Apenas suportado no ActiveMQ 5.2+
Todas as propriedades com este prefixo são usadas para configurar o corretor. Consulte Configuração de formatos de fio para obter mais informações.
Exemplo URI.
Tenha cuidado com corretores embutidos.
Se você estiver usando o transporte de VM e deseja configurar explicitamente um Embedded Broker, há chances de criar as conexões JMS primeiro antes do corretor iniciar. Atualmente, o ActiveMQ criará automaticamente um corretor se você usar o transporte VM e não há um já configurado. (Em 5.2, é possível usar waitForStart e criar = opções falsas para a conexão uri)
Então, para contornar isso, se você estiver usando o Spring, talvez queira usar o atributo dependente para que o seu JMS ConnectionFactory dependa do corretor incorporado para evitar isso. por exemplo.
Sintaxe de Configuração do Broker Avançado.
Esta é a sintaxe avançada para uma conexão VM. Isso permite que você configure o corretor de forma mais extensiva usando um URI de Configuração de Negociante.
Opções de transporte.
Se for verdade, força cada comando enviado sobre o transporte a ser organizado e desmarcado usando um WireFormat.
O nome do WireFormat para usar.
Todas as propriedades com este prefixo são usadas para configurar o wireFormat.
Existem mais opções para otimizar o uso do transporte VM.
Exemplo URI.
Configurando um corretor incorporado usando um arquivo de configuração externo.
& # 160; Para iniciar um corretor incorporado usando o transporte vm e configurá-lo usando um arquivo de configuração externo (ou seja, activemq. xml), use o seguinte URI:
Pesquisa.
Sub Projetos.
Características.
Conectividade.
Usando o ActiveMQ 5.
Apoio, suporte.
Desenvolvedores.
Relatórios de projetos.
O Apache ActiveMQ, o ActiveMQ, o Apache, o logotipo da pena Apache e o logotipo do projeto Apache ActiveMQ são marcas comerciais da The Apache Software Foundation. Todas as outras marcas mencionadas podem ser marcas comerciais ou marcas registradas de seus respectivos proprietários.
Opções de transporte de celery broker.
Descrição.
Para usar o CeleryExecutor com um corretor da Redis Sentinel, o Celery deve ser fornecido com um dicionário de broker_transport_options com um par de chave / valor informando o nome do serviço de redis desejado. Deve haver uma opção de corretor_transport na seção Aipo de airflow. cfg e CeleryExecutor deve passar as opções para a configuração do trabalhador apio.
Problema Links.
O trabalho de preenchimento do AIRFLOW-1494 falhou porque o novo recomeço aparece quando um trabalho válido está sendo executado.
O trabalho de preenchimento de AIRFLOW-1555 é morto 1 hora após o início.
Os trabalhos do AIRFLOW-1131 DockerOperator expiram e ficam presos em & quot; running & quot; para sempre.
Os trabalhos do AIRFLOW-1131 DockerOperator expiram e ficam presos em & quot; running & quot; para sempre.
Todos os comentários Histórico do histórico de trabalho transições de atividades.
+1 Isso também afeta o Aipo no SQS, broker_transport_options são usados para selecionar a região para operar.
Cometa aa737a582c687e7105ef934ffc4da3dc78438235 em ramos / cabeças / mestre de incubadora-fluxo de ar de Bolke de Bruin.
AIRFLOW-966 Tornar o aptidão broker_transport_options configurável.
Necessário para mudar o tempo limite de visibilidade e outro.
Fecha # 2842 de bolkedebruin / AIRFLOW-966.
Cometa aa737a582c687e7105ef934ffc4da3dc78438235 em ramos / cabeças / mestre de incubadora-fluxo de ar de Bolke de Bruin.
AIRFLOW-966 Tornar o aptidão broker_transport_options configurável.
Necessário para mudar o tempo limite de visibilidade e outro.
O transporte de VM permite que os clientes se conectem dentro da VM sem a sobrecarga da comunicação de rede. A conexão utilizada não é uma conexão de soquete, mas usa invocações de método direto que permite um sistema de mensagens incorporado de alto desempenho.
O primeiro cliente a usar a conexão da VM iniciará um corretor embutido. Conexões subseqüentes anexarão que o mesmo corretor. Uma vez que todas as conexões de VM para o corretor foram fechadas, o corretor embutido será encerrado automaticamente.
Sintaxe de Configuração do Simple Broker.
Esta é a sintaxe normal para uma conexão VM. É simples, mas fornece apenas uma quantidade limitada de configuração do corretor embutido.
Se você quiser se conectar a um corretor incorporado já instanciado (por exemplo, como no caso do Apache ServiceMix), verifique se o brokerName usado no vm: // brokerName url corresponde ao brokerName do corretor já executado.
Opções de transporte.
Se for verdade, força cada comando enviado sobre o transporte a ser organizado e desmarcado usando um WireFormat.
O nome do WireFormat para usar.
Todas as propriedades com este prefixo são usadas para configurar o wireFormat.
Se o corretor deve ser criado sob demanda, se ainda não existir.
Se & gt; 0, indica o tempo limite em milissegundos para aguardar o início de um corretor. Os valores -1 e 0 significam não aguardar. Apenas suportado no ActiveMQ 5.2+
Todas as propriedades com este prefixo são usadas para configurar o corretor. Consulte Configuração de formatos de fio para obter mais informações.
Exemplo URI.
Tenha cuidado com corretores embutidos.
Se você estiver usando o transporte de VM e deseja configurar explicitamente um Embedded Broker, há chances de criar as conexões JMS primeiro antes do corretor iniciar. Atualmente, o ActiveMQ criará automaticamente um corretor se você usar o transporte VM e não há um já configurado. (Em 5.2, é possível usar waitForStart e criar = opções falsas para a conexão uri)
Então, para contornar isso, se você estiver usando o Spring, talvez queira usar o atributo dependente para que o seu JMS ConnectionFactory dependa do corretor incorporado para evitar isso. por exemplo.
Sintaxe de Configuração do Broker Avançado.
Esta é a sintaxe avançada para uma conexão VM. Isso permite que você configure o corretor de forma mais extensiva usando um URI de Configuração de Negociante.
Opções de transporte.
Se for verdade, força cada comando enviado sobre o transporte a ser organizado e desmarcado usando um WireFormat.
O nome do WireFormat para usar.
Todas as propriedades com este prefixo são usadas para configurar o wireFormat.
Existem mais opções para otimizar o uso do transporte VM.
Exemplo URI.
Configurando um corretor incorporado usando um arquivo de configuração externo.
& # 160; Para iniciar um corretor incorporado usando o transporte vm e configurá-lo usando um arquivo de configuração externo (ou seja, activemq. xml), use o seguinte URI:
Pesquisa.
Sub Projetos.
Características.
Conectividade.
Usando o ActiveMQ 5.
Apoio, suporte.
Desenvolvedores.
Relatórios de projetos.
O Apache ActiveMQ, o ActiveMQ, o Apache, o logotipo da pena Apache e o logotipo do projeto Apache ActiveMQ são marcas comerciais da The Apache Software Foundation. Todas as outras marcas mencionadas podem ser marcas comerciais ou marcas registradas de seus respectivos proprietários.
Opções de transporte de celery broker.
Descrição.
Para usar o CeleryExecutor com um corretor da Redis Sentinel, o Celery deve ser fornecido com um dicionário de broker_transport_options com um par de chave / valor informando o nome do serviço de redis desejado. Deve haver uma opção de corretor_transport na seção Aipo de airflow. cfg e CeleryExecutor deve passar as opções para a configuração do trabalhador apio.
Problema Links.
O trabalho de preenchimento do AIRFLOW-1494 falhou porque o novo recomeço aparece quando um trabalho válido está sendo executado.
O trabalho de preenchimento de AIRFLOW-1555 é morto 1 hora após o início.
Os trabalhos do AIRFLOW-1131 DockerOperator expiram e ficam presos em & quot; running & quot; para sempre.
Os trabalhos do AIRFLOW-1131 DockerOperator expiram e ficam presos em & quot; running & quot; para sempre.
Todos os comentários Histórico do histórico de trabalho transições de atividades.
+1 Isso também afeta o Aipo no SQS, broker_transport_options são usados para selecionar a região para operar.
Cometa aa737a582c687e7105ef934ffc4da3dc78438235 em ramos / cabeças / mestre de incubadora-fluxo de ar de Bolke de Bruin.
AIRFLOW-966 Tornar o aptidão broker_transport_options configurável.
Necessário para mudar o tempo limite de visibilidade e outro.
Fecha # 2842 de bolkedebruin / AIRFLOW-966.
Cometa aa737a582c687e7105ef934ffc4da3dc78438235 em ramos / cabeças / mestre de incubadora-fluxo de ar de Bolke de Bruin.
AIRFLOW-966 Tornar o aptidão broker_transport_options configurável.
Necessário para mudar o tempo limite de visibilidade e outro.
Комментариев нет:
Отправить комментарий