Script em python para carregar os arquivos de cnpj dos dados públicos da Receita Federal em MYSQL.

Last update: Dec 25, 2022

Overview

cnpj-mysql

Script em python para carregar os arquivos de cnpj dos dados públicos da Receita Federal em MYSQL.

Dados públicos de cnpj no site da Receita:

A partir de 2021 os dados da Receita Federal estão disponíveis no link https://www.gov.br/receitafederal/pt-br/assuntos/orientacao-tributaria/cadastros/consultas/dados-publicos-cnpj (ou http://200.152.38.155/CNPJ/) em formato csv zipado.

Pré-requisitos:

Python 3.8;
Bibliotecas pandas, dask, sqlalchemy e pymysql.

Utilizando o script:

Baixe todos os arquivos zipados do site da Receita e salve na pasta "dados-publicos-zip".
O download no site da Receita é lento, pode demorar várias horas. Sugiro utilizar um gerenciador de downloads.

Crie uma pasta com o nome "dados-publicos".

No servidor MYSQL, crie um database, por exemplo, cnpj.
Especifique os parâmetros no começo do script:
dbname = 'cnpj'
username = 'root'
password = ''
host = '127.0.0.1'

Para iniciar esse script, em um console DOS digite
python dados_cnpj_para_mysql.py

A execução durou cerca de 5hs em um notebook i7 de 8a geração.

Outras referências:

Para trabalhar com os dados de cnpj no formato SQLITE, use o meu projeto (https://github.com/rictom/cnpj-sqlite).
O projeto (https://github.com/rictom/rede-cnpj) utiliza os dados públicos de CNPJ para visualização de relacionamentos entre empresas e sócios.

Histórico de versões

versão 0.1 (novembro/2021)

primeira versão

You might also like...

Pandas on AWS - Easy integration with Athena, Glue, Redshift, Timestream, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer and S3 (Parquet, CSV, JSON and EXCEL).

AWS Data Wrangler Pandas on AWS Easy integration with Athena, Glue, Redshift, Timestream, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretMana

3.3k Dec 31, 2022

MySQL Operator for Kubernetes

MySQL Operator for Kubernetes The MYSQL Operator for Kubernetes is an Operator for Kubernetes managing MySQL InnoDB Cluster setups inside a Kubernetes

462 Dec 24, 2022

Class to connect to XAMPP MySQL Database

MySQL-DB-Connection-Class Class to connect to XAMPP MySQL Database Basta fazer o download o mysql_connect.py e modificar os parâmetros que quiser. E d

4 Jul 12, 2021

A wrapper for SQLite and MySQL, Most of the queries wrapped into commands for ease.

Before you proceed, make sure you know Some real SQL, before looking at the code, otherwise you probably won't understand anything. Installation pip i

4 Jul 30, 2022

Sample code to extract data directly from the NetApp AIQUM MySQL Database

This sample code shows how to connect to the AIQUM Database and pull user quota details from it. AIQUM Requirements: 1. AIQUM 9.7 or higher. 2. An

1 Nov 8, 2021

Python script to clone SQL dashboard from one workspace to another

Databricks dashboard clone Unofficial project to allow Databricks SQL dashboard copy from one workspace to another. Resource clone Setup: Create a fil

12 Jan 1, 2023

Python interface to Oracle Database conforming to the Python DB API 2.0 specification.

cx_Oracle version 8.2 (Development) cx_Oracle is a Python extension module that enables access to Oracle Database. It conforms to the Python database

841 Dec 21, 2022

PubMed Mapper: A Python library that map PubMed XML to Python object

pubmed-mapper: A Python Library that map PubMed XML to Python object 中文文档 1. Philosophy view UML Programmatically access PubMed article is a common ta

33 Dec 8, 2022

python-beryl, a Python driver for BerylDB.

3 Nov 24, 2021

Comments

Campo data_exclusao_mei com data futura na tabela 'simples'

Olá, notei que alguns registros na tabela do simples (já na última versão publicada) tem o campo opcao_simples = 'S' e, ao mesmo tempo, o campo data_exclusao_mei preenchido com uma data futura como '20221231'. Acontece, por exemplo, nos cnpj_basico = 01422623, 03679703, 06147233

Tem também com data recente como cnpj_basico = 05578155, 05753186 e data_exclusao_mei = '20220930'

Precisaria saber se a empresa é MEI, aparentemente checar apenas se opcao_simples = 'S' não é suficiente, considerando estas datas... Sabe se isso faz sentido ou se é um erro de dados da Receita?

Obrigados e parabéns pelo script.

opened by jhon100 2
Script roda no Windows?

Estou tendo dificuldade em rodá-lo no windows. Como sou usuário inexperiente de Python, é bem provável que o problema esteja aqui entre a cadeira e o teclado.

Retorno no comando:

File "C:\CNPJ\dados_cnpj_para_mysql.py", line 7 ^ SyntaxError: invalid syntax

Porém, o Script para o Sqlite rodou que foi uma beleza.

C:\CNPJ>python dados_cnpj_para_sqlite.py descompactando dados-publicos-zip\f.k03200$w.simples.csv.d11009.zip descompactando dados-publicos-zip\f.k03200$z.d11009.cnaecsv.zip descompactando dados-publicos-zip\f.k03200$z.d11009.moticsv.zip descompactando dados-publicos-zip\f.k03200$z.d11009.municcsv.zip

Alguma sugestão?

opened by MarcoKuntz 2