Boa tarde pessoal! Ao corrigir o erro do .env, o código ao ser rodado apresentou o seguinte erro: Por favor, peço ajuda esse código vai me ajudar muito!

Pessoal, está ocorrendo esse erro quando executo o python. Na tabela de empresas foi tudo ok mas quando inicia a tabela de estabelecimentos, depois de umas 15hrs executando ele da esse erro na imagem. Alguém saberia o que pode estar ocorrendo? Aparentemente é memória, apenas gostaria de confirmar. Obrigado

Estou obtendo o erro UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc3 in position 3: invalid continuation byte no linux ubuntu, conforme ilustrado na imagem a seguir:

Solução: a solução foi adicionar o parâmetro engine='python' em todas as chamadas para a função read_csv():

Preciso de um help pra resolver essa parte.

Trabalhando no arquivo: K3241.K03200Y0.D11211.EMPRECSV [...] Traceback (most recent call last): File "C:\Users\alex.batista\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\IPython\core\interactiveshell.py", line 3444, in run_code exec(code_obj, self.user_global_ns, self.user_ns) File "", line 100, in empresa = pd.read_csv(filepath_or_buffer=extracted_file_path, File "C:\Users\alex.batista\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\util_decorators.py", line 311, in wrapper return func(*args, **kwargs) File "C:\Users\alex.batista\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\io\parsers\readers.py", line 586, in read_csv return _read(filepath_or_buffer, kwds) File "C:\Users\alex.batista\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\io\parsers\readers.py", line 488, in _read return parser.read(nrows) File "C:\Users\alex.batista\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\io\parsers\readers.py", line 1047, in read index, columns, col_dict = self._engine.read(nrows) File "C:\Users\alex.batista\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\io\parsers\c_parser_wrapper.py", line 223, in read chunks = self._reader.read_low_memory(nrows) File "pandas_libs\parsers.pyx", line 801, in pandas._libs.parsers.TextReader.read_low_memory File "pandas_libs\parsers.pyx", line 857, in pandas._libs.parsers.TextReader._read_rows File "pandas_libs\parsers.pyx", line 843, in pandas._libs.parsers.TextReader._tokenize_rows File "pandas_libs\parsers.pyx", line 1917, in pandas._libs.parsers.raise_parser_error UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc3 in position 137214: invalid continuation byte

Segui todos os passos informados, porem ele congela no arquivo 09

9 - K3241.K03200Y0.D11009.ESTABELE.zip Downloading: 6% [36741120 / 553078659] bytes -

Já tentei várias vezes mas sempre fica assim!

Boa tarde! Estou tentando utilizar esta aplicação porém quando executo o algoritimo python ele dá o seguinte erro:

Traceback (most recent call last): File "C:\Users\Tuta\PycharmProjects\pythonProject2\Receita_Federal_do_Brasil_-_Dados_Publicos_CNPJ-master\code\ETL_coletar_dados_e_gravar_BD.py", line 25, in output_files = Path(getEnv('OUTPUT_FILES_PATH')) File "C:\Users\Tuta\AppData\Local\Programs\Python\Python310\lib\pathlib.py", line 958, in new self = cls._from_parts(args) File "C:\Users\Tuta\AppData\Local\Programs\Python\Python310\lib\pathlib.py", line 592, in _from_parts drv, root, parts = self._parse_args(args) File "C:\Users\Tuta\AppData\Local\Programs\Python\Python310\lib\pathlib.py", line 576, in _parse_args a = os.fspath(a) TypeError: expected str, bytes or os.PathLike object, not NoneType

Eu estou utilizando o mesmo código que você criou, seguindo a alteração sutíl de ajustar para meu ambiente e também de baixar o postgreSQL e criar a base de dados. Por favor, pode me ajudar?

Olá estou seguindo o tutorial mas não sei onde colocar o diretorio ou onde fica o diretório code , onde devo colocar o arquivo .env com minhas opções. Pode me ajudar? Obrigado.

Bom, meu postgre está configurado pela por 5433, eu testei uma conexão com o banco de dados usando Rstudio por exemplo e foi tudo certo. Não há problemas no banco. Mas com esse código não consigo.

No .env inseri as seguintes info de teste

DB_HOST=localhost DB_PORT=5433 DB_USER=cnpj_user DB_PASSWORD=senhaqualquer DB_NAME=cnpj_rfb

Todos estes dados estão funcionando corretamente mas, dá sempre o seguinte erro:

psycopg2.OperationalError: could not connect to server: Connection refused Is the server running on host "localhost" (127.0.0.1) and accepting TCP/IP connections on port 5432?

Eu criei uma pasta chamada download dentro da pasta code. E eu uso ubuntu. Verifiquei que há um erro na forma de colocar este diretório. Eu uso ubuntu.

no .env coloquei da seguinte forma:

OUTPUT_FILES_PATH=download EXTRACTED_FILES_PATH=download

está correto?

daí segui o seguinte:

(base) ronaldo@rpo:~/Área de Trabalho/cnpj/code$ python ETL_coletar_dados_e_gravar_BD.py

F.K03200$W.SIMPLES.CSV.D10814.zip F.K03200$Z.D10814.CNAECSV.zip F.K03200$Z.D10814.MOTICSV.zip F.K03200$Z.D10814.MUNICCSV.zip F.K03200$Z.D10814.NATJUCSV.zip F.K03200$Z.D10814.PAISCSV.zip F.K03200$Z.D10814.QUALSCSV.zip K3241.K03200Y0.D10814.EMPRECSV.zip K3241.K03200Y0.D10814.ESTABELE.zip K3241.K03200Y0.D10814.SOCIOCSV.zip K3241.K03200Y1.D10814.EMPRECSV.zip K3241.K03200Y1.D10814.ESTABELE.zip K3241.K03200Y1.D10814.SOCIOCSV.zip K3241.K03200Y2.D10814.EMPRECSV.zip K3241.K03200Y2.D10814.ESTABELE.zip K3241.K03200Y2.D10814.SOCIOCSV.zip K3241.K03200Y3.D10814.EMPRECSV.zip K3241.K03200Y3.D10814.ESTABELE.zip K3241.K03200Y3.D10814.SOCIOCSV.zip K3241.K03200Y4.D10814.EMPRECSV.zip K3241.K03200Y4.D10814.ESTABELE.zip K3241.K03200Y4.D10814.SOCIOCSV.zip K3241.K03200Y5.D10814.EMPRECSV.zip K3241.K03200Y5.D10814.ESTABELE.zip K3241.K03200Y5.D10814.SOCIOCSV.zip K3241.K03200Y6.D10814.EMPRECSV.zip K3241.K03200Y6.D10814.ESTABELE.zip K3241.K03200Y6.D10814.SOCIOCSV.zip K3241.K03200Y7.D10814.EMPRECSV.zip K3241.K03200Y7.D10814.ESTABELE.zip K3241.K03200Y7.D10814.SOCIOCSV.zip K3241.K03200Y8.D10814.EMPRECSV.zip K3241.K03200Y8.D10814.ESTABELE.zip K3241.K03200Y8.D10814.SOCIOCSV.zip K3241.K03200Y9.D10814.EMPRECSV.zip K3241.K03200Y9.D10814.ESTABELE.zip K3241.K03200Y9.D10814.SOCIOCSV.zip Arquivos que serão baixados: 1 - F.K03200$W.SIMPLES.CSV.D10814.zip 2 - F.K03200$Z.D10814.CNAECSV.zip 3 - F.K03200$Z.D10814.MOTICSV.zip 4 - F.K03200$Z.D10814.MUNICCSV.zip 5 - F.K03200$Z.D10814.NATJUCSV.zip 6 - F.K03200$Z.D10814.PAISCSV.zip 7 - F.K03200$Z.D10814.QUALSCSV.zip 8 - K3241.K03200Y0.D10814.EMPRECSV.zip 9 - K3241.K03200Y0.D10814.ESTABELE.zip 10 - K3241.K03200Y0.D10814.SOCIOCSV.zip 11 - K3241.K03200Y1.D10814.EMPRECSV.zip 12 - K3241.K03200Y1.D10814.ESTABELE.zip 13 - K3241.K03200Y1.D10814.SOCIOCSV.zip 14 - K3241.K03200Y2.D10814.EMPRECSV.zip 15 - K3241.K03200Y2.D10814.ESTABELE.zip 16 - K3241.K03200Y2.D10814.SOCIOCSV.zip 17 - K3241.K03200Y3.D10814.EMPRECSV.zip 18 - K3241.K03200Y3.D10814.ESTABELE.zip 19 - K3241.K03200Y3.D10814.SOCIOCSV.zip 20 - K3241.K03200Y4.D10814.EMPRECSV.zip 21 - K3241.K03200Y4.D10814.ESTABELE.zip 22 - K3241.K03200Y4.D10814.SOCIOCSV.zip 23 - K3241.K03200Y5.D10814.EMPRECSV.zip 24 - K3241.K03200Y5.D10814.ESTABELE.zip 25 - K3241.K03200Y5.D10814.SOCIOCSV.zip 26 - K3241.K03200Y6.D10814.EMPRECSV.zip 27 - K3241.K03200Y6.D10814.ESTABELE.zip 28 - K3241.K03200Y6.D10814.SOCIOCSV.zip 29 - K3241.K03200Y7.D10814.EMPRECSV.zip 30 - K3241.K03200Y7.D10814.ESTABELE.zip 31 - K3241.K03200Y7.D10814.SOCIOCSV.zip 32 - K3241.K03200Y8.D10814.EMPRECSV.zip 33 - K3241.K03200Y8.D10814.ESTABELE.zip 34 - K3241.K03200Y8.D10814.SOCIOCSV.zip 35 - K3241.K03200Y9.D10814.EMPRECSV.zip 36 - K3241.K03200Y9.D10814.ESTABELE.zip 37 - K3241.K03200Y9.D10814.SOCIOCSV.zip Baixando arquivo: 1 - F.K03200$W.SIMPLES.CSV.D10814.zip Downloading: 100% [158240034 / 158240034] bytes - Traceback (most recent call last): File "ETL_coletar_dados_e_gravar_BD.py", line 72, in wget.download(url, out=output_files, bar=bar_progress) File "/home/ronaldo/anaconda3/lib/python3.7/site-packages/wget.py", line 529, in download filename = outdir + "/" + filename TypeError: unsupported operand type(s) for +: 'PosixPath' and 'str'

A leitura de alguns dos arquivos de Estabelecimento gera o erro _csv.Error: line contains NUL, tanto no Linux quanto no Windows. Não consegui solucionar esse problema diretamente no código, o que funcionou para mim foi remover manualmente os caracteres NULL, através do comando Unix: sed -i 's/\x0//g' FILE_NAME.

No Windows foi necessário instalar o Bash Ubuntu da Microsoft Store, que permite execução de comandos unix, através da Interoperabilidade do Windows com o Linux.

O ideal seria não precisar de um fix manual, por isso, decidi abrir essa Issue, para reportar o problema, uma solução temporária, e deixar a questão em aberto para novas alternativas, preferencialmente resolvendo essa questão diretamente no código.

Trabalhando no arquivo: K3241.K03200Y4.D10612.ESTABELE [...]
Linhas no arquivo K3241.K03200Y4.D10612.ESTABELE: 4753435
Este arquivo será dividido em 5 partes para inserção no banco de dados
Iniciando a parte 1 [...]
Arquivo K3241.K03200Y4.D10612.ESTABELE inserido com sucesso no banco de dados! - Parte 1
Iniciando a parte 2 [...]
Arquivo K3241.K03200Y4.D10612.ESTABELE inserido com sucesso no banco de dados! - Parte 2
Iniciando a parte 3 [...]
Traceback (most recent call last):
  File "D:\Base CNPJ 2021\base-cnpj-postgres\code\main.py", line 111, in <module>
    database.insert_data(
  File "D:\Base CNPJ 2021\base-cnpj-postgres\code\database.py", line 83, in insert_data
    table = pd.read_csv(
  File "C:\Users\anasi\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\io\parsers.py", line 610, in read_csv
    return _read(filepath_or_buffer, kwds)
  File "C:\Users\anasi\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\io\parsers.py", line 468, in _read
    return parser.read(nrows)
  File "C:\Users\anasi\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\io\parsers.py", line 1057, in read
    index, columns, col_dict = self._engine.read(nrows)
  File "C:\Users\anasi\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\io\parsers.py", line 2440, in read
    content = self._get_lines(rows)
  File "C:\Users\anasi\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.9_qbz5n2kfra8p0\LocalCache\local-packages\Python39\site-packages\pandas\io\parsers.py", line 3236, in _get_lines
    new_rows.append(next(self.data))
_csv.Error: line contains NULL

418] bytes - Downloading: 2% [3457024 / 165184418] bytes - Downloading: 2% [3465216 / 165184418] bytes - Downloading: 2% [3473408 / 165184418] bytes - Traceback (most recent call last): File "C:\Users\CTF 1\Desktop\Receita_Federal_do_Brasil_-_Dados_Publicos_CNPJ-master\code\ETL_coletar_dados_e_gravar_BD.py", line 72, in wget.download(url, out=output_files, bar=bar_progress) File "C:\Users\CTF 1\AppData\Local\Programs\Python\Python310\lib\site-packages\wget.py", line 526, in download (tmpfile, headers) = ulib.urlretrieve(binurl, tmpfile, callback) File "C:\Users\CTF 1\AppData\Local\Programs\Python\Python310\lib\urllib\request.py", line 280, in urlretrieve raise ContentTooShortError( urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 3473237 out of 165184418 bytes>

Alguém sabe resolver? Vi um cara na internet falando que é só adicionar uma função de reiniciar / retomar download, vou dar uma pesquisada, mas se alguém puder ajudar agradeço !

Eai Galera, alguem pode me ajudar? Estou tentando realizar o procedimento na tabela estabeleciemento, porém acusa esse erro: OBS - Todas as outras tabelas subiram só essa dá esse erro meu pc tem 32gb de ram e acusa esse erro.

Trabalhando no arquivo: K3241.K03200Y0.D20709.ESTABELE [...] Traceback (most recent call last): File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\base.py", line 1800, in _execute_context context = constructor( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\default.py", line 996, in _init_compiled self.compiled_parameters = [ File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\default.py", line 997, in compiled.construct_params( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\sql\compiler.py", line 992, in construct_params pd[escaped_name] = params[bindparam.key] MemoryError

The above exception was the direct cause of the following exception:

Traceback (most recent call last): File "C:\Users\guilh\Downloads\projeto\code\ETL_coletar_dados_e_gravar_BD.py", line 173, in estabelecimento.to_sql(name='estabelecimento', con=engine, if_exists='append', index=False) File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\generic.py", line 2951, in to_sql return sql.to_sql( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\sql.py", line 697, in to_sql return pandas_sql.to_sql( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\sql.py", line 1739, in to_sql total_inserted = sql_engine.insert_records( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\sql.py", line 1332, in insert_records raise err File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\sql.py", line 1322, in insert_records return table.insert(chunksize=chunksize, method=method) File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\sql.py", line 950, in insert num_inserted = exec_insert(conn, keys, chunk_iter) File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\io\sql.py", line 857, in _execute_insert result = conn.execute(self.table.insert(), data) File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\base.py", line 1380, in execute return meth(self, multiparams, params, _EMPTY_EXECUTION_OPTS) File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\sql\elements.py", line 333, in _execute_on_connection return connection._execute_clauseelement( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\base.py", line 1572, in _execute_clauseelement ret = self._execute_context( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\base.py", line 1806, in _execute_context self.handle_dbapi_exception( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\base.py", line 2124, in handle_dbapi_exception util.raise( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\util\compat.py", line 208, in raise raise exception File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\base.py", line 1800, in _execute_context context = constructor( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\default.py", line 996, in _init_compiled self.compiled_parameters = [ File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\engine\default.py", line 997, in compiled.construct_params( File "C:\Users\guilh\AppData\Local\Programs\Python\Python310\lib\site-packages\sqlalchemy\sql\compiler.py", line 992, in construct_params pd[escaped_name] = params[bindparam.key]

Pessoal, é normal para vocês a lentidão no acesso no servidor dos dados públicos da receita? Não consigo acessar o endereço http://200.152.38.155/CNPJ nem pelo navegador

Boa tarde! Deu um pico de internet no arquivo 33 e acredito que foi cancelado a operação conforme o que ele relatou:

`Downloading: 61% [214335488 / 350698435] bytes - Traceback (most recent call last): File "C:\Hunter_CNPJ\code\ETL_coletar_dados_e_gravar_BD.py", line 87, in wget.download(url, out=output_files, bar=bar_progress) File "C:\Users\gleis\AppData\Local\Programs\Python\Python310\lib\site-packages\wget.py", line 526, in download (tmpfile, headers) = ulib.urlretrieve(binurl, tmpfile, callback) File "C:\Users\gleis\AppData\Local\Programs\Python\Python310\lib\urllib\request.py", line 270, in urlretrieve block = fp.read(bs) File "C:\Users\gleis\AppData\Local\Programs\Python\Python310\lib\http\client.py", line 465, in read s = self.fp.read(amt) File "C:\Users\gleis\AppData\Local\Programs\Python\Python310\lib\socket.py", line 705, in readinto return self._sock.recv_into(b) ConnectionAbortedError: [WinError 10053] Uma conexão estabelecida foi anulada pelo software no computador host

C:\Hunter_CNPJ\code>`

Como faço para retomar o download de onde parou, visto que se eu executar ele novamente ele vai reiniciar tudo do zero?

Pessoal, usando o modelo de banco desse projeto e carga em Python criei uma aplicação web PHP para facilitar a consulta de pessoas sem grande conhecimento de consulta SQL. Espero que seja útil , mais uma vez quero agradecer todos que contribuíram de forma direta ou indireta

https://github.com/bjverde/cnpjrfb