#111 introduced a regression. If my SP sends an AuthnRequest with this:

<samlp:RequestedAuthnContext Comparison="exact">
  <saml:AuthnContextClassRef>https://www.spid.gov.it/SpidL1</saml:AuthnContextClassRef>
</samlp:RequestedAuthnContext>

and the IdP response states that the authentication has been established with L2, the SP must consider the response valid, even if SAML 2.0 says otherwise. This is what SPID specification says in 1.2.2.1 section:

N.B. L’Identity Provider ha facoltà di utilizzare per l’autenticazione un livello SPID più alto rispetto a quelli risultanti dall’indicazione del richiedente mediante l’attributo Comparison. Tale scelta non deve comportare un esito negativo della richiesta.

So, currently tests 95 and 96 are failing for me with current spid-sp-test for this reason, in the above scenario.

I was wondering whether, along with that long list of (often useless, although necessary for onboarding) checks for SPID compliance, spid-sp-test could also check for the resilience of the SP implementation against Signature Wrapping attacks, as described, for instance, at: https://www.netspi.com/blog/technical/web-application-penetration-testing/attacking-sso-common-saml-vulnerabilities-ways-find/ (see "Common Implementation Mistakes & Testing Tips" - "Signature Wrapping" section) A more thorough source of information might be: https://www.usenix.org/system/files/conference/usenixsecurity12/sec12-final91.pdf

This is just an idea, probably worth more in-depth analysis.

Buongiorno, stiamo provando ad implementare SPID su un nostro portale per un cliente che è un ente pubblico, ma siamo ancora nella fase di generazione / firma del certificato. Tramite questo tool, abbiamo generato i tre file (crt.pem csr.pem key.pem) Una volta ottenuti, con openssl tramite il comando pkcs12 -export -out cert.pfx -inkey key.pem -in crt.pem abbiamo generato il file .pfx. Una volta fatto questo, tramite uno script abbiamo ottenuto il base64 del .pfx. A questo punto, avendo i certificati ci siamo un po' bloccati perché non ci è chiarissimo il da farsi. Ci è stato suggerito di prendere come spunto un file presente all'interno di questo progetto per ente pubblico public-sp.xml. Abbiamo quindi preso questo file e abbiamo modificato i dati con i nostri. Abbiamo creato il virtual enviroment di pyhton, e quindi installato spid-sp-test.

Lanciando il comando spid_sp_test --metadata-url file://cndcec_metadata.xml o anche lanciando il comando xmlsec1 --sign --insecure --privkey-pem key.pem --id-attr:ID urn:oasis:names:tc:SAML:2.0:metadata:EntityDescriptor cndcec_metadata.xml > cndcec_metadata_signed.xml solo per la parte relativa alla signature, ci viene triggerato questo errore (tra l'altro l'unico)

func=xmlSecOpenSSLX509CertificateNodeRead:file=x509.c:line=956:obj=x509:subj=xmlSecOpenSSLX509CertBase64DerRead:error=1:xmlsec library function failed:
func=xmlSecOpenSSLX509DataNodeRead:file=x509.c:line=886:obj=x509:subj=xmlSecOpenSSLX509CertificateNodeRead:error=1:xmlsec library function failed:node=X509Certificate
func=xmlSecOpenSSLKeyDataX509XmlRead:file=x509.c:line=663:obj=x509:subj=xmlSecOpenSSLX509DataNodeRead:error=1:xmlsec library function failed:
func=xmlSecKeyInfoNodeRead:file=keyinfo.c:line=121:obj=x509:subj=xmlSecKeyDataXmlRead:error=1:xmlsec library function failed:node=X509Data
func=xmlSecKeysMngrGetKey:file=keys.c:line=1234:obj=unknown:subj=xmlSecKeyInfoNodeRead:error=1:xmlsec library function failed:node=KeyInfo
func=xmlSecDSigCtxProcessKeyInfoNode:file=xmldsig.c:line=793:obj=unknown:subj=unknown:error=45:key is not found:details=NULL
func=xmlSecDSigCtxProcessSignatureNode:file=xmldsig.c:line=508:obj=unknown:subj=xmlSecDSigCtxProcessKeyInfoNode:error=1:xmlsec library function failed:
func=xmlSecDSigCtxVerify:file=xmldsig.c:line=346:obj=unknown:subj=xmlSecDSigCtxProcessSignatureNode:error=1:xmlsec library function failed:
Error: signature failed

Che sembra essere relativo proprio al base64 del certificato che abbiamo generato. Ed effettivamente ci sono delle incongruenze tra l'xml di esempio e quello nostro. Nell'xml di esempio, i due parametri <KeyInfo> hanno base64 differenti, inoltre nel secondo parametro <KeyInfo> all'interno del segmento <KeyDescriptor> i base 64 sono diversi, separati da spazi, come se fossero una lista.

Noi nel nostro file in entrambi i segmenti abbiamo inserito sempre lo stesso base64 che abbiamo generato. nella documentazione che abbiamo letto su https://docs.italia.it/italia/spid/spid-regole-tecniche/it/stabile/metadata.html ci viene detto che l’elementoche contiene l’elenco dei certificati e delle corrispondenti chiavi pubbliche dell’entità, utili per la verifica della firma dei messaggi prodotti da tale entità nelle sue interazioni con le altre (SAMLMetadata, par. 2.4.1.1)

A questo punto non sappiamo oltre a quello generato da noi, quali siano gli altri certificati dell'elenco di cui si parla. Lanciando il tool sembra proprio che l'unica failure sia proprio questa, non vengono riportati altri errori.

Questo il nostro file xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<md:EntityDescriptor
    xmlns:md="urn:oasis:names:tc:SAML:2.0:metadata"
    xmlns:ds="http://www.w3.org/2000/09/xmldsig#"
    xmlns:spid="https://spid.gov.it/saml-extensions" ID="a088bc6e-33c5-4ff2-b35b-d9c3ff9a2c9e" entityID="https://publicsp.it/">

<ds:Signature Id="Signature1">
<ds:SignedInfo>
<ds:CanonicalizationMethod Algorithm="http://www.w3.org/2001/10/xml-exc-c14n#"/>
<ds:SignatureMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#rsa-sha256"/>
<ds:Reference URI="#a088bc6e-33c5-4ff2-b35b-d9c3ff9a2c9e">
<ds:Transforms>
<ds:Transform Algorithm="http://www.w3.org/2000/09/xmldsig#enveloped-signature"/>
<ds:Transform Algorithm="http://www.w3.org/2001/10/xml-exc-c14n#"/>
</ds:Transforms>
<ds:DigestMethod Algorithm="http://www.w3.org/2001/04/xmlenc#sha256"/>
<ds:DigestValue />
</ds:Reference>
</ds:SignedInfo>
<ds:SignatureValue />
<ds:KeyInfo>
<ds:X509Data>
<ds:X509Certificate>MIIQDQIBAzCCD8kGCSqGSIb3DQEHAaCCD7oEgg+...[HASH INCOMPLETO]</ds:X509Certificate>
</ds:X509Data>
</ds:KeyInfo>
</ds:Signature>

    <md:SPSSODescriptor AuthnRequestsSigned="true" WantAssertionsSigned="true" protocolSupportEnumeration="urn:oasis:names:tc:SAML:2.0:protocol">
        <md:KeyDescriptor use="signing">
            <ds:KeyInfo>
                <ds:X509Data>
                    <ds:X509Certificate>MIIQDQIBAzCCD8kGCSqGSIb3DQEHAaCCD7oEgg+...[HASH INCOMPLETO]</ds:X509Certificate>
                </ds:X509Data>
            </ds:KeyInfo>
        </md:KeyDescriptor>
        <md:SingleLogoutService Binding="urn:oasis:names:tc:SAML:2.0:bindings:HTTP-Redirect" Location="https://eventi.commercialisti.it/slo"/>
        <md:NameIDFormat>urn:oasis:names:tc:SAML:2.0:nameid-format:transient</md:NameIDFormat>
        <md:AssertionConsumerService Binding="urn:oasis:names:tc:SAML:2.0:bindings:HTTP-POST" Location="https://publicsp.it/sso" index="0" isDefault="true"/>
        <md:AttributeConsumingService index="0">
            <md:ServiceName xml:lang="it">ServiceName</md:ServiceName>
            <md:RequestedAttribute Name="spidCode"/>
            <md:RequestedAttribute Name="familyName"/>
            <md:RequestedAttribute Name="name"/>
            <md:RequestedAttribute Name="companyName"/>
            <md:RequestedAttribute Name="fiscalNumber"/>
            <md:RequestedAttribute Name="ivaCode"/>
            <md:RequestedAttribute Name="email"/>
            <md:RequestedAttribute Name="gender"/>
            <md:RequestedAttribute Name="placeOfBirth"/>
            <md:RequestedAttribute Name="countyOfBirth"/>
            <md:RequestedAttribute Name="dateOfBirth"/>
        </md:AttributeConsumingService>
    </md:SPSSODescriptor>
    <md:Organization>
        <md:OrganizationName xml:lang="it">publicsp</md:OrganizationName>
        <md:OrganizationDisplayName xml:lang="it">Consiglio Nazionale dei Dottori Commercialisti e degli Esperti Contabil</md:OrganizationDisplayName>
        <md:OrganizationURL xml:lang="it">https://publicsp.it</md:OrganizationURL>
    </md:Organization>
    <md:ContactPerson contactType="other">
        <md:Extensions>
            <spid:IPACode>ipa</spid:IPACode>
            <spid:Public/>
        </md:Extensions>
        <md:EmailAddress>[email protected]</md:EmailAddress>
    </md:ContactPerson>
</md:EntityDescriptor>

Quali possono essere i nostri errori/mancanze che non permettono la signature del nostro xml? Grazie mille in anticipo

I followed the instructions to create a python3 virtual env and install spid_sp_test. However, when I do pip install spid_sp_test after activating the virtual env, I get this:

ERROR: spid-compliant-certificates 0.4.1 has requirement cryptography==35.0.0, but you'll have cryptography 36.0.2 which is incompatible.

Then, I retried to install with pip install spid_sp_test --upgrade and then it seems like it gets installed:

[...]
Collecting cryptography==35.0.0
  Downloading cryptography-35.0.0-cp36-abi3-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (3.7 MB)
     |████████████████████████████████| 3.7 MB 4.8 MB/s
[...]
Installing collected packages: cryptography
  Attempting uninstall: cryptography
    Found existing installation: cryptography 36.0.2
    Uninstalling cryptography-36.0.2:
      Successfully uninstalled cryptography-36.0.2
Successfully installed cryptography-35.0.0

So, it seems like the second time it has installed the older version of the cryptography package without complaining, I don't know why it doesn't do this on the first attempt.

However, spid_sp_test does not start yet. I get the following exception:

(spid_sp_test) mauro@hppb ~/workspace/python-env $ spid_sp_test
Traceback (most recent call last):
  File "/home/mauro/workspace/python-env/spid_sp_test/bin/spid_sp_test", line 17, in <module>
    from spid_sp_test.response import SpidSpResponseCheck
  File "/home/mauro/workspace/python-env/spid_sp_test/lib/python3.8/site-packages/spid_sp_test/response.py", line 14, in <module>
    from jinja2 import Environment, Markup, FileSystemLoader, Template, select_autoescape
ImportError: cannot import name 'Markup' from 'jinja2' (/home/mauro/workspace/python-env/spid_sp_test/lib/python3.8/site-packages/jinja2/__init__.py)

What can I do?

I'm running Ubuntu 20.04.

spid-sp-test should handle different profiles where every profile contains some tests. Same unique test can be used into more different profiles. Profiles could be defined into configuration files as for Response Test Suite. A single profile can be executed as follow, for example:

spid_sp_test --metadata-url http://localhost:8000/spid/metadata --profile spid-sp-metadata-public

According to the documentation, the accepted AuthnContextClassRef depends on the attribute "Comparison". Currently, the method https://github.com/italia/spid-sp-test/blob/6a9302a210c6f6b80a172ad876716433787857f3/src/spid_sp_test/responses/response_mods.py#L5 takes for granted that Comparison=="minimum", which makes e.g. test n. 96 fail for the case when Comparison="exact".

Valid Comparison values are

exact minimum better maximum

Not sure how "better" and "maximum" should be handled. I propose to at least add handling "exact".

Referring to https://www.agid.gov.it/sites/default/files/repository_files/spid-avviso-n29v3-specifiche_sp_pubblici_e_privati.pdf there are two checks for --profile spid-sp-private that are not correct.

on page 6 of the linked pdf, there is the same structure reported on https://docs.italia.it/italia/spid/spid-regole-tecniche/it/stabile/metadata.html#esempio-contatti-metadata-sp-per-fatturazione that has EmailAddress and TelephoneNumber out of Extensions node:

   <md:ContactPerson contactType="other">
        <md:Extensions>
            <spid:VATNumber>IT12345678901</spid:VATNumber>
            <spid:FiscalCode>XYZABCAAMGGJ000W</spid:FiscalCode>
            <spid:Private/>
        </md:Extensions>
        <md:EmailAddress>[email protected]</md:EmailAddress>
        <md:TelephoneNumber>+390123456789</md:TelephoneNumber>
    </md:ContactPerson>
    <md:ContactPerson contactType="billing">
        <md:Extensions 
               xmlns:fpa="https://spid.gov.it/invoicing-extensions">
            <fpa:CessionarioCommittente>
                <fpa:DatiAnagrafici>
                    <fpa:IdFiscaleIVA>
                        <fpa:IdPaese>IT</fpa:IdPaese>
                        <fpa:IdCodice>02468135791</fpa:IdCodice>
                    </fpa:IdFiscaleIVA>
                    <fpa:Anagrafica>
			           <fpa:Denominazione>
                            Destinatario_Fatturazione
			           </fpa:Denominazione> 
                    </fpa:Anagrafica>
                </fpa:DatiAnagrafici>
                <fpa:Sede>
		             <fpa:Indirizzo>via [...]</fpa:Indirizzo>
		             <fpa:NumeroCivico>99</fpa:NumeroCivico>
		             <fpa:CAP>12345</ fpa:CAP>
		             <fpa:Comune>nome_citta</fpa:Comune>
		             <fpa:Provincia>XY</fpa:Provincia>
                    <fpa:Nazione>IT</fpa:Nazione>
                </fpa:Sede>
            </fpa:CessionarioCommittente>
        </md:Extensions>
        <md:Company>Destinatario_Fatturazione</md:Company>
        <md:EmailAddress>[email protected]</md:EmailAddress>
        <md:TelephoneNumber>telefono_fatture</md:TelephoneNumber>
    </md:ContactPerson>

Inside spid-sp-test/src/spid_sp_test/metadata_private.py there is the check that validate the EmailAddress as child of Extensions as reported into my test run:

INFO:spid_sp_test.metadata:SpidSpMetadataCheckExtra.test_extentions_public
ERROR:spid_sp_test.metadata:The //ContactPerson/Extensions/CessionarioCommittente/EmailAddress element MUST be present

This is not correct like reported into the documentation.

for private service provider there is:

INFO:spid_sp_test.metadata:SpidSpMetadataCheckExtra.test_Contacts_PubPriv
ERROR:spid_sp_test.metadata:Only one Extensions element inside ContactPerson element MUST be present

but probably, having two nodes ContactPerson (other and billing), this test count two times the Extensions and this is not correct.

I'm trying to validate medatata for private service full aggregator, but it seems that relevant profile is not still implemented in both spid-saml-check and spid-sp-test

I've opened this issue as suggested by @peppelinux

Hi,

not a Python expert at all, firstly. I am experiencing a strange validation error, possibile related to the line in [1] but I am confused. For v. 1.1.5 of spid_sp_test I am getting the following:

ERROR:spid_sp_test.metadata:SpidSpMetadataCheck.test_Contacts_PubPriv: Only one ContactPerson element of contactType "other" MUST be present
ERROR:spid_sp_test.metadata:Only one ContactPerson element of contactType "other" MUST be `present`

for a pub-ag-full SP with this kind of structure (Contacts section, edited here):

 <md:ContactPerson contactType="other" spid:entityType="spid:**aggregator**">
                <md:Extensions>
                        <spid:VATNumber>IT02770800000</spid:VATNumber>
                        <spid:PublicServicesFullAggregator/>
                </md:Extensions>
                <md:Company>myCompany Ltd</md:Company>
                <md:EmailAddress>[email protected]</md:EmailAddress>
        </md:ContactPerson>
        <md:ContactPerson contactType="other" spid:entityType="spid:**aggregated**">
                <md:Extensions>
                        <spid:IPACode>COM678</spid:IPACode>
                        <spid:Public/>
                </md:Extensions>
                <md:Company>Comune di Topolinia</md:Company>
        </md:ContactPerson>

This structure should be supported and non error-flagged... Actually I identified [1] but I am NOT entirely convinced it is there the problem (supposing my XML metadata is fine).. because the function defintion uses (apparently...) some default parameter values, here's the signature: def test_Contacts_PubPriv(self, contact_type="other", entity_type="")

and entityType..seems to be set correctly... which makes me wonder.. why is the Xpath/code triggering the error? Seems like.. this section is triggered:

if not entity_type:
           self._assertTrue(
               len(entity_desc) == 1,
               "Only one ContactPerson element of contactType "
               f'"{contact_type}" MUST be present',
               test_id = ['1.10.0'], **_data,
           )

which.. looks impossible if I understand correctly the call from [1]... Also strange... immediately following [1] there's another call with another entityType.. so.. I would expect 2 (two) errors... (one for aggregated and one for aggregator)..

Is this XML structure really incorrect? or there's some..ghost call around or I don't know exactly how to say it.

Thank you.

Diego

[1] https://github.com/italia/spid-sp-test/blob/58afa3fa0b3dd1a3f7accbb085975943c1e31588/src/spid_sp_test/metadata.py#L962

Example of not retrieved input elements wrapped in a div element:

<form action="https://goolex.okta.com/app/goolex_a1_1/exk1hi6xl2jFdGu7A669/sso/saml" method="post">
    <div>
        <input type="hidden" name="SAMLRequest" value="PD9..."/>
        <input type="hidden" name="RelayState" value="RS1"/>
    </div>
    <noscript>
        <div>
            <input type="submit" value="Continue"/>
        </div>
    </noscript>
</form>

Chiudo questo thread Apriamome un altro eventualmente per gestire gli altri argomenti emersi

Originally posted by @peppelinux in https://github.com/italia/spid-sp-test/issues/90#issuecomment-893865087

Ciao, essendo riusciti a farci prendere il metadata, adesso stiamo facendo le prove di Authn. Stiamo riscontrando delle problematiche con questo comando: --authn-url http://localhost:8000/spid/login/?idp=http://localhost:8088 --extra.

Questo il comando che lanciamo noi (abbiamo pubblicato online in un ambiente di stage) spid_sp_test --metadata-url https://sitosppubblico-spid.azurewebsites.net/spid/metadata/metadata.xml --authn-url https://sitosppubblico-spid.azurewebsites.net/home/login/?idp=https://sitosppubblico-spid.azurewebsites.net/ --extra -tr

Riceviamo come response:

spid_sp_test.exceptions.SAMLRequestNotFound:

A questo punto ci stiamo ponendo domande su come lanciare correttamente il comando. Ci siamo concentrati sui questa porzione dell'xml:

        <md:SingleLogoutService Binding="urn:oasis:names:tc:SAML:2.0:bindings:HTTP-Redirect" Location="https://sitosppubblico-spid.azurewebsites.net/Home/TestLogOut"/>
        <md:NameIDFormat>urn:oasis:names:tc:SAML:2.0:nameid-format:transient</md:NameIDFormat>
        <md:AssertionConsumerService Binding="urn:oasis:names:tc:SAML:2.0:bindings:HTTP-POST" Location="https://sitosppubblico-spid.azurewebsites.net/Home/Test" index="0" isDefault="true"/>

All'interno della nostra app abbiamo creato gli endpoint istanziati nell'xml e anche quello per la login. ("/Home/Test/", "Home/TestLogOut/" e "/Home/Login/" )

Volevamo sapere a questo punto qual'è la correlazione tra i tre endpoint e qual'è la maniera corretta per utilizzarli in modo tale da effettuare correttamente il test sulla login con i giusti redirect/path

Inoltre, il parametro querystring idp è il riferimento al servizio a cui ci si appoggia? (es poste, tim...) Giusto per prova, ho provato a mettere appunto in idp, sia la url di login delle poste, sia proprio http://localhost:8088. Debuggando online, addirittura si evince che la chiamata entra correttamente nell'endpoint, è poi quando effettua la redirect a http://localhost:8088 o anche al sito poste da il messaggio: HTTP-REDIRECT without any SAMLRequest in. Is this SP behind a Proxy or is there any DiscoveryService enabled? {} A questo punto, se ho capito bene la logica credo che sia solo da capire bene dentro il nostro endpoint login da gestire bene, ho capito bene?

Grazie mille ancora per il supporto datoci!

Hi! Is there a way to install the environment in a Windows machine (which doesn't have apt install/pip)? If yes, a guide on how to do that would be amazing.

Thanks, Valentino

When I set better as comparison, tests of comparison go well but some tests use the same level of the request for the response and so the SP errors. Here's an output with debug. I understand that better with L3 is not possible, but should be for L2 and L1.

https://justpaste.it/6b2ei

Buongiorno @peppelinux, abbiamo un problema su tutte le response che attendono il risultato OK (1,31,94,95,96,109 e 110).

Lanciando il validator AgID da interfaccia web e selezionando i check elencati di sopra il risultato del flusso di login è quello atteso, quindi ogni volta che ci aspettiamo di atterrare sulla pagina finale del SP è effettivamente così. Se invece lanciamo il tool spid_sp_test le risposte sono dei falsi positivi, quindi per tutti i check che dovrebbero avere 200 OK riceviamo un errore, anche se le risposte HTTP sono quelle attese ovvero un 200 OK dopo un 302.

Utilizzando il flag --test-json e modificando il risultato atteso dalle response notiamo che l'output del tool è sempre lo stesso.

Abbiamo quindi lo stesso risultato dai test, sia che ci nel file json impostiamo un 200 OK sia che impostiamo tutti gli altri codici di errore il tool ci risponde sempre con errore.

Il flag --test-json quindi funziona parzialmente, ovvero esegue i test elencati del file ma non modifica il comportamento del tool in base ai codici HTTP che noi impostiamo nel json.

Si richiede cortesemente supporto non appena possibile, grazie in anticipo.

Fixes #115

• added some missing tag to PublicGroup
• make mandatory VATNumber and FiscalCode in PrivateGroup (I'm not sure about that but here says both are mandatory)
• removed some extra code

Buongiorno, mi risulta che vengano segnalati errori sebbene il SP sembra rispettare le specifiche. Un esempio fra tutti è il test 111.

Sebbene alla richiesta annullata dall'utente (segnalata correttamente con errore n25) il SP mostri una pagina di cortesia con indicazione dell'errore ricevuto dall'IdP, il test fallisce ugualmente.

Dando uno sguardo al codice sembrerebbe che spid-sp-test si stia aspetando un HTTP error code, cosa che non è richiesta dalle specifiche.

Nel caso in esame (test 111) sarebbe possibile capire cosa ci si aspetta esattamente e se questo è in linea con quanto richiesto dalle specifiche?

Il controllo sull'organizationIdentifier ( OID, 2.5.4.97] ) ha almeno 2 controlli come descritto nel avviso n19v4, ma il validatore ne valida solo 1 SPID Compliant Certificates Value for name attribute [Unknown OID, 2.5.4.97] must match ^PA:IT-\S{1,11}$, tralasciando quello per i soggetti aggregatori.