OpenVerifiableLLM

Projetos que seguem as melhores práticas abaixo podem se autocertificar voluntariamente e mostrar que alcançaram um selo de melhores práticas da Open Source Security Foundation (OpenSSF).

Não existe um conjunto de práticas que possa garantir que o software nunca terá defeitos ou vulnerabilidades; mesmo métodos formais podem falhar se as especificações ou suposições estiverem erradas. Nem existe qualquer conjunto de práticas que possa garantir que um projeto sustentará uma comunidade de desenvolvimento saudável e bem-funcionada. No entanto, seguir as melhores práticas pode ajudar a melhorar os resultados dos projetos. Por exemplo, algumas práticas permitem revisão multipessoal antes do lançamento, o que pode ajudar a encontrar vulnerabilidades técnicas difíceis de encontrar e ajudar a construir confiança e desejo de interação repetida entre desenvolvedores de diferentes empresas. Para ganhar um selo, todos os critérios DEVE e NÃO DEVE devem ser atendidos, todos os critérios DEVERIA devem ser atendidos OU não atendidos com justificativa, e todos os critérios SUGERIDO devem ser atendidos OU não atendidos (queremos que sejam considerados pelo menos). Se você quiser inserir texto de justificativa como um comentário genérico, em vez de ser uma justificativa de que a situação é aceitável, inicie o bloco de texto com '//' seguido de um espaço. Feedback é bem-vindo via site do GitHub como questões ou pull requests Há também uma lista de discussão para discussão geral.

Fornecemos com prazer as informações em vários idiomas, no entanto, se houver qualquer conflito ou inconsistência entre as traduções, a versão em inglês é a versão autoritativa.
Se este é o seu projeto, por favor mostre o status do seu selo na página do seu projeto! O status do selo se parece com isto: O nível do selo para o projeto 15952 é in_progress Aqui está como incorporá-lo:
Você pode mostrar o status do seu selo incorporando isto no seu arquivo markdown:
[![OpenSSF Best Practices](https://www.bestpractices.dev/projects/15952/badge)](https://www.bestpractices.dev/projects/15952)
ou incorporando isto no seu HTML:
<a href="https://www.bestpractices.dev/projects/15952"><img src="https://www.bestpractices.dev/projects/15952/badge"></a>


Estes são os critérios de nível de Aprovação. Você também pode visualizar os critérios de nível Prata ou Ouro.

Baseline Series: Nível Básico 1 Nível Básico 2 Nível Básico 3

        

 Fundamentos 13/13 ●

  • Geral

    Observe que outros projetos podem usar o mesmo nome.

    OpenVerifiableLLM provides open code and tools to train and verify small language models. It publishes data, checkpoints, and training records so users can recompute training segments and compare results bit for bit.

    Use o formato de expressão de licença SPDX; exemplos incluem "Apache-2.0", "BSD-2-Clause", "BSD-3-Clause", "GPL-2.0+", "LGPL-3.0+", "MIT" e "(BSD-2-Clause OR Ruby)". Não inclua aspas simples ou aspas duplas.
    Se houver mais de uma linguagem, liste-as como valores separados por vírgula (espaços opcionais) e ordene-as da mais usada para a menos usada. Se houver uma longa lista, liste pelo menos as três primeiras mais comuns. Se não houver linguagem (por exemplo, este é um projeto apenas de documentação ou apenas de teste), use o caractere único "-". Use uma capitalização convencional para cada linguagem, por exemplo, "JavaScript".
    O Common Platform Enumeration (CPE) é um esquema de nomenclatura estruturado para sistemas de tecnologia da informação, software e pacotes. Ele é usado em vários sistemas e bancos de dados ao relatar vulnerabilidades.

    Assessment updated on 2026-10-27 using maintainer declarations and public evidence at main commit 874f0e728a6002b0daac6cddb0b9efa839a89faa. The initial public review used commit 81136541c83393f05a2d48b09910b4af07470412. Maintainer declarations support developer knowledge, the credential scan, and private CodeQL alert status. A broader public-history review left vulnerability_report_response unconfirmed because PR #118 needs response classification and the complete private reporting history has not been checked. The static_analysis answer describes the current release process and states the historical v1.0.0 timing. Bug and enhancement response counts retain the review window 2026-08-26 through 2026-10-26.

  • Conteúdo básico do site do projeto


    Suficiente para um badge!

    O site do projeto DEVE descrever sucintamente o que o software faz (qual problema ele resolve?). [description_good]
    Isso DEVE estar em linguagem que usuários potenciais possam entender (por exemplo, ele usa o mínimo de jargão).

    The README explains that users can check language-model training by recomputing published training segments and comparing checkpoints. It describes the problem, goals, current results, and limits. https://github.com/AOSSIE-Org/OpenVerifiableLLM#readme


    Suficiente para um badge!

    O site do projeto DEVE fornecer informações sobre como: obter, fornecer feedback (como relatórios de bugs ou melhorias) e contribuir com o software. [interact]

    The README provides download and setup instructions. It links to GitHub issues and CONTRIBUTING.md. The contribution guide explains how to report bugs and propose changes. https://github.com/AOSSIE-Org/OpenVerifiableLLM#readme https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/CONTRIBUTING.md


    Suficiente para um badge!

    As informações sobre como contribuir DEVEM explicar o processo de contribuição (por exemplo, pull requests são usados?) (URL obrigatória) [contribution]
    Presumimos que projetos no GitHub usam issues e pull requests, a menos que indicado de outra forma. Essa informação pode ser breve, por exemplo, declarando que o projeto usa pull requests, um rastreador de issues ou postagens em uma lista de discussão (qual?)

    CONTRIBUTING.md explains issue discussion, development branches, pull requests against main, tests, and maintainer review. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/CONTRIBUTING.md


    Suficiente para um badge!

    As informações sobre como contribuir DEVERIAM incluir os requisitos para contribuições aceitáveis (por exemplo, uma referência a qualquer padrão de codificação exigido). (URL obrigatória) [contribution_requirements]

    CONTRIBUTING.md requires focused changes, test execution, success and failure tests for verification changes, preservation of reproducibility guarantees, dependency locks, and documentation updates. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/CONTRIBUTING.md


  • Licença FLOSS


    Suficiente para um badge!

    O software produzido pelo projeto DEVE ser lançado como FLOSS. [floss_license]
    FLOSS é software lançado de uma forma que atende à Definição de Código Aberto ou à Definição de Software Livre. Exemplos de tais licenças incluem CC0, MIT, BSD 2-clause, BSD 3-clause revisada, Apache 2.0, Lesser GNU General Public License (LGPL) e a GNU General Public License (GPL). Para nossos propósitos, isso significa que a licença DEVE ser: O software PODE também ser licenciado de outras formas (por exemplo, "GPLv2 ou proprietário" é aceitável).

    The project is released under GNU GPL version 3. The README declares the license, and the repository root contains the complete GPLv3 text. https://github.com/AOSSIE-Org/OpenVerifiableLLM#readme https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/LICENSE


    Suficiente para um badge!

    É SUGERIDO que qualquer licença(s) exigida para o software produzido pelo projeto seja aprovada pela Open Source Initiative (OSI). [floss_license_osi]
    A OSI usa um processo de aprovação rigoroso para determinar quais licenças são OSS.

    The project's declared license is GNU GPL version 3, an OSI-approved license. The complete license text is in the repository root. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/LICENSE https://opensource.org/license/gpl-3.0


    Suficiente para um badge!

    O projeto DEVE publicar a(s) licença(s) de seus resultados em um local padrão em seu repositório de código-fonte. (URL obrigatória) [license_location]
    Uma convenção é publicar a licença como um arquivo de nível superior chamado LICENSE ou COPYING, que PODE ser seguido por uma extensão como ".txt" ou ".md". Uma convenção alternativa é ter um diretório chamado LICENSES contendo arquivo(s) de licença; esses arquivos são tipicamente nomeados como seu identificador de licença SPDX seguido por uma extensão de arquivo apropriada, conforme descrito na Especificação REUSE. Observe que este critério é apenas um requisito no repositório de código-fonte. Você NÃO precisa incluir o arquivo de licença ao gerar algo a partir do código-fonte (como um executável, pacote ou contêiner). Por exemplo, ao gerar um pacote R para a Comprehensive R Archive Network (CRAN), siga a prática padrão do CRAN: se a licença for uma licença padrão, use a especificação de licença curta padrão (para evitar instalar outra cópia do texto) e liste o arquivo LICENSE em um arquivo de exclusão como .Rbuildignore. Da mesma forma, ao criar um pacote Debian, você pode colocar um link no arquivo de copyright para o texto da licença em /usr/share/common-licenses e excluir o arquivo de licença do pacote criado (por exemplo, deletando o arquivo após chamar dh_auto_install). Nós encorajamos a inclusão de informações de licença legíveis por máquina em formatos gerados, quando praticável.

    The repository root contains the complete, unmodified GNU General Public License version 3. The file matches the official GNU text byte for byte. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/LICENSE https://www.gnu.org/licenses/gpl-3.0.txt


  • Documentação


    Suficiente para um badge!

    O projeto DEVE fornecer documentação básica para o software produzido pelo projeto. [documentation_basics]
    Esta documentação deve estar em alguma mídia (como texto ou vídeo) que inclua: como instalá-lo, como iniciá-lo, como usá-lo (possivelmente com um tutorial usando exemplos) e como usá-lo de forma segura (por exemplo, o que fazer e o que não fazer) se esse for um tópico apropriado para o software. A documentação de segurança não precisa ser longa. O projeto PODE usar hiperlinks para material não pertencente ao projeto como documentação. Se o projeto não produz software, escolha "não aplicável" (N/A).

    The README and guides document dependency installation, supported hardware, downloads, verification commands, and testing. The documentation index identifies active and legacy components. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/README.md https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/docs/README.md


    Suficiente para um badge!

    O projeto DEVE fornecer documentação de referência que descreva a interface externa (tanto entrada quanto saída) do software produzido pelo projeto. [documentation_interface]
    A documentação de uma interface externa explica a um usuário final ou desenvolvedor como usá-la. Isso incluiria sua interface de programação de aplicativos (API) se o software tiver uma. Se for uma biblioteca, documente as principais classes/tipos e métodos/funções que podem ser chamados. Se for uma aplicação web, defina sua interface de URL (geralmente sua interface REST). Se for uma interface de linha de comando, documente os parâmetros e opções que suporta. Em muitos casos, é melhor que a maior parte desta documentação seja gerada automaticamente, para que essa documentação permaneça sincronizada com o software conforme ele muda, mas isso não é obrigatório. O projeto PODE usar hiperlinks para material não pertencente ao projeto como documentação. A documentação PODE ser gerada automaticamente (quando praticável, esta é frequentemente a melhor forma de fazê-lo). A documentação de uma interface REST pode ser gerada usando Swagger/OpenAPI. A documentação da interface de código PODE ser gerada usando ferramentas como JSDoc (JavaScript), ESDoc (JavaScript), pydoc (Python), devtools (R), pkgdown (R) e Doxygen (muitos). Simplesmente ter comentários no código de implementação não é suficiente para satisfazer este critério; precisa haver uma maneira fácil de ver a informação sem ler todo o código-fonte. Se o projeto não produz software, escolha "não aplicável" (N/A).

    The command guide describes inputs, commands, and generated records. The segment guide documents selection variables and MATCH/MISMATCH outputs. The artifact-verifier guide documents inputs, options, generated files, and verification behavior. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/README.md https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/docs/guides/check_a_segment.md https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/docs/guides/ovllm_verify.md


  • Outro


    Suficiente para um badge!

    Os sites do projeto (site, repositório e URLs de download) DEVEM suportar HTTPS usando TLS. [sites_https]
    Isso requer que a URL da página inicial do projeto e a URL do repositório de controle de versão comecem com "https:", não "http:". Você pode obter certificados gratuitos do Let's Encrypt. Os projetos PODEM implementar este critério usando (por exemplo) GitHub pages, GitLab pages ou SourceForge project pages. Se você suportar HTTP, recomendamos que você redirecione o tráfego HTTP para HTTPS.

    The project website and source repository use HTTPS on GitHub. Published release files are available through HTTPS on Hugging Face. https://github.com/AOSSIE-Org/OpenVerifiableLLM https://huggingface.co/datasets/AOSSIE/openverifiable-enwiki-20260901-20260918-r1-evidence/tree/main/release/simple-run


    Suficiente para um badge!

    O projeto DEVE ter um ou mais mecanismos para discussão (incluindo mudanças propostas e questões) que sejam pesquisáveis, permitam que mensagens e tópicos sejam endereçados por URL, permitam que novas pessoas participem de algumas das discussões e não exijam instalação no lado do cliente de software proprietário. [discussion]
    Exemplos de mecanismos aceitáveis incluem lista(s) de discussão arquivadas, discussões de questões e pull requests do GitHub, Bugzilla, Mantis e Trac. Mecanismos de discussão assíncronos (como IRC) são aceitáveis se atenderem a esses critérios; certifique-se de que haja um mecanismo de arquivamento endereçável por URL. JavaScript proprietário, embora desencorajado, é permitido.

    The public GitHub issue tracker and pull requests provide searchable discussions with stable URLs. Contributors can participate through a web browser. https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues https://github.com/AOSSIE-Org/OpenVerifiableLLM/pulls


    Suficiente para um badge!

    O projeto DEVERIA fornecer documentação em inglês e ser capaz de aceitar relatórios de bugs e comentários sobre código em inglês. [english]
    O inglês é atualmente a língua franca da tecnologia de computadores; o suporte ao inglês aumenta o número de diferentes desenvolvedores e revisores em potencial em todo o mundo. Um projeto pode atender a este critério mesmo que o idioma principal de seus desenvolvedores principais não seja o inglês.

    The README, contribution guide, and user guides are in English. The issue tracker contains English bug reports and discussions. https://github.com/AOSSIE-Org/OpenVerifiableLLM#readme https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues


    Suficiente para um badge!

    O projeto DEVE ser mantido. [maintained]
    No mínimo, o projeto deve tentar responder a relatórios significativos de problemas e vulnerabilidades. Um projeto que está buscando ativamente um badge provavelmente é mantido. Todos os projetos e pessoas têm recursos limitados, e projetos típicos devem rejeitar algumas mudanças propostas, portanto, recursos limitados e rejeições de propostas não indicam por si só um projeto não mantido.

    Quando um projeto souber que não será mais mantido, ele deve definir este critério como "Não atendido" e usar o(s) mecanismo(s) apropriado(s) para indicar a outros que não está sendo mantido. Por exemplo, use "DEPRECATED" como o primeiro cabeçalho de seu README, adicione "DEPRECATED" perto do início de sua página inicial, adicione "DEPRECATED" ao início da descrição do projeto do repositório de código, adicione um badge de sem intenção de manutenção em seu README e/ou página inicial, marque-o como descontinuado em quaisquer repositórios de pacotes (por exemplo, npm deprecate), e/ou use o sistema de marcação do repositório de código para arquivá-lo (por exemplo, a configuração "archive" do GitHub, a marcação "archived" do GitLab, o status "readonly" do Gerrit ou o status de projeto "abandoned" do SourceForge). Discussão adicional pode ser encontrada aqui.

    The project has current commits, reviewed pull requests, and named maintainers. Recent merged PRs restored the full license, hardened archive extraction, and documented a private security contact. The reviewed main commit is 874f0e728a6002b0daac6cddb0b9efa839a89faa. https://github.com/AOSSIE-Org/OpenVerifiableLLM/commit/874f0e728a6002b0daac6cddb0b9efa839a89faa https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/MAINTAINERS.md


 Controle de Mudanças 9/9 ●

  • Repositório de código-fonte público controlado por versão


    Suficiente para um badge!

    O projeto DEVE ter um repositório de código-fonte controlado por versão que seja publicamente legível e tenha uma URL. [repo_public]
    A URL PODE ser a mesma que a URL do projeto. O projeto PODE usar branches privados (não públicos) em casos específicos enquanto a mudança não for lançada publicamente (por exemplo, para corrigir uma vulnerabilidade antes de ser revelada ao público).

    The project's Git repository is publicly readable at a stable URL. https://github.com/AOSSIE-Org/OpenVerifiableLLM


    Suficiente para um badge!

    O repositório de código-fonte do projeto DEVE rastrear quais mudanças foram feitas, quem fez as mudanças e quando as mudanças foram feitas. [repo_track]

    Git records source changes, authors, and commit dates. The public commit history is available on GitHub. https://github.com/AOSSIE-Org/OpenVerifiableLLM/commits/main/


    Suficiente para um badge!

    Para permitir revisão colaborativa, o repositório de código-fonte do projeto DEVE incluir versões intermediárias para revisão entre lançamentos; ele NÃO DEVE incluir apenas lançamentos finais. [repo_interim]
    Os projetos PODEM optar por omitir versões intermediárias específicas de seus repositórios de código-fonte públicos (por exemplo, aquelas que corrigem vulnerabilidades de segurança não públicas específicas, podem nunca ser lançadas publicamente ou incluem material que não pode ser legalmente postado e não estão no lançamento final).

    The public main branch and pull requests contain intermediate changes for review between releases. The repository is not limited to final release snapshots. https://github.com/AOSSIE-Org/OpenVerifiableLLM/commits/main/ https://github.com/AOSSIE-Org/OpenVerifiableLLM/pulls


    Suficiente para um badge!

    É SUGERIDO que software de controle de versão distribuído comum seja usado (por exemplo, git) para o repositório de código-fonte do projeto. [repo_distributed]
    O Git não é especificamente exigido e os projetos podem usar software de controle de versão centralizado (como subversion) com justificativa.

    The project uses Git, a distributed version control system, hosted on GitHub. https://github.com/AOSSIE-Org/OpenVerifiableLLM


  • Numeração de versão única


    Suficiente para um badge!

    Os resultados do projeto DEVEM ter um identificador de versão único para cada lançamento destinado a ser usado pelos usuários. [version_unique]
    Isso PODE ser atendido de várias maneiras, incluindo IDs de commit (como git commit id ou mercurial changeset id) ou um número de versão (incluindo números de versão que usam versionamento semântico ou esquemas baseados em data como AAAAMMDD).

    The published release is identified as v1.0.0. Its Git tag identifies the source, and the release notes pin the downloadable evidence to a full Hugging Face revision. https://github.com/AOSSIE-Org/OpenVerifiableLLM/releases/tag/v1.0.0


    Suficiente para um badge!

    É SUGERIDO que o formato de numeração de versão Versionamento Semântico (SemVer) ou Versionamento de Calendário (CalVer) seja usado para lançamentos. É SUGERIDO que aqueles que usam CalVer incluam um valor de nível micro. [version_semver]
    Os projetos geralmente devem preferir qualquer formato que seja esperado por seus usuários, por exemplo, porque é o formato normal usado por seu ecossistema. Muitos ecossistemas preferem SemVer, e SemVer é geralmente preferido para interfaces de programação de aplicações (APIs) e kits de desenvolvimento de software (SDKs). CalVer tende a ser usado por projetos que são grandes, têm um número excepcionalmente grande de dependências desenvolvidas independentemente, têm um escopo em constante mudança ou são sensíveis ao tempo. É SUGERIDO que aqueles que usam CalVer incluam um valor de nível micro, porque incluir um nível micro suporta branches mantidos simultaneamente sempre que isso se tornar necessário. Outros formatos de numeração de versão podem ser usados como números de versão, incluindo IDs de commit do git ou IDs de changeset do mercurial, desde que identifiquem exclusivamente as versões. No entanto, algumas alternativas (como IDs de commit do git) podem causar problemas como identificadores de lançamento, porque os usuários podem não ser capazes de determinar facilmente se estão atualizados. O formato do ID de versão pode não ser importante para identificar lançamentos de software se todos os destinatários executarem apenas a versão mais recente (por exemplo, é o código para um único site ou serviço de internet que é constantemente atualizado via entrega contínua).

    The project uses the major.minor.patch version format: v1.0.0 for the release and 1.0.0 in the Python package metadata. https://github.com/AOSSIE-Org/OpenVerifiableLLM/releases/tag/v1.0.0 https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/pyproject.toml


    Suficiente para um badge!

    É SUGERIDO que os projetos identifiquem cada lançamento dentro de seu sistema de controle de versão. Por exemplo, é SUGERIDO que aqueles que usam git identifiquem cada lançamento usando tags do git. [version_tags]

    The v1.0.0 Git tag identifies the published release in version control. https://github.com/AOSSIE-Org/OpenVerifiableLLM/tree/v1.0.0


  • Notas de lançamento


    Suficiente para um badge!

    O projeto DEVE fornecer, em cada lançamento, notas de lançamento que sejam um resumo legível por humanos das principais mudanças nesse lançamento para ajudar os usuários a determinar se devem atualizar e qual será o impacto da atualização. As notas de lançamento NÃO DEVEM ser a saída bruta de um log de controle de versão (por exemplo, os resultados do comando "git log" não são notas de lançamento). Projetos cujos resultados não se destinam à reutilização em vários locais (como o software para um único site ou serviço) E empregam entrega contínua PODEM selecionar "N/A". (URL obrigatória) [release_notes]
    As notas de lançamento PODEM ser implementadas de várias maneiras. Muitos projetos as fornecem em um arquivo chamado "NEWS", "CHANGELOG" ou "ChangeLog", opcionalmente com extensões como ".txt", ".md" ou ".html". Historicamente, o termo "change log" significava um log de todas as mudanças, mas para atender a esses critérios, o que é necessário é um resumo legível por humanos. As notas de lançamento PODEM, em vez disso, ser fornecidas por mecanismos de sistema de controle de versão, como o fluxo de trabalho GitHub Releases.

    The v1.0.0 release includes a human-readable summary of features, verifier changes, downloads, results, usage, and known limitations. It is not a raw version-control log. https://github.com/AOSSIE-Org/OpenVerifiableLLM/releases/tag/v1.0.0


    Suficiente para um badge!

    As notas de lançamento DEVEM identificar todas as vulnerabilidades de tempo de execução publicamente conhecidas corrigidas neste lançamento que já tinham uma atribuição CVE ou similar quando o lançamento foi criado. Este critério pode ser marcado como não aplicável (N/A) se os usuários normalmente não conseguem atualizar o software por conta própria (por exemplo, como geralmente é verdade para atualizações de kernel). Este critério se aplica apenas aos resultados do projeto, não às suas dependências. Se não houver notas de lançamento ou se não houve vulnerabilidades publicamente conhecidas, escolha N/A. [release_notes_vulns]
    Este critério ajuda os usuários a determinar se uma determinada atualização irá corrigir uma vulnerabilidade que é publicamente conhecida, para ajudar os usuários a tomar uma decisão informada sobre atualização. Se os usuários normalmente não conseguem atualizar o software por conta própria em seus computadores, mas devem depender de um ou mais intermediários para realizar a atualização (como é frequentemente o caso de um kernel e software de baixo nível que está entrelaçado com um kernel), o projeto pode escolher "não aplicável" (N/A) em vez disso, já que essa informação adicional não será útil para esses usuários. Da mesma forma, um projeto pode escolher N/A se todos os destinatários executarem apenas a versão mais recente (por exemplo, é o código para um único site ou serviço de internet que é constantemente atualizado via entrega contínua). Este critério se aplica apenas aos resultados do projeto, não às suas dependências. Listar as vulnerabilidades de todas as dependências transitivas de um projeto torna-se difícil conforme as dependências aumentam e variam, e é desnecessário já que ferramentas que examinam e rastreiam dependências podem fazer isso de uma forma mais escalável.

    Maintainer confirmation, 2026-10-27: no vulnerability fixed in v1.0.0 had a CVE, GHSA, or similar assigned vulnerability identifier when that release was created. The release notes describe the included verifier security fixes and reference PRs #204, #207, #210, and #218. Future release notes will identify each fixed vulnerability that has an assigned identifier. https://github.com/AOSSIE-Org/OpenVerifiableLLM/releases/tag/v1.0.0


 Relatórios 7/8 ●

  • Processo de relato de bugs


    Suficiente para um badge!

    O projeto DEVE fornecer um processo para os usuários enviarem relatórios de bugs (por exemplo, usando um rastreador de problemas ou uma lista de discussão). (URL obrigatória) [report_process]

    Users can submit bug reports through GitHub issues. CONTRIBUTING.md specifies the command, environment, expected result, and actual result to include. https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/CONTRIBUTING.md#reporting-bugs


    Suficiente para um badge!

    O projeto DEVERIA usar um rastreador de problemas para rastrear problemas individuais. [report_tracker]

    The project uses the public GitHub issue tracker to record and track individual bugs. https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues


    Suficiente para um badge!

    O projeto DEVE reconhecer a maioria dos relatórios de bugs enviados nos últimos 2-12 meses (inclusive); a resposta não precisa incluir uma correção. [report_responses]

    Reviewed public bug reports created from 2026-08-26 through 2026-10-26. At least 9 of 17 reports received direct maintainer acknowledgment (52.9%): the maintainer closed #192, #194, #196, #200, #205, #206, #209, and #212, and assigned #223. Automated welcome messages and reporter self-comments were excluded. https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues/223 https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/MAINTAINERS.md


    Suficiente para um badge!

    O projeto DEVERIA responder a uma maioria (>50%) das solicitações de melhorias nos últimos 2-12 meses (inclusive). [enhancement_responses]
    A resposta PODE ser 'não' ou uma discussão sobre seus méritos. O objetivo é simplesmente que haja alguma resposta a algumas solicitações, o que indica que o projeto ainda está ativo. Para fins deste critério, os projetos não precisam contar solicitações falsas (por exemplo, de spammers ou sistemas automatizados). Se um projeto não estiver mais fazendo melhorias, selecione "não atendido" e inclua a URL que torna esta situação clara para os usuários. Se um projeto tende a ser sobrecarregado pelo número de solicitações de melhorias, selecione "não atendido" e explique.

    Reviewed public enhancement requests recorded as issues from 2026-08-26 through 2026-10-26. The one documentation enhancement in this window, #176, received a maintainer response through its linked implementation PR #191 on 2026-10-25. The response explained the project scope change and invited an updated contribution (1 of 1 requests). https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues/176 https://github.com/AOSSIE-Org/OpenVerifiableLLM/pull/191#issuecomment-6397651721


    Suficiente para um badge!

    O projeto DEVE ter um arquivo publicamente disponível para relatórios e respostas para pesquisa posterior. (URL obrigatória) [report_archive]

    GitHub publicly archives issue reports, comments, and status changes. Open and closed reports remain searchable and have stable URLs. https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues?q=is%3Aissue


  • Processo de relato de vulnerabilidades


    Suficiente para um badge!

    O projeto DEVE publicar o processo para relatar vulnerabilidades no site do projeto. (URL obrigatória) [vulnerability_report_process]
    Projetos hospedados no GitHub DEVERIAM considerar habilitar o relato privado de uma vulnerabilidade de segurança. Projetos no GitLab DEVERIAM considerar usar sua capacidade de relatar uma vulnerabilidade de forma privada. Projetos PODEM identificar um endereço de e-mail em https://PROJECTSITE/security, frequentemente na forma security@example.org. Este processo de relato de vulnerabilidades PODE ser o mesmo que seu processo de relato de bugs. Relatórios de vulnerabilidades PODEM ser sempre públicos, mas muitos projetos têm um mecanismo de relato de vulnerabilidades privado.

    The README and MAINTAINERS.md link to AOSSIE's security policy. The policy describes vulnerability reporting, the information to include, and the response process. https://github.com/AOSSIE-Org/.github/blob/master/SECURITY.md https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/MAINTAINERS.md


    Suficiente para um badge!

    Se relatórios privados de vulnerabilidades forem suportados, o projeto DEVE incluir como enviar as informações de uma forma que seja mantida privada. (URL obrigatória) [vulnerability_report_private]
    Exemplos incluem um relatório de defeito privado enviado na web usando HTTPS (TLS) ou um e-mail criptografado usando OpenPGP. Se relatórios de vulnerabilidades forem sempre públicos (portanto, nunca há relatórios privados de vulnerabilidades), escolha "não aplicável" (N/A).

    MAINTAINERS.md documents private vulnerability reporting by email to rajat.roy@aossie.org or by Discord direct message to the maintainer, reoarei. Reports should include the affected file or command, reproduction steps, and impact. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/MAINTAINERS.md#reporting-a-vulnerability


    Insuficiente para um badge.

    O tempo de resposta inicial do projeto para qualquer relatório de vulnerabilidade recebido nos últimos 6 meses DEVE ser menor ou igual a 14 dias. [vulnerability_report_response]
    Se não houve vulnerabilidades relatadas nos últimos 6 meses, escolha "não aplicável" (N/A).

    One vulnerability report in the last six months did not receive a human response within 14 days. PR #118 (opened 2026-09-21) described a signer-trust bypass. Its first human maintainer reply came on 2026-10-25, 34 days later. Before that it had only automated responses. https://github.com/AOSSIE-Org/OpenVerifiableLLM/pull/118

    Every vulnerability report since then received a maintainer response within 14 days. The longest wait was 3 days 7 hours:

    • #200 (19 Oct): replied after 9 h
    • #205 (22 Oct): replied after 3 d 7 h
    • #206 (22 Oct): replied after 3 d 3 h
    • #209 (22 Oct): replied after 3 d 1 h
    • #222 (25 Oct): replied after 22 h
    • #238 (26 Oct): replied after 9 h

    MAINTAINERS.md now documents a private reporting route and commits to replying within 14 days. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/MAINTAINERS.md#reporting-a-vulnerability

    This criterion will be re-evaluated once #118 leaves the six-month window, on 2027-03-21.


 Qualidade 13/13 ●

  • Sistema de compilação funcional


    Suficiente para um badge!

    Se o software produzido pelo projeto requer construção para uso, o projeto DEVE fornecer um sistema de construção funcional que possa reconstruir automaticamente o software a partir do código-fonte. [build]
    Um sistema de construção determina quais ações precisam ocorrer para reconstruir o software (e em que ordem), e então executa essas etapas. Por exemplo, ele pode invocar um compilador para compilar o código-fonte. Se um executável é criado a partir do código-fonte, deve ser possível modificar o código-fonte do projeto e então gerar um executável atualizado com essas modificações. Se o software produzido pelo projeto depende de bibliotecas externas, o sistema de construção não precisa construir essas bibliotecas externas. Se não houver necessidade de construir nada para usar o software depois que seu código-fonte for modificado, selecione "não aplicável" (N/A).

    The project has a PEP 517 build configuration using setuptools and wheel. CI successfully installs the source with pip install -e ".[pipeline]". https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/pyproject.toml https://github.com/AOSSIE-Org/OpenVerifiableLLM/actions/runs/40418247539


    Suficiente para um badge!

    É SUGERIDO que ferramentas comuns sejam usadas para construir o software. [build_common_tools]
    Por exemplo, Maven, Ant, cmake, o autotools, make, rake (Ruby) ou devtools (R).

    The build uses standard Python packaging tools: pip, setuptools, and wheel. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/pyproject.toml


    Suficiente para um badge!

    O projeto DEVERIA ser construível usando apenas ferramentas FLOSS. [build_floss_tools]

    Python, pip, setuptools, and wheel provide the source build and installation process. The build does not require a proprietary build tool. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/pyproject.toml https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/ci.yml


  • Conjunto de testes automatizados


    Suficiente para um badge!

    O projeto DEVE usar pelo menos um conjunto de testes automatizados que seja disponibilizado publicamente como FLOSS (esse conjunto de testes pode ser mantido como um projeto FLOSS separado). O projeto DEVE mostrar ou documentar claramente como executar o(s) conjunto(s) de testes (por exemplo, por meio de um script de integração contínua (CI) ou por meio de documentação em arquivos como BUILD.md, README.md ou CONTRIBUTING.md). [test]
    O projeto PODE usar múltiplos conjuntos de testes automatizados (por exemplo, um que executa rapidamente, versus outro que é mais completo mas requer equipamento especial). Existem muitos frameworks de teste e sistemas de suporte a testes disponíveis, incluindo Selenium (automação de navegador web), Junit (JVM, Java), RUnit (R), testthat (R).

    The public repository includes an automated pytest/unittest suite under the project's declared GPL-3.0 license. CONTRIBUTING.md documents how to run it, and CI runs the suite. https://github.com/AOSSIE-Org/OpenVerifiableLLM/tree/main/tests https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/CONTRIBUTING.md#development-setup https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/ci.yml


    Suficiente para um badge!

    Um conjunto de testes DEVERIA ser invocável de forma padrão para aquela linguagem. [test_invocation]
    Por exemplo, "make check", "mvn test", ou "rake test" (Ruby).

    The suite uses the standard Python invocation: python -m pytest -q tests. A smaller CPU suite for simple/ is also documented. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/CONTRIBUTING.md#development-setup


    Mal suficiente para um badge.

    É SUGERIDO que o conjunto de testes cubra a maioria (ou idealmente todos) os ramos de código, campos de entrada e funcionalidade. [test_most]

    The project checklist records incomplete test coverage, especially GPU training paths in simple/ovl.py. CI measures statement coverage, but broad branch coverage across the active software is not established. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/BestPracticesChecklist.md#automated-testing https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/ci.yml


    Suficiente para um badge!

    É SUGERIDO que o projeto implemente integração contínua (onde código novo ou alterado é frequentemente integrado em um repositório de código central e testes automatizados são executados no resultado). [test_continuous_integration]

    GitHub Actions runs automated tests on pushes to main and pull requests. CI passed on main commit 874f0e728a6002b0daac6cddb0b9efa839a89faa. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/ci.yml https://github.com/AOSSIE-Org/OpenVerifiableLLM/actions/runs/40418247539


  • Teste de novas funcionalidades


    Suficiente para um badge!

    O projeto DEVE ter uma política geral (formal ou não) de que conforme nova funcionalidade importante seja adicionada ao software produzido pelo projeto, testes dessa funcionalidade devem ser adicionados a um conjunto de testes automatizados. [test_policy]
    Desde que haja uma política, mesmo que verbal, que diga que desenvolvedores devem adicionar testes ao conjunto de testes automatizados para novas funcionalidades importantes, selecione "Met".

    CONTRIBUTING.md requires test execution and success/failure tests for changes to verification, serialization, RNG/optimizer state, and the manifest. New verification behavior must extend the falsifiability tests. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/CONTRIBUTING.md#making-changes


    Suficiente para um badge!

    O projeto DEVE ter evidências de que a test_policy para adicionar testes foi seguida nas mudanças mais recentes e importantes ao software produzido pelo projeto. [tests_are_added]
    Funcionalidade importante seria tipicamente mencionada nas notas de lançamento. Perfeição não é necessária, apenas evidências de que testes estão sendo tipicamente adicionados na prática ao conjunto de testes automatizados quando nova funcionalidade importante é adicionada ao software produzido pelo projeto.

    Recent major changes include tests. PR #217 added the simple training loop and weight-verdict tests. PR #208 added CPU loop tests. PR #218 added a regression test for missing artifact hashes. https://github.com/AOSSIE-Org/OpenVerifiableLLM/pull/217 https://github.com/AOSSIE-Org/OpenVerifiableLLM/pull/208 https://github.com/AOSSIE-Org/OpenVerifiableLLM/pull/218


    Suficiente para um badge!

    É SUGERIDO que esta política sobre adicionar testes (veja test_policy) seja documentada nas instruções para propostas de mudanças. [tests_documented_added]
    Contudo, mesmo uma regra informal é aceitável desde que os testes estejam sendo adicionados na prática.

    The contribution instructions state when contributors must add tests and require clean and tampered verification cases. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/CONTRIBUTING.md#making-changes


  • Sinalizadores de aviso


    Suficiente para um badge!

    O projeto DEVE habilitar uma ou mais flags de avisos do compilador, um modo de linguagem "seguro", ou usar uma ferramenta "linter" separada para procurar erros de qualidade de código ou erros comuns simples, se houver pelo menos uma ferramenta FLOSS que possa implementar este critério na linguagem selecionada. [warnings]
    Exemplos de flags de avisos do compilador incluem gcc/clang "-Wall". Exemplos de modo de linguagem "seguro" incluem JavaScript "use strict" e perl5 "use warnings". Uma ferramenta "linter" separada é simplesmente uma ferramenta que examina o código-fonte para procurar erros de qualidade de código ou erros comuns simples. Estes são tipicamente habilitados dentro do código-fonte ou instruções de compilação.

    CI runs Ruff on the active training loop, artifact-verifier modules, and their tests. Enabled rules include pycodestyle errors, Pyflakes, and flake8-bugbear. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/pyproject.toml https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/ci.yml


    Suficiente para um badge!

    O projeto DEVE tratar os avisos. [warnings_fixed]
    Estes são os avisos identificados pela implementação do critério warnings. O projeto deve corrigir avisos ou marcá-los no código-fonte como falsos positivos. Idealmente não haveria avisos, mas um projeto PODE aceitar alguns avisos (tipicamente menos de 1 aviso por 100 linhas ou menos de 10 avisos).

    The CI Ruff step passed on main commit 874f0e728a6002b0daac6cddb0b9efa839a89faa. The configuration documents limited exceptions for compact source style, import placement, and the unchanged training-data path. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/pyproject.toml https://github.com/AOSSIE-Org/OpenVerifiableLLM/actions/runs/40418247539


    Mal suficiente para um badge.

    É SUGERIDO que projetos sejam maximamente rigorosos com avisos no software produzido pelo projeto, onde prático. [warnings_strict]
    Alguns avisos não podem ser efetivamente habilitados em alguns projetos. O que é necessário é evidência de que o projeto está se esforçando para habilitar flags de avisos onde puder, de forma que erros sejam detectados cedo.

    Ruff uses selected rule groups and a limited active-code scope. The project checklist records that maximum practical warning strictness is not yet met. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/BestPracticesChecklist.md#linting--warning-flags https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/pyproject.toml


 Segurança 16/16 ●

  • Conhecimento de desenvolvimento seguro


    Suficiente para um badge!

    O projeto DEVE ter pelo menos um desenvolvedor principal que saiba como projetar software seguro. (Veja 'details' para os requisitos exatos.) [know_secure_design]
    Isto requer entender os seguintes princípios de projeto, incluindo os 8 princípios de Saltzer and Schroeder:
    • economia de mecanismo (mantenha o projeto tão simples e pequeno quanto prático, por exemplo, adotando simplificações amplas)
    • padrões à prova de falhas (decisões de acesso devem negar por padrão, e a instalação dos projetos deve ser segura por padrão)
    • mediação completa (todo acesso que possa ser limitado deve ser verificado quanto à autoridade e não ser contornável)
    • projeto aberto (mecanismos de segurança não devem depender da ignorância do invasor sobre seu projeto, mas sim em informações mais facilmente protegidas e alteradas como chaves e senhas)
    • separação de privilégios (idealmente, acesso a objetos importantes deve depender de mais de uma condição, de forma que derrotar um sistema de proteção não permita acesso completo. Por exemplo, autenticação multifator, como exigir tanto uma senha quanto um token de hardware, é mais forte que autenticação de fator único)
    • menor privilégio (processos devem operar com o menor privilégio necessário)
    • menor mecanismo comum (o projeto deve minimizar os mecanismos comuns a mais de um usuário e dos quais todos os usuários dependem, por exemplo, diretórios para arquivos temporários)
    • aceitabilidade psicológica (a interface humana deve ser projetada para facilidade de uso - projetar para "menor surpresa" pode ajudar)
    • superfície de ataque limitada (a superfície de ataque - o conjunto dos diferentes pontos onde um invasor pode tentar entrar ou extrair dados - deve ser limitada)
    • validação de entrada com listas de permissões (entradas devem tipicamente ser verificadas para determinar se são válidas antes de serem aceitas; esta validação deve usar listas de permissões (que aceitam apenas valores conhecidamente bons), não listas de negação (que tentam listar valores conhecidamente ruins)).
    Um "desenvolvedor principal" em um projeto é qualquer pessoa que esteja familiarizada com a base de código do projeto, esteja confortável fazendo mudanças nela, e seja reconhecida como tal pela maioria dos outros participantes no projeto. Um desenvolvedor principal tipicamente faria várias contribuições ao longo do último ano (via código, documentação ou respondendo perguntas). Desenvolvedores seriam tipicamente considerados desenvolvedores principais se iniciaram o projeto (e não deixaram o projeto há mais de três anos), têm a opção de receber informações em um canal privado de relato de vulnerabilidades (se houver um), podem aceitar commits em nome do projeto, ou realizar lançamentos finais do software do projeto. Se há apenas um desenvolvedor, esse indivíduo é o desenvolvedor principal. Muitos livros e cursos estão disponíveis para ajudá-lo a entender como desenvolver software mais seguro e discutir projeto. Por exemplo, o curso Secure Software Development Fundamentals é um conjunto gratuito de três cursos que explicam como desenvolver software mais seguro (é gratuito se você auditar; por uma taxa extra você pode obter um certificado para provar que aprendeu o material).

    Maintainer self-attestation, 2026-10-27: the primary maintainer understands secure-design principles and applies them in the verifier. Examples include fail-closed verification, least privilege through read-only CI tokens, complete input checks against a hash-linked record, and external timestamp trust anchors. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/docs/design/simple_run.md


    Suficiente para um badge!

    Pelo menos um dos desenvolvedores principais do projeto DEVE conhecer tipos comuns de erros que levam a vulnerabilidades neste tipo de software, bem como pelo menos um método para combater ou mitigar cada um deles. [know_common_errors]
    Exemplos (dependendo do tipo de software) incluem injeção SQL, injeção de SO, estouro clássico de buffer, cross-site scripting, autenticação ausente e autorização ausente. Veja o CWE/SANS top 25 ou OWASP Top 10 para listas comumente usadas. Muitos livros e cursos estão disponíveis para ajudá-lo a entender como desenvolver software mais seguro e discutir erros comuns de implementação que levam a vulnerabilidades. Por exemplo, o curso Secure Software Development Fundamentals é um conjunto gratuito de três cursos que explicam como desenvolver software mais seguro (é gratuito se você auditar; por uma taxa extra você pode obter um certificado para provar que aprendeu o material).

    Maintainer self-attestation, 2026-10-27: the primary maintainer understands common errors relevant to this software, including unsafe deserialization, path traversal, dependency tampering, and false verification results. Relevant mitigations include weights-only loading or signature verification before unpickling, path containment, locked and pinned dependencies, and tampering tests that must fail. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/BestPracticesChecklist.md#secure-development-knowledge


  • Usar práticas criptográficas boas e básicas

    Observe que alguns softwares não precisam usar mecanismos criptográficos. Se o seu projeto produzir software que (1) inclui, ativa ou habilita funcionalidade de criptografia, e (2) pode ser liberado dos Estados Unidos (EUA) para fora dos EUA ou para um não cidadão dos EUA, você pode ser legalmente obrigado a tomar algumas etapas extras. Normalmente isso envolve apenas o envio de um e-mail. Para mais informações, consulte a seção de criptografia de Understanding Open Source Technology & US Export Controls.

    Suficiente para um badge!

    O software produzido pelo projeto DEVE usar, por padrão, apenas protocolos criptográficos e algoritmos que são publicamente publicados e revisados por especialistas (se protocolos criptográficos e algoritmos forem usados). [crypto_published]
    Esses critérios criptográficos nem sempre se aplicam porque alguns softwares não têm necessidade de usar diretamente capacidades criptográficas.

    The project uses published algorithms and protocols: SHA-256, Ed25519 signatures, RFC 3161 timestamps, and Sigstore. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/ovl.py https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/stamp.py https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/src/signing.py


    Suficiente para um badge!

    Se o software produzido pelo projeto for uma aplicação ou biblioteca, e seu propósito principal não for implementar criptografia, então ele DEVERIA apenas chamar software especificamente projetado para implementar funções criptográficas; ele NÃO DEVERIA reimplementar o seu próprio. [crypto_call]

    Cryptographic operations use Python hashlib, PyNaCl/libsodium, OpenSSL, and Sigstore. The timestamp code encodes requests but delegates cryptographic verification to OpenSSL. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/src/signing.py https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/stamp.py


    Suficiente para um badge!

    Toda funcionalidade no software produzido pelo projeto que depende de criptografia DEVE ser implementável usando FLOSS. [crypto_floss]
    Veja o Open Standards Requirement for Software by the Open Source Initiative.

    Cryptographic functionality uses FLOSS implementations: Python hashlib, PyNaCl/libsodium, OpenSSL, and Sigstore. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/pyproject.toml https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/stamp.py https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/release-models.yml


    Suficiente para um badge!

    Os mecanismos de segurança dentro do software produzido pelo projeto DEVEM usar comprimentos de chave padrão que pelo menos atendam aos requisitos mínimos do NIST até o ano de 2030 (conforme declarado em 2012). DEVE ser possível configurar o software para que comprimentos de chave menores sejam completamente desabilitados. [crypto_keylength]
    Esses comprimentos mínimos de bits são: chave simétrica 112, módulo de fatoração 2048, chave de logaritmo discreto 224, grupo logarítmico discreto 2048, curva elíptica 224 e hash 224 (hashing de senha não é coberto por este comprimento de bits, mais informações sobre hashing de senha podem ser encontradas no critério crypto_password_storage). Veja https://www.keylength.com para uma comparação de recomendações de comprimento de chave de várias organizações. O software PODE permitir comprimentos de chave menores em algumas configurações (idealmente não permitiria, já que isso permite ataques de downgrade, mas comprimentos de chave mais curtos são às vezes necessários para interoperabilidade).

    Project artifact commitments use SHA-256, and artifact signatures use Ed25519. These mechanisms have no weaker configurable key-size option. Upstream MD5/SHA-1 metadata checks are separate compatibility checks, not the project's primary artifact commitments. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/src/signing.py https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/ovl.py


    Suficiente para um badge!

    Os mecanismos de segurança padrão dentro do software produzido pelo projeto NÃO DEVEM depender de algoritmos criptográficos quebrados (por exemplo, MD4, MD5, DES único, RC4, Dual_EC_DRBG), ou usar modos de cifra que são inadequados ao contexto, a menos que sejam necessários para implementar um protocolo interoperável (onde o protocolo implementado é a versão mais recente desse padrão amplamente suportado pelo ecossistema de rede, esse ecossistema requer o uso de tal algoritmo ou modo, e esse ecossistema não oferece nenhuma alternativa mais segura). A documentação DEVE descrever quaisquer riscos de segurança relevantes e quaisquer mitigações conhecidas se esses algoritmos ou modos quebrados forem necessários para um protocolo interoperável. [crypto_working]
    O modo ECB é quase nunca apropriado porque revela blocos idênticos dentro do texto cifrado conforme demonstrado pelo pinguim ECB, e o modo CTR é frequentemente inadequado porque não realiza autenticação e causa duplicatas se o estado de entrada for repetido. Em muitos casos é melhor escolher um modo de algoritmo de cifra de bloco projetado para combinar sigilo e autenticação, por exemplo, Galois/Counter Mode (GCM) e EAX. Projetos PODEM permitir que usuários habilitem mecanismos quebrados (por exemplo, durante a configuração) onde necessário para compatibilidade, mas então os usuários sabem que estão fazendo isso.

    The project's primary integrity mechanisms use SHA-256 and Ed25519. MD5/SHA-1 are used for compatibility checks against upstream Wikimedia metadata and Git object identifiers, alongside project SHA-256 commitments. This limited use is documented in the checklist. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/BestPracticesChecklist.md#cryptography-mark-na-if-project-does-not-handle-cryptography https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/src/ovl_pipeline/preparation.py


    Suficiente para um badge!

    Os mecanismos de segurança padrão dentro do software produzido pelo projeto NÃO DEVERIAM depender de algoritmos criptográficos ou modos com fraquezas sérias conhecidas (por exemplo, o algoritmo de hash criptográfico SHA-1 ou o modo CBC em SSH). [crypto_weaknesses]
    Preocupações sobre o modo CBC em SSH são discutidas em CERT: SSH CBC vulnerability.

    The project's primary cryptographic integrity mechanisms use SHA-256 and Ed25519. MD5/SHA-1 remain in limited upstream-checksum and Git compatibility roles, rather than as the primary project artifact commitments. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/BestPracticesChecklist.md#cryptography-mark-na-if-project-does-not-handle-cryptography https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/src/ovl_pipeline/preparation.py


    Suficiente para um badge!

    Os mecanismos de segurança dentro do software produzido pelo projeto DEVERIAM implementar sigilo perfeito para frente para protocolos de acordo de chave, de modo que uma chave de sessão derivada de um conjunto de chaves de longo prazo não possa ser comprometida se uma das chaves de longo prazo for comprometida no futuro. [crypto_pfs]

    The project's artifact mechanisms use hashes, digital signatures, and timestamps. They do not implement a session-key agreement protocol. HTTPS and SSH transports are delegated to external libraries and services. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/src/signing.py https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/stamp.py


    Suficiente para um badge!

    Se o software produzido pelo projeto causar o armazenamento de senhas para autenticação de usuários externos, as senhas DEVEM ser armazenadas como hashes iterados com um salt por usuário usando um algoritmo de extensão de chave (iterado) (por exemplo, Argon2id, Bcrypt, Scrypt ou PBKDF2). Veja também OWASP Password Storage Cheat Sheet. [crypto_password_storage]
    Este critério aplica-se apenas quando o software está aplicando autenticação de usuários usando senhas para usuários externos (também conhecida como autenticação de entrada), como aplicações web do lado do servidor. Não se aplica em casos onde o software armazena senhas para autenticar em outros sistemas (também conhecida como autenticação de saída, por exemplo, o software implementa um cliente para algum outro sistema), já que pelo menos partes desse software devem ter acesso frequentemente à senha não hasheada.

    The software does not store passwords to authenticate external users. Credentials used to access external services are outbound credentials, which this criterion excludes. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/BestPracticesChecklist.md#cryptography-mark-na-if-project-does-not-handle-cryptography


    Suficiente para um badge!

    Os mecanismos de segurança dentro do software produzido pelo projeto DEVEM gerar todas as chaves criptográficas e nonces usando um gerador de números aleatórios criptograficamente seguro, e NÃO DEVEM fazê-lo usando geradores que são criptograficamente inseguros. [crypto_random]
    Um gerador de números aleatórios criptograficamente seguro pode ser um gerador de números aleatórios de hardware, ou pode ser um gerador de números pseudo-aleatórios criptograficamente seguro (CSPRNG) usando um algoritmo como Hash_DRBG, HMAC_DRBG, CTR_DRBG, Yarrow ou Fortuna. Exemplos de chamadas para geradores de números aleatórios seguros incluem o java.security.SecureRandom do Java e o window.crypto.getRandomValues do JavaScript. Exemplos de chamadas para geradores de números aleatórios inseguros incluem o java.util.Random do Java e o Math.random do JavaScript.

    Ed25519 key generation uses PyNaCl SigningKey.generate(). Timestamp nonces use Python secrets. Seeded generators are used for reproducible training, not cryptographic keys or nonces. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/src/signing.py https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/stamp.py


  • Entrega protegida contra ataques man-in-the-middle (MITM)


    Suficiente para um badge!

    O projeto DEVE usar um mecanismo de entrega que contraponha ataques MITM. Usar https ou ssh+scp é aceitável. [delivery_mitm]
    Um mecanismo ainda mais forte é liberar o software com pacotes assinados digitalmente, já que isso mitiga ataques no sistema de distribuição, mas isso só funciona se os usuários puderem estar confiantes de que as chaves públicas para assinaturas estão corretas e se os usuários realmente verificarão a assinatura.

    Source and release files are distributed through HTTPS on GitHub and Hugging Face. The current independent checker pins the evidence revision and verifies the release anchor's DigiCert timestamp. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/checker_pod.sh https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/fetch.sh


    Suficiente para um badge!

    Um hash criptográfico (por exemplo, um sha1sum) NÃO DEVE ser recuperado por http e usado sem verificar uma assinatura criptográfica. [delivery_unsigned]
    Esses hashes podem ser modificados durante o trânsito.

    Release files, manifests, and hashes are downloaded through HTTPS. The DigiCert timestamp endpoint uses HTTP, but its response is cryptographically verified with OpenSSL before the current independent checker reports PASS. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/stamp.py https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/simple/checker_pod.sh


  • Vulnerabilidades conhecidas publicamente corrigidas


    Suficiente para um badge!

    NÃO DEVE haver vulnerabilidades não corrigidas de severidade média ou superior que sejam publicamente conhecidas por mais de 60 dias. [vulnerabilities_fixed_60_days]
    A vulnerabilidade deve ser corrigida e lançada pelo próprio projeto (as correções podem ser desenvolvidas em outro lugar). Uma vulnerabilidade se torna publicamente conhecida (para este propósito) uma vez que tem um CVE com informações lançadas publicamente sem paywall (relatadas, por exemplo, no National Vulnerability Database) ou quando o projeto foi informado e a informação foi liberada ao público (possivelmente pelo projeto). Uma vulnerabilidade é considerada de severidade média ou superior se sua pontuação qualitativa base do Common Vulnerability Scoring System (CVSS) for média ou superior. Nas versões 2.0 a 3.1 do CVSS, isso é equivalente a uma pontuação CVSS de 4.0 ou superior. Os projetos podem usar a pontuação CVSS conforme publicada em um banco de dados de vulnerabilidades amplamente usado (como o National Vulnerability Database) usando a versão mais recente do CVSS relatada nesse banco de dados. Os projetos podem, em vez disso, calcular a severidade eles mesmos usando a versão mais recente do CVSS no momento da divulgação da vulnerabilidade, se as entradas de cálculo forem publicamente reveladas uma vez que a vulnerabilidade seja publicamente conhecida. Nota: isso significa que os usuários podem ficar vulneráveis a todos os atacantes em todo o mundo por até 60 dias. Este critério é frequentemente muito mais fácil de atender do que o que o Google recomenda em Rebooting responsible disclosure, porque o Google recomenda que o período de 60 dias comece quando o projeto é notificado mesmo se o relatório não for público. Observe também que este critério de selo, como outros critérios, aplica-se ao projeto individual. Alguns projetos fazem parte de organizações guarda-chuva maiores ou projetos maiores, possivelmente em múltiplas camadas, e muitos projetos alimentam seus resultados para outras organizações e projetos como parte de uma cadeia de suprimentos potencialmente complexa. Um projeto individual geralmente não pode controlar o resto, mas um projeto individual pode trabalhar para lançar uma correção de vulnerabilidade de forma oportuna. Portanto, focamos apenas no tempo de resposta do projeto individual. Uma vez que uma correção esteja disponível do projeto individual, outros podem determinar como lidar com a correção (por exemplo, eles podem atualizar para a versão mais recente ou podem aplicar apenas a correção como uma solução cherry-picked).

    Maintainer attestation, 2026-10-27: no medium-or-higher vulnerability has remained unpatched for more than 60 days after public disclosure. The Medium finding in the 2026-10-26 security review was fixed and deployed the same day. Earlier public verification defects were fixed in #204, #207, #210, and #218. The open reports #222 and #238 date from 2026-10-25 and 2026-10-26 and remain under active handling. https://github.com/AOSSIE-Org/OpenVerifiableLLM/tree/main/security-reviews https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues/222 https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues/238


    Suficiente para um badge!

    Os projetos DEVERIAM corrigir todas as vulnerabilidades críticas rapidamente após serem relatadas. [vulnerabilities_critical_fixed]

    The maintainer reports no confirmed outstanding critical security vulnerability as of 2026-10-27. Security reports are acknowledged and addressed promptly. The signer-trust report #200 was acknowledged within one day and fixed through #204 within six days. The Medium finding in the 2026-10-26 security review was fixed and deployed the same day. https://github.com/AOSSIE-Org/OpenVerifiableLLM/issues/200 https://github.com/AOSSIE-Org/OpenVerifiableLLM/pull/204 https://github.com/AOSSIE-Org/OpenVerifiableLLM/tree/main/security-reviews


  • Outras questões de segurança


    Suficiente para um badge!

    Os repositórios públicos NÃO DEVEM vazar uma credencial privada válida (por exemplo, uma senha funcionando ou chave privada) que se destina a limitar o acesso público. [no_leaked_credentials]
    Um projeto PODE vazar credenciais "de amostra" para testes e bancos de dados sem importância, desde que não sejam destinadas a limitar o acesso público.

    Maintainer attestation, 2026-10-27: the credential scan covered 563 commits in the repository history. It checked private-key blocks and GitHub, Hugging Face, AWS, OpenAI, Slack, Google, and RunPod token formats and found no matches. The keys/ directory contains a public verification key. Private key files are excluded by .gitignore. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.gitignore https://github.com/AOSSIE-Org/OpenVerifiableLLM/tree/main/keys


 Análise 8/8 ●

  • Análise estática de código


    Suficiente para um badge!

    Pelo menos uma ferramenta de análise estática de código (além de avisos do compilador e modos de linguagem "seguros") DEVE ser aplicada a qualquer grande lançamento de produção proposto do software antes de seu lançamento, se houver pelo menos uma ferramenta FLOSS que implemente este critério na linguagem selecionada. [static_analysis]
    Uma ferramenta de análise estática de código examina o código de software (como código-fonte, código intermediário ou executável) sem executá-lo com entradas específicas. Para fins deste critério, avisos do compilador e modos de linguagem "seguros" não contam como ferramentas de análise estática de código (estes tipicamente evitam análise profunda porque a velocidade é vital). Algumas ferramentas de análise estática focam na detecção de defeitos genéricos, outras focam em encontrar tipos específicos de defeitos (como vulnerabilidades), e algumas fazem uma combinação. Exemplos de tais ferramentas de análise estática de código incluem cppcheck (C, C++), clang static analyzer (C, C++), SpotBugs (Java), FindBugs (Java) (incluindo FindSecurityBugs), PMD (Java), Brakeman (Ruby on Rails), lintr (R), goodpractice (R), Coverity Quality Analyzer, SonarQube, Codacy e HP Enterprise Fortify Static Code Analyzer. Listas maiores de ferramentas podem ser encontradas em lugares como a lista da Wikipedia de ferramentas para análise estática de código, informações da OWASP sobre análise estática de código, lista do NIST de analisadores de segurança de código-fonte e lista de ferramentas de análise estática de Wheeler. Se não houver ferramentas de análise estática FLOSS disponíveis para a(s) linguagem(ns) de implementação usada(s), você pode selecionar 'N/A'.

    As of 2026-10-27, CodeQL uses security-extended Python queries on pushes to main, pull requests targeting main, and a daily schedule. CI also runs Ruff on active code. The maintainer's current release process requires analysis before each proposed major production release. Both checks passed on main commit 874f0e728a6002b0daac6cddb0b9efa839a89faa. These automated checks were added on 2026-10-26 and were not present in the source tagged v1.0.0. That release commit was subsequently covered by a published security review. This answer describes the current release process. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/codeql.yml https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/ci.yml https://github.com/AOSSIE-Org/OpenVerifiableLLM/tree/main/security-reviews


    Suficiente para um badge!

    É SUGERIDO que pelo menos uma das ferramentas de análise estática usadas para o critério static_analysis inclua regras ou abordagens para procurar vulnerabilidades comuns na linguagem ou ambiente analisado. [static_analysis_common_vulnerabilities]
    Ferramentas de análise estática que são especificamente projetadas para procurar vulnerabilidades comuns são mais propensas a encontrá-las. Dito isso, usar quaisquer ferramentas estáticas normalmente ajudará a encontrar alguns problemas, então estamos sugerindo mas não exigindo isso para o nível de selo 'passing'.

    CodeQL analyzes Python using its security-extended query suite. The analysis passed on main commit 874f0e728a6002b0daac6cddb0b9efa839a89faa. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/codeql.yml https://github.com/AOSSIE-Org/OpenVerifiableLLM/actions/runs/40418247310


    Suficiente para um badge!

    Todas as vulnerabilidades exploráveis de severidade média e superior descobertas com análise estática de código DEVEM ser corrigidas de forma oportuna após serem confirmadas. [static_analysis_fixed]
    Uma vulnerabilidade é considerada de severidade média ou superior se sua pontuação qualitativa base do Common Vulnerability Scoring System (CVSS) for média ou superior. Nas versões 2.0 a 3.1 do CVSS, isso é equivalente a uma pontuação CVSS de 4.0 ou superior. Os projetos podem usar a pontuação CVSS conforme publicada em um banco de dados de vulnerabilidades amplamente usado (como o National Vulnerability Database) usando a versão mais recente do CVSS relatada nesse banco de dados. Os projetos podem, em vez disso, calcular a severidade eles mesmos usando a versão mais recente do CVSS no momento da divulgação da vulnerabilidade, se as entradas de cálculo forem publicamente reveladas uma vez que a vulnerabilidade seja publicamente conhecida. Observe que o critério vulnerabilities_fixed_60_days exige que todas essas vulnerabilidades sejam corrigidas dentro de 60 dias de se tornarem públicas.

    Confirmed static-analysis findings are triaged and addressed. The CodeQL tar-extraction finding was fixed in PR #244 with regression tests for a malicious symlink archive and an ordinary archive. The maintainer reports that alerts #33 and #35 were dismissed with documented reasons and that no CodeQL alerts remained open on 2026-10-27. Alert #33 was classified as a false positive. Alert #35 concerns a preserved evidence script that is not run as product code. https://github.com/AOSSIE-Org/OpenVerifiableLLM/pull/244 https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/tests/test_dataset_archive.py https://github.com/AOSSIE-Org/OpenVerifiableLLM/security/code-scanning


    Suficiente para um badge!

    É SUGERIDO que a análise estática de código-fonte ocorra em cada commit ou pelo menos diariamente. [static_analysis_often]

    CodeQL is configured for pushes to main, pull requests targeting main, and a daily schedule. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/codeql.yml


  • Análise dinâmica de código


    Mal suficiente para um badge.

    É SUGERIDO que pelo menos uma ferramenta de análise dinâmica seja aplicada a qualquer grande lançamento de produção proposto do software antes de seu lançamento. [dynamic_analysis]
    Uma ferramenta de análise dinâmica examina o software executando-o com entradas específicas. Por exemplo, o projeto PODE usar uma ferramenta de fuzzing (por exemplo, American Fuzzy Lop) ou um scanner de aplicação web (por exemplo, OWASP ZAP ou w3af). Em alguns casos, o projeto OSS-Fuzz pode estar disposto a aplicar testes de fuzzing ao seu projeto. Para fins deste critério, a ferramenta de análise dinâmica precisa variar as entradas de alguma forma para procurar vários tipos de problemas ou ser um conjunto de testes automatizado com pelo menos 80% de cobertura de ramificação. A página da Wikipedia sobre análise dinâmica e a página da OWASP sobre fuzzing identificam algumas ferramentas de análise dinâmica. A(s) ferramenta(s) de análise PODEM estar focadas em procurar vulnerabilidades de segurança, mas isso não é obrigatório.

    Current CI runs fixed regression and tampering cases. The inspected workflow does not establish a qualifying input-generation/fuzzing tool or at least 80% branch coverage. Its coverage command measures statements, without branch measurement. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/ci.yml


    Suficiente para um badge!

    É SUGERIDO que se o software produzido pelo projeto incluir software escrito usando uma linguagem insegura em memória (por exemplo, C ou C++), então pelo menos uma ferramenta dinâmica (por exemplo, um fuzzer ou scanner de aplicação web) seja rotineiramente usada em combinação com um mecanismo para detectar problemas de segurança de memória, como estouros de buffer. Se o projeto não produzir software escrito em uma linguagem insegura em memória, escolha "não aplicável" (N/A). [dynamic_analysis_unsafe]
    Exemplos de mecanismos para detectar problemas de segurança de memória incluem Address Sanitizer (ASAN) (disponível no GCC e LLVM), Memory Sanitizer e valgrind. Outras ferramentas potencialmente usadas incluem thread sanitizer e undefined behavior sanitizer. Assertivas generalizadas também funcionariam.

    The project-owned software is Python with shell scripts. The inspected repository contains no project-owned C/C++ or other memory-unsafe implementation. Native code in third-party dependencies is not project-produced source. https://github.com/AOSSIE-Org/OpenVerifiableLLM


    Suficiente para um badge!

    É SUGERIDO que o projeto use uma configuração para pelo menos alguma análise dinâmica (como testes ou fuzzing) que habilite muitas asserções. Em muitos casos, essas asserções não devem ser habilitadas em builds de produção. [dynamic_analysis_enable_assertions]
    Este critério não sugere habilitar asserções durante a produção; isso é inteiramente decisão do projeto e de seus usuários. O foco deste critério é, em vez disso, melhorar a detecção de falhas durante a análise dinâmica antes da implantação. Habilitar asserções no uso em produção é completamente diferente de habilitar asserções durante a análise dinâmica (como testes). Em alguns casos, habilitar asserções no uso em produção é extremamente imprudente (especialmente em componentes de alta integridade). Existem muitos argumentos contra habilitar asserções em produção, por exemplo, bibliotecas não devem travar chamadores, sua presença pode causar rejeição por lojas de aplicativos e/ou ativar uma asserção em produção pode expor dados privados, como chaves privadas. Observe que em muitas distribuições Linux NDEBUG não é definido, então assert() em C/C++ será habilitado por padrão para produção nesses ambientes. Pode ser importante usar um mecanismo de asserção diferente ou definir NDEBUG para produção nesses ambientes.

    CI runs pytest/unittest tests with assertions enabled and does not use Python optimization mode. The tests include assert, assertEqual, and assertRaises checks. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/ci.yml https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/tests/simple/test_ovl.py


    Suficiente para um badge!

    Todas as vulnerabilidades exploráveis de severidade média e superior descobertas com análise dinâmica de código DEVEM ser corrigidas em tempo hábil após serem confirmadas. [dynamic_analysis_fixed]
    Se você não está executando análise dinâmica de código e, portanto, não encontrou nenhuma vulnerabilidade dessa forma, escolha "não aplicável" (N/A). Uma vulnerabilidade é considerada de severidade média ou superior se sua pontuação qualitativa base do Common Vulnerability Scoring System (CVSS) for média ou superior. Nas versões 2.0 a 3.1 do CVSS, isso é equivalente a uma pontuação CVSS de 4.0 ou superior. Os projetos podem usar a pontuação CVSS conforme publicada em um banco de dados de vulnerabilidades amplamente utilizado (como o National Vulnerability Database) usando a versão mais recente do CVSS relatada nesse banco de dados. Os projetos podem, em vez disso, calcular a severidade por conta própria usando a versão mais recente do CVSS no momento da divulgação da vulnerabilidade, se as entradas de cálculo forem reveladas publicamente assim que a vulnerabilidade for conhecida publicamente.

    The maintainer confirms that the project does not currently run a qualifying dynamic analysis tool. CI runs fixed regression and tampering tests. These tests are not claimed to satisfy the dynamic_analysis criterion. There are therefore no findings from a qualifying dynamic analysis tool to assess under this criterion. https://github.com/AOSSIE-Org/OpenVerifiableLLM/blob/main/.github/workflows/ci.yml



Você pode usar ferramentas e sistemas de IA para propor alterações por meio de uma URL simples, como https://www.bestpractices.dev/pt-BR/projects/15952/choose/edit?osps_ac_01_01_status=Met&osps_ac_01_01_justification=GitHub+enforced. Veja nosso sistema de propostas de automação para saber como fazer isso. Estes dados estão disponíveis sob o Community Data License Agreement – Permissive, Version 2.0 (CDLA-Permissive-2.0). Isso significa que um Destinatário de Dados pode compartilhar os Dados, com ou sem modificações, desde que o Destinatário de Dados disponibilize o texto deste acordo com os Dados compartilhados. Por favor, dê crédito a Rajat Roy e aos contribuidores do selo de melhores práticas OpenSSF.

Entrada de selo do projeto de propriedade de: Rajat Roy.
Entrada criada em 2026-10-26 12:35:52 UTC, última atualização em 2026-10-27 02:04:47 UTC.