Silex, el manual oficial

7.4. Configuración

La forma recomendada de configurar PHPUnit es crear un archivo llamado phpunit.xml.dist, un directorio llamado tests/ y almacenar cada test en el archivo tests/<Nombre-de-tu-Aplicacion>/Tests/<Nombre-de-tu-Test>Test.php. El contenido de phpunit.xml.dist podría ser el siguiente:

<?xml version="1.0" encoding="UTF-8"?>
<phpunit backupGlobals="false"
         backupStaticAttributes="false"
         colors="true"
         convertErrorsToExceptions="true"
         convertNoticesToExceptions="true"
         convertWarningsToExceptions="true"
         processIsolation="false"
         stopOnFailure="false"
         syntaxCheck="false"
>
    <testsuites>
        <testsuite name="YourApp Test Suite">
            <directory>./tests/</directory>
        </testsuite>
    </testsuites>
</phpunit>

El siguiente código muestra un ejemplo tipo del archivo de un test almacenado en tests/<Nombre-de-tu-Aplicacion>/Tests/<Nombre-de-tu-Test>Test.php:

namespace YourApp\Tests;

use Silex\WebTestCase;

class YourTest extends WebTestCase
{
    public function createApplication()
    {
        return require __DIR__.'/../../../app.php';
    }

    public function testFooBar()
    {
        ...
    }
}

Ejecuta ahora el comando phpunit en la consola y verás el resultado de ejecutar tus tests.