Recreación de vallas con IA (Grounding DINO + Stable Diffusion)

El problema

El cliente tenía la foto de una valla publicitaria y quería una recreación del anuncio generada por IA: detectar la valla en la imagen, extraer sus límites, ampliarla a mayor resolución y cambiar detalles de la creatividad. Un modelo de imagen genérico no puede hacerlo de forma fiable a partir de una foto de calle, porque no sabe dónde termina la valla y empieza el cielo, y si se le deja solo reescribe toda la escena en lugar del anuncio.

Qué construí

• Detección zero-shot de la valla con Grounding DINO, que devuelve un recuadro delimitador a partir de un prompt de texto sin ningún entrenamiento con datos de vallas.
• Extracción de la región de la valla con OpenCV, usando las coordenadas del recuadro del detector para recortar el anuncio de la foto.
• Una etapa de Stable Diffusion sobre el checkpoint Realistic Vision V6.0 que regenera el anuncio recortado a 1.280 × 1.664, con ControlNet tile_resample manteniendo la estructura del original y una fuerza de denoising de 0,4 para que solo cambien los detalles.
• Ultimate SD Upscale con el ampliador 4x-UltraSharp trabajando en mosaicos de 512 píxeles, más soft inpainting en la zona enmascarada para unos bordes sin costuras.
• Un conjunto de parámetros documentado, con prompt, prompt negativo, sampler, pasos, escala CFG, semilla y refiner, para que la salida exacta se pueda reproducir.

Resultado

Un pipeline que recibe una foto de calle y devuelve una recreación limpia y de mayor resolución de la valla con los cambios solicitados, como muestra el antes y después de la portada. Como todos los parámetros de generación quedan registrados, el cliente puede repetir o ajustar el resultado en lugar de depender de una semilla afortunada.