Библиотека Java Swing не предоставляет возможности создания прозрачных (transparent) окон без использования native кода.
Наткнулся на одну интересную статью. В ней рассказывается, как можно без этого самого native кода сделать “прозрачные” окошки в Java Swing. Реализуется это при помощи хитрого хака:

• Делаем скриншот перед прорисовкой окна.
• Используем этот screenshot как background фон для нашего окошка.
• Располагаем все это дело так, чтобы реальное изображение экрана и фон окна совпадали - соответственно, создастся иллюзия прозрачного окна.

Для того, чтобы сделать скриншот экрана, можно воспользоваться методом createScreenCapture из класса java.awt.Robot.
В статье мне не понравилась фраза, что мол это все просто, а вот сделать, чтобы окно обновлялось при изменении и перемещении окна - намного сложнее.
Данное заявление было опровергнуто буквально через 2 минуты.
Достаточно было навесить Listener на объект JFrame, который бы перерисовывал background.
А вот собственно и код на Java (импорт классов опущен):

public class TransparentBackground extends JComponent {
   private JFrame frame;
   private Image background;

   public TransparentBackground(JFrame frame) {
       this.frame = frame;
       updateBackground();
   }

   public void updateBackground() {
       try {
           Robot rbt = new Robot();
           Toolkit tk = Toolkit.getDefaultToolkit();
           Dimension dim = tk.getScreenSize();
           background = rbt.createScreenCapture(
                   new Rectangle(0, 0, (int) dim.getWidth(),
                           (int) dim.getHeight()));
       } catch (Exception ex) {
           ex.printStackTrace();
       }
   }

   public void paintComponent(Graphics g) {
       Point pos = this.getLocationOnScreen();
       Point offset = new Point(-pos.x, -pos.y);
       g.drawImage(background, offset.x, offset.y, null);
   }

   private static class TransparentComponentListener
           implements ComponentListener {

       public void componentResized(ComponentEvent e) {
           Component[] components = ((JFrame) e.getComponent())
                   .getContentPane().getComponents();
           components[0].repaint();
       }

       public void componentMoved(ComponentEvent e) {
           componentResized(e);
       }

       public void componentShown(ComponentEvent e) {
           componentResized(e);
       }

       public void componentHidden(ComponentEvent e) {
           componentResized(e);
       }
   }

   public static void main(String[] args) {
       JFrame frame = new JFrame("Transparent Window");
       frame.addComponentListener(new TransparentComponentListener());
       TransparentBackground bg = new TransparentBackground(frame);
       bg.setLayout(new BorderLayout());
       JButton button = new JButton("This is a button");
       bg.add("North", button);
       JLabel label = new JLabel("This is a label");
       bg.add("South", label);
       frame.getContentPane().add("Center", bg);
       frame.pack();
       frame.setSize(200, 200);
       frame.show();
   }
}

Вот результат выполнения программы:

А оригинал статьи находится здесь.